元職業エンジニアの生き方

これまでとこれからを考えるための備忘録

Python

Pythonで国土交通省のAPIを使って市区町村情報を取得

全国の都道府県を取得したいと思います。 総務省などでもあるようなのですが、今回は使える国土交通省の土地総合情報システムのAPIを使って取得する。 こちらの2です。 API操作説明 | 国土交通省 土地総合情報システム 特にトークンを発行する必要もないの…

Python&BeautifulSoup&PhantomJS&SeleniumでJSレンダリングして情報を取得してみました。

どうもです。 クラウドファンディングサイトをクローリングする上で、JavaScriptで構成されている内容を取得しなければいけなくなり、レンダリング後にHTML情報を取得してみました。 対象: https://www.makuake.com/project/kumamoto_nebutamatsuri/communi…

シェルスクリプトで、指定ディレクトリの情報出力プログラム

備忘録です。 シェルスクリプトでの備忘録を残します。 【ディレクトリ構成】 . └── sh ├── input │ ├── 1.csv │ ├── 2.csv │ ├── 3.csv │ ├── 4.csv │ └── 5.csv └── run.sh 【 run.sh内 】 dir=$(cd $(dirname $0) && pwd)cd $dirfiles='./input/*.csv'for…

Pythonで収集したデータを小規模フレームワーク「Flask」で画面表示させてみた。

どーもです。 なんちゃってエンジニアです。 今回は、Pythonの小規模フレームワーク「Flask」をいじってみました。 フレームワークも沢山あるようで、有名どころは「Django」「Bottle」とかですね。 今回なぜ「Flask」かというのはなんとなく目に入ったから…

データ解析ライブラリのPython・Pandasをいじってみた。

どうもです。 なんちゃってエンジニアです。 今回は、Pythonのデータ解析で利用されるPandasについて動かしてみたので、備忘録として掲載します。 やったことですが、私のツイートデータ(3か月)のツイートインプレッションが100以上で、かつ、その最小…