元職業エンジニアの生き方

これまでとこれからを考えるための備忘録

Python

SeleniumとPythonでGoogle検索を実施して検索結果の1番目を取得する

宮本です。 Twitterはコチラ はじめに SeleniumをPythonで操作する勉強をしているのでその備忘録です。 仕様 キーワードでGoogle検索の1番目のURLを取得 環境的なあれこれ マシン:Mac Python:2.7系 ブラウザ:Google Chrome 他にはSelenium、Chromedriver…

SeleniumとPythonでYahoo画像検索から自動で画像をダウンロードする

宮本です。 Twitterはコチラ はじめに 機械学習に手を出す際に「画像取得だ!」と思いつきでやってみました。 BeautifulSoupでも出来そうですがあえてSeleniumを使いました。 仕様 キーワードでYahoo画像検索 最初の1枚目を自動でダウンロード 環境的なあれ…

Pythonで収集したデータを小規模フレームワーク「Flask」で画面表示させてみた。

今回は、Pythonの小規模フレームワーク「Flask」をいじってみました。 フレームワークも沢山あるようで、有名どころは「Django」「Bottle」とかですね。 今回なぜ「Flask」かというのはなんとなく目に入ったから。 使用した言語などの情報は以下。 言語;Pyt…

Pythonで国土交通省のAPIを使って市区町村情報を取得

全国の都道府県を取得したいと思います。 総務省などでもあるようなのですが、今回は使える国土交通省の土地総合情報システムのAPIを使って取得する。 こちらの2です。 API操作説明 | 国土交通省 土地総合情報システム 特にトークンを発行する必要もないの…

Pythonで国土交通省のAPIを使って市区町村情報を取得

全国の都道府県を取得したいと思います。 総務省などでもあるようなのですが、今回は使える国土交通省の土地総合情報システムのAPIを使って取得する。 こちらの2です。 API操作説明 | 国土交通省 土地総合情報システム 特にトークンを発行する必要もないの…

Python&BeautifulSoup&PhantomJS&SeleniumでJSレンダリングして情報を取得してみました。

クラウドファンディングサイトをクローリングする上で、JavaScriptで構成されている内容を取得しなければいけなくなり、レンダリング後にHTML情報を取得してみました。 対象: https://www.makuake.com/project/kumamoto_nebutamatsuri/communication/ こち…

Pythonで収集したデータを小規模フレームワーク「Flask」で画面表示させてみた。

今回は、Pythonの小規模フレームワーク「Flask」をいじってみました。 フレームワークも沢山あるようで、有名どころは「Django」「Bottle」とかですね。 今回なぜ「Flask」かというのはなんとなく目に入ったから。 使用した言語などの情報は以下。 言語;Pyt…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(データベース編その3)

今回は、クラウドファンディングサイト(Makuake、Readyfor?、CAMPFIRE)から取得した各プロジェクトの詳細情報をデータベースに格納する際の設計をしたものを公開。 使用した言語などの情報は以下。 データベース;MySQL5.7 以下、データベースの設計と実装…

データ解析ライブラリのPython・Pandasをいじってみた。

今回は、Pythonのデータ解析で利用されるPandasについて動かしてみたので、備忘録として掲載します。 やったことですが、私のツイートデータ(3か月)のツイートインプレッションが100以上で、かつ、その最小値・最大値・合計値を取る、簡単なプログラム…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(データベース編その2)

今回は、クラウドファンディングサイト(Makuake、Readyfor?、CAMPFIRE)から取得した各プロジェクトをデータベースに格納する際の設計をしたものを公開。 「Makuake」さんのカテゴリ取得はこちら↓ adweallab.hatenablog.com 「CAMPFIRE」さんのカテゴリ取得…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(Readyfor版)

今回はReadyforさんのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログは下記です。 adweallab.hatenablog.com 使用した言語などの情報は以下。 言…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(CAMPFIRE版)

以前はサイトからカテゴリを取得したので、今回はそのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログは下記です。 adweallab.hatenablog.com 使用…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(Makuake版)

以前はサイトからカテゴリを取得したので、今回はそのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログは下記です。 adweallab.hatenablog.com 使用…