元職業エンジニアの生き方

これまでとこれからを考えるための備忘録

Python

SeleniumとPythonでツイッターアナリティクスのデータを自動でエクスポートする

宮本です。 Twitterはコチラ はじめに ツイッターのアナリティクスのデータを自動でエクスポートしてみました。 ※APIあるかもしれませんが、それは追々。 仕様 ツイッターへ自動ログイン ツイッターアナリティクス画面から自動でエクスポート(作業ディレク…

PythonからツイッターAPIを使って投稿してみました

宮本です。 Twitterはコチラ はじめに RSS記事などを自動取得出来たのでそれを自動ツイートさせる為に、PythonからツイッターAPIを使って投稿テストしたので備忘録 仕様 ツイッターから自分のアクセスキーなど取得 ツイッター(Twitter)公式APIを利用して自…

Pythonを使ってRSSから毎時でニュース記事を取得してそれを表示させてみた

宮本です。 Twitterはコチラ はじめに 機械学習に向けて情報収集の観点からRSSからデータを取得するプログラムを書いてみました。 取得対象は、とりあえずZDNet Japanの一部のRSSのみです。 仕様 データベースに登録しているニュース記事を取得 ZDNet Japan…

Pythonを使ってRSSで最新ニュース記事を取得する

宮本です。 Twitterはコチラ はじめに 機械学習に向けて情報収集の観点からRSSからデータを取得するプログラムを書いてみました。 仕様 ZDNet JapanフィードからRSSでニュース記事を取得する 取ってきたデータをリスト化する 環境的なあれこれ マシン:Mac P…

SeleniumとPythonでGoogle検索を実施して検索結果の1番目を取得する

宮本です。 Twitterはコチラ はじめに SeleniumをPythonで操作する勉強をしているのでその備忘録です。 仕様 キーワードでGoogle検索の1番目のURLを取得 環境的なあれこれ マシン:Mac Python:2.7系 ブラウザ:Google Chrome 他にはSelenium、Chromedriver…

SeleniumとPythonでYahoo画像検索から自動で画像をダウンロードする

宮本です。 Twitterはコチラ はじめに 機械学習に手を出す際に「画像取得だ!」と思いつきでやってみました。 BeautifulSoupでも出来そうですがあえてSeleniumを使いました。 仕様 キーワードでYahoo画像検索 最初の1枚目を自動でダウンロード 環境的なあれ…

Pythonで収集したデータを小規模フレームワーク「Flask」で画面表示させてみた。

今回は、Pythonの小規模フレームワーク「Flask」をいじってみました。 フレームワークも沢山あるようで、有名どころは「Django」「Bottle」とかですね。 今回なぜ「Flask」かというのはなんとなく目に入ったから。 使用した言語などの情報は以下。 言語;Pyt…

Pythonで国土交通省のAPIを使って市区町村情報を取得

全国の都道府県を取得したいと思います。 総務省などでもあるようなのですが、今回は使える国土交通省の土地総合情報システムのAPIを使って取得する。 こちらの2です。 API操作説明 | 国土交通省 土地総合情報システム 特にトークンを発行する必要もないの…

Pythonで国土交通省のAPIを使って市区町村情報を取得

全国の都道府県を取得したいと思います。 総務省などでもあるようなのですが、今回は使える国土交通省の土地総合情報システムのAPIを使って取得する。 こちらの2です。 API操作説明 | 国土交通省 土地総合情報システム 特にトークンを発行する必要もないの…

Python&BeautifulSoup&PhantomJS&SeleniumでJSレンダリングして情報を取得してみました。

クラウドファンディングサイトをクローリングする上で、JavaScriptで構成されている内容を取得しなければいけなくなり、レンダリング後にHTML情報を取得してみました。 対象: https://www.makuake.com/project/kumamoto_nebutamatsuri/communication/ こち…

Pythonで収集したデータを小規模フレームワーク「Flask」で画面表示させてみた。

今回は、Pythonの小規模フレームワーク「Flask」をいじってみました。 フレームワークも沢山あるようで、有名どころは「Django」「Bottle」とかですね。 今回なぜ「Flask」かというのはなんとなく目に入ったから。 使用した言語などの情報は以下。 言語;Pyt…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(データベース編その3)

今回は、クラウドファンディングサイト(Makuake、Readyfor?、CAMPFIRE)から取得した各プロジェクトの詳細情報をデータベースに格納する際の設計をしたものを公開。 使用した言語などの情報は以下。 データベース;MySQL5.7 以下、データベースの設計と実装…

データ解析ライブラリのPython・Pandasをいじってみた。

今回は、Pythonのデータ解析で利用されるPandasについて動かしてみたので、備忘録として掲載します。 やったことですが、私のツイートデータ(3か月)のツイートインプレッションが100以上で、かつ、その最小値・最大値・合計値を取る、簡単なプログラム…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(データベース編その2)

今回は、クラウドファンディングサイト(Makuake、Readyfor?、CAMPFIRE)から取得した各プロジェクトをデータベースに格納する際の設計をしたものを公開。 「Makuake」さんのカテゴリ取得はこちら↓ adweallab.hatenablog.com 「CAMPFIRE」さんのカテゴリ取得…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(Readyfor版)

今回はReadyforさんのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログは下記です。 adweallab.hatenablog.com 使用した言語などの情報は以下。 言…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(CAMPFIRE版)

以前はサイトからカテゴリを取得したので、今回はそのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログは下記です。 adweallab.hatenablog.com 使用…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(Makuake版)

以前はサイトからカテゴリを取得したので、今回はそのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログは下記です。 adweallab.hatenablog.com 使用…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(Makuake版)

今回は、クラウドファンディング「Makuake」さんのサイトからプロジェクトのテゴリを取得するプログラムを作成。 www.makuake.com 使用した言語などの情報は以下。 言語;Python3 ライブラリ:BeatifulSoup4 前文、お決まりな感じです。 # -*- coding: utf-8…