元職業エンジニアの生き方

これまでとこれからを考えるための備忘録

クローリング

Google Spread Shees(GAS)でアメブロの記事一覧を取得

GASで個人の方のアメブロ記事一覧を取得してみました。 ページをベタ打ちしているので、下記のロジックだと最新1ページのみの取得ができます。 これでタイトルを取得できます。 結果としては、スプレッドシート上に書かれる仕様にしています。 var ss = Spr…

Python&BeautifulSoup&PhantomJS&SeleniumでJSレンダリングして情報を取得してみました。

どうもです。 クラウドファンディングサイトをクローリングする上で、JavaScriptで構成されている内容を取得しなければいけなくなり、レンダリング後にHTML情報を取得してみました。 対象: https://www.makuake.com/project/kumamoto_nebutamatsuri/communi…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(データベース編その3)

どうもです。 なんちゃってエンジニアです。 今回は、クラウドファンディングサイト(Makuake、Readyfor?、CAMPFIRE)から取得した各プロジェクトの詳細情報をデータベースに格納する際の設計をしたものを公開。 使用した言語などの情報は以下。 データベー…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(データベース編その2)

こんにちは。 なんちゃってエンジニアです。 今回は、クラウドファンディングサイト(Makuake、Readyfor?、CAMPFIRE)から取得した各プロジェクトをデータベースに格納する際の設計をしたものを公開。 「Makuake」さんのカテゴリ取得はこちら↓ adweallab.hat…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(Readyfor版)

こんばんは。 なんちゃってエンジニアです。 今回はReadyforさんのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログは下記です。 adweallab.hatenab…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(CAMPFIRE版)

こんばんは。 なんちゃってエンジニアです。 以前はサイトからカテゴリを取得したので、今回はそのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログ…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(Makuake版)

こんばんは。 なんちゃってエンジニアです。 以前はサイトからカテゴリを取得したので、今回はそのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログ…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(データベース編)

こんにちは。 なんちゃってエンジニアです。 今回は、クラウドファンディングサイト(Makuake、Readyfor?、CAMPFIRE)からデータをデータベースに移したプログラムを作ったので、まずは、そのデータベースのお話です。 「Makuake」さんのカテゴリ取得はこち…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(Readyfor版)

こんにちは。 なんちゃってエンジニアです。 今回は、クラウドファンディング「Readyfor?」さんのサイトからプロジェクトのテゴリを取得するプログラムを作成。 readyfor.jp 既に「Makuake」さんのカテゴリを取得済。 adweallab.hatenablog.com 「Campfire」…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(Campfire版)

こんばんは。 なんちゃってエンジニアです。 前回は「Makuake」さんのカテゴリを取得したので、 adweallab.hatenablog.com 今回は、クラウドファンディング「Campfire」さんのサイトからプロジェクトのテゴリを取得するプログラムを作成。 ほとんど一緒です…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(Makuake版)

こんばんは。 なんちゃってエンジニアです。 今回は、クラウドファンディング「Makuake」さんのサイトからプロジェクトのテゴリを取得するプログラムを作成。 www.makuake.com 使用した言語などの情報は以下。 言語;Python3 ライブラリ:BeatifulSoup4 前文…