読者です 読者をやめる 読者になる 読者になる

元職業エンジニアの生き方

これまでとこれからを考えるための備忘録

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(データベース編その3)

どうもです。

なんちゃってエンジニアです。

元職業エンジニア・プログラマの人工知能と未来の道楽日記

 

今回は、クラウドファンディングサイト(Makuake、Readyfor?、CAMPFIRE)から取得した各プロジェクトの詳細情報をデータベースに格納する際の設計をしたものを公開。
 

使用した言語などの情報は以下。

 

データベース;MySQL5.7

 

以下、データベースの設計と実装です。

 

テーブル:cw_project

項目 キー 備考
ID 1:Makuake
2:Campfire
3:Readyfor
NO プロジェクトNo
GETDATE 取得日
PERSON  

実行者

TARGET  

目標金額

GET  

支援金額

GET  

パトロン

STATUS  

ステータス

(終了、残日数など)

REGIST_DATE

  取得したタイムタンプ

 

属性なり他の設定については、SQL文を掲載するのでそれを見てください。

全体的に結構適当です…

 

SQLでテーブル作成文

①まずは、テーブルが存在していればテーブルを削除
DROP TABLE IF EXISTS `cw_detail`;

②テーブル作成
CREATE TABLE `cw_detail` (
`ID` VARCHAR(5) NOT NULL,
`NO` BIGINT(100) NOT NULL,
`GETDATE` DATE NOT NULL,
`PERSON` VARCHAR(30) NOT NULL,
`TARGET` BIGINT(10) NOT NULL,
`GET` BIGINT(10) NOT NULL,
`PATRON` BIGINT(10) NOT NULL,
`STATUS` VARCHAR(30) NOT NULL,
`REGIST_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
PRIMARY KEY (`ID`, `NO`, `GETDATE`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

 

各サイトのプロジェクトの判別は、IDとNOで区別できるかと思います。

重要な

・実行者

・目標金額

・支援金額

・パトロン数

・ステータス 

を差分収集していく想定をしています。

 

収集自体は、週に1回ペース程度かな?

 

ご指摘あれば教えてください^^

それでは。

 


元職業プログラマ・エンジニアのMiyamoto

地域、クラウドファンディング、都市伝説、AI、人工知能、宇宙に興味があります。

Twitterやっているので宜しくお願い致します。

twitter.com