元職業エンジニアの生き方

これまでとこれからを考えるための備忘録

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(Makuake版)

こんばんは。

なんちゃってエンジニアです。

元職業エンジニア・プログラマの人工知能と未来の道楽日記

 

今回は、クラウドファンディング「Makuake」さんのサイトからプロジェクトのテゴリを取得するプログラムを作成。

www.makuake.com

使用した言語などの情報は以下。

言語;Python3

ライブラリ:BeatifulSoup4

 

前文、お決まりな感じです。

# -*- coding: utf-8 -*-

try:
import urllib.request as urllib2
except ImportError:
import urllib2
from bs4 import BeautifulSoup

import re
import lxml.html

 

なぜかクラス化w

こちらでサイトに接続してカテゴリを取っています。

HTMLパースをして、BeautifulSoupでタグを取得しています。

class GetCategoryMakuake:

def getCategory(self, urlOpne, urlReplace):
html = urllib2.urlopen(urlOpen)
soup = BeautifulSoup(html, 'lxml')
Target = soup.find_all(href=re.compile("categories"))
for category in Target:
if category.attrs['href'].find('discover') == 1:
print(urlReplace + category.attrs['href'])
print(category.text)

 

起動です!

クラウドファンディングサイトのMakuakeさんのサイトを引数。

urlReplaceは、首都したURLを正式なものにするために加工用です。

if __name__ == '__main__':

urlOpen = 'https://www.makuake.com/discover/projects/search/'
urlReplace = 'https://www.makuake.com'

base = GetCategoryMakuake()
base.getCategory(urlOpen, urlReplace)

 

取得結果(Print文)

https://www.makuake.com/discover/categories/product/
プロダクト
https://www.makuake.com/discover/categories/fashion/
ファッション
https://www.makuake.com/discover/categories/food/
フード
https://www.makuake.com/discover/categories/restaurant/
レストラン・バー
https://www.makuake.com/discover/categories/technology/
テクノロジー
https://www.makuake.com/discover/categories/beauty/
コスメ・ビューティー
https://www.makuake.com/discover/categories/art/
アート・写真
https://www.makuake.com/discover/categories/film/
映画・映像
https://www.makuake.com/discover/categories/anime/
アニメ・マンガ
https://www.makuake.com/discover/categories/music/
音楽
https://www.makuake.com/discover/categories/game/
ゲーム
https://www.makuake.com/discover/categories/dance/
演劇・パフォーマンス
https://www.makuake.com/discover/categories/entertainment/
お笑い・エンタメ
https://www.makuake.com/discover/categories/publication/
出版・ジャーナリズム
https://www.makuake.com/discover/categories/education/
教育
https://www.makuake.com/discover/categories/sports/
スポーツ
https://www.makuake.com/discover/categories/startup/
スタートアップ
https://www.makuake.com/discover/categories/region/
地域活性化
https://www.makuake.com/discover/categories/contribution/
社会貢献
https://www.makuake.com/discover/categories/worldtour/
世界一周
https://www.makuake.com/discover/categories/music/
音楽
https://www.makuake.com/discover/categories/food/
フード
https://www.makuake.com/discover/categories/sports/
スポーツ
https://www.makuake.com/discover/categories/product/
プロダクト
https://www.makuake.com/discover/categories/food/
フード
https://www.makuake.com/discover/categories/music/
音楽
https://www.makuake.com/discover/categories/food/
フード
https://www.makuake.com/discover/categories/dance/
演劇・パフォーマンス
https://www.makuake.com/discover/categories/film/
映画・映像
https://www.makuake.com/discover/categories/art/
アート・写真
https://www.makuake.com/discover/categories/product/
プロダクト
https://www.makuake.com/discover/categories/fashion/
ファッション
https://www.makuake.com/discover/categories/food/
フード
https://www.makuake.com/discover/categories/restaurant/
レストラン・バー
https://www.makuake.com/discover/categories/technology/
テクノロジー

 

重複はありますが、意外と簡単に取得できました。

これでデータベースに接続すれば登録できますね!

Campfireさん、Readyforさんも実施したいと思います。

 

環境設定については、もう少し実践を積んだら記載していこうかな(?)

 

本日の備忘録として。

 それでは。

 


元職業プログラマ・エンジニアのMiyamoto

地域、クラウドファンディング、都市伝説、AI、人工知能、宇宙に興味があります。

Twitterやっているので宜しくお願い致します。

twitter.com