元職業エンジニアの生き方

これまでとこれからを考えるための備忘録

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(Campfire版)

こんばんは。

なんちゃってエンジニアです。

元職業エンジニア・プログラマの人工知能と未来の道楽日記

 

前回は「Makuake」さんのカテゴリを取得したので、

adweallab.hatenablog.com

 

今回は、クラウドファンディング「Campfire」さんのサイトからプロジェクトのテゴリを取得するプログラムを作成。

ほとんど一緒です!

camp-fire.jp

 

使用した言語などの情報は以下。

言語;Python3

ライブラリ:BeatifulSoup4

 

前文、お決まりな感じです。

# -*- coding: utf-8 -*-

try:
import urllib.request as urllib2
except ImportError:
import urllib2
from bs4 import BeautifulSoup

import re
import lxml.html

 

またもやなぜかクラス化w

こちらでサイトに接続してカテゴリを取っています。

HTMLパースをして、BeautifulSoupでタグを取得しています。

class GetCategoryMakuake:

def getCategory(self, urlOpne, urlReplace):
html = urllib2.urlopen(urlOpen)
soup = BeautifulSoup(html, 'lxml')
Target = soup.find_all(href=re.compile("category"))
for category in Target:
if category.attrs['href'].find('category') == 1:
print(urlReplace + category.attrs['href'])
print(category.text)

 

起動です!

クラウドファンディングサイトのCampfireさんのサイトを引数。

urlReplaceは、首都したURLを正式なものにするために加工用です。

if __name__ == '__main__':

urlOpen = 'https://camp-fire.jp/projects/discover'
urlReplace = 'https://camp-fire.jp'

base = GetCategoryCampfire()
base.getCategory(urlOpen, urlReplace)

 

取得結果(Print文)

https://camp-fire.jp/category/social-good
ソーシャルグッド
https://camp-fire.jp/category/community
コミュニティ
https://camp-fire.jp/category/movie
映像・映画
https://camp-fire.jp/category/sports
スポーツ
https://camp-fire.jp/category/photo
写真
https://camp-fire.jp/category/social-good
ソーシャルグッド
https://camp-fire.jp/category/music
音楽
https://camp-fire.jp/category/music
音楽
https://camp-fire.jp/category/art
アート
https://camp-fire.jp/category/community
コミュニティ
https://camp-fire.jp/category/product
プロダクト
https://camp-fire.jp/category/community
コミュニティ
https://camp-fire.jp/category/technology
テクノロジー
https://camp-fire.jp/category/anime
アニメ
https://camp-fire.jp/category/sports
スポーツ
https://camp-fire.jp/category/music
音楽
https://camp-fire.jp/category/art
アート
https://camp-fire.jp/category/music
音楽
https://camp-fire.jp/category/dance
演劇・ダンス
https://camp-fire.jp/category/product
プロダクト
https://camp-fire.jp/category/technology
テクノロジー
https://camp-fire.jp/category/game
ゲーム
https://camp-fire.jp/category/journalism
ジャーナリズム
https://camp-fire.jp/category/community
コミュニティ
https://camp-fire.jp/category/food
フード
https://camp-fire.jp/category/photo
写真
https://camp-fire.jp/category/fashion
ファッション
https://camp-fire.jp/category/movie
映像・映画
https://camp-fire.jp/category/publishing
本・漫画
https://camp-fire.jp/category/anime
アニメ
https://camp-fire.jp/category/performance
パフォーマンス
https://camp-fire.jp/category/sports
スポーツ
https://camp-fire.jp/category/business
ビジネス
https://camp-fire.jp/category/comedy
お笑い・ネタ

 

こちらも意外と簡単に取得できましたね。

沢山のカテゴリがありますね。

今後は、さらに詳細に見ていきたいと思います。

 

ご指摘あれば教えてください^^

それでは。

 


元職業プログラマ・エンジニアのMiyamoto

地域、クラウドファンディング、都市伝説、AI、人工知能、宇宙に興味があります。

Twitterやっているので宜しくお願い致します。

twitter.com