元職業エンジニアの生き方

これまでとこれからを考えるための備忘録

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(Readyfor版)

こんにちは。

なんちゃってエンジニアです。

元職業エンジニア・プログラマの人工知能と未来の道楽日記

 

今回は、クラウドファンディング「Readyfor?」さんのサイトからプロジェクトのテゴリを取得するプログラムを作成。

readyfor.jp

 

既に「Makuake」さんのカテゴリを取得済。

adweallab.hatenablog.com

 

「Campfire」さんからも取得済み。

adweallab.hatenablog.com

 

今回もほとんど一緒です!
 

使用した言語などの情報は以下。

言語;Python3

ライブラリ:BeatifulSoup4

 

前文、お決まりな感じです。

# -*- coding: utf-8 -*-

try:
import urllib.request as urllib2
except ImportError:
import urllib2
from bs4 import BeautifulSoup

import re
import lxml.html

 

またもやなぜかクラス化w

こちらでサイトに接続してカテゴリを取っています。

HTMLパースをして、BeautifulSoupでタグを取得しています。

class GetCategoryReadyfor:

def getCategory(self, urlOpne, urlReplace):
html = urllib2.urlopen(urlOpen)
soup = BeautifulSoup(html, 'lxml')
  Target = soup.find_all(class_='Local-nav-menu__link', href=re.compile("/"))
for category in Target:
if category.attrs['href'].find('project') == -1:
if category.attrs['href'].find('tags') == -1:
print(urlReplace + category.attrs['href'])
print(category.text)

 

起動です!

クラウドファンディングサイトのCampfireさんのサイトを引数。

urlReplaceは、首都したURLを正式なものにするために加工用です。

if __name__ == '__main__':

urlOpen = 'https://readyfor.jp/projects'
urlReplace = 'https://readyfor.jp'

base = GetCategoryReadyfor()
base.getCategory(urlOpen, urlReplace)

 

取得結果(Print文)

https://readyfor.jp/socialgood
社会にいいこと
https://readyfor.jp/local
地域
https://readyfor.jp/product
ものづくり
https://readyfor.jp/art
アート
https://readyfor.jp/challenge
チャレンジ

 

Readyforさんは地域別の区分けが中心なようで、純粋なカテゴリわけ自体は多くはないようです。(以前は違ったような?)

地域別も同様の仕組みでいけそうですが、今回はこれまでで。

 

ご指摘あれば教えてください^^

それでは。

 


元職業プログラマ・エンジニアのMiyamoto

地域、クラウドファンディング、都市伝説、AI、人工知能、宇宙に興味があります。

Twitterやっているので宜しくお願い致します。

twitter.com

広告を非表示にする