元職業エンジニアの生き方

これまでとこれからを考えるための備忘録

Centos7の初期設定にてOS環境を日本語化する為の備忘録

宮本です。 Twitterはコチラ はじめに 環境構築する上で重要なコマンドたちを備忘録として残していきます。 仕様 yum最新 OS日本語化 環境的なあれこれ OS:Centos7 実装 yum最新化 sudo yum update OS全体の日本語化(変更前の日付がUTCから日本時間なる確…

SeleniumとPythonでツイッターアナリティクスのデータを自動でエクスポートする

宮本です。 Twitterはコチラ はじめに ツイッターのアナリティクスのデータを自動でエクスポートしてみました。 ※APIあるかもしれませんが、それは追々。 仕様 ツイッターへ自動ログイン ツイッターアナリティクス画面から自動でエクスポート(作業ディレク…

PythonからツイッターAPIを使って投稿してみました

宮本です。 Twitterはコチラ はじめに RSS記事などを自動取得出来たのでそれを自動ツイートさせる為に、PythonからツイッターAPIを使って投稿テストしたので備忘録 仕様 ツイッターから自分のアクセスキーなど取得 ツイッター(Twitter)公式APIを利用して自…

Pythonを使ってRSSから毎時でニュース記事を取得してそれを表示させてみた

宮本です。 Twitterはコチラ はじめに 機械学習に向けて情報収集の観点からRSSからデータを取得するプログラムを書いてみました。 取得対象は、とりあえずZDNet Japanの一部のRSSのみです。 仕様 データベースに登録しているニュース記事を取得 ZDNet Japan…

Pythonを使ってRSSで最新ニュース記事を取得する

宮本です。 Twitterはコチラ はじめに 機械学習に向けて情報収集の観点からRSSからデータを取得するプログラムを書いてみました。 仕様 ZDNet JapanフィードからRSSでニュース記事を取得する 取ってきたデータをリスト化する 環境的なあれこれ マシン:Mac P…

SeleniumとPythonでGoogle検索を実施して検索結果の1番目を取得する

宮本です。 Twitterはコチラ はじめに SeleniumをPythonで操作する勉強をしているのでその備忘録です。 仕様 キーワードでGoogle検索の1番目のURLを取得 環境的なあれこれ マシン:Mac Python:2.7系 ブラウザ:Google Chrome 他にはSelenium、Chromedriver…

SeleniumとPythonでYahoo画像検索から自動で画像をダウンロードする

宮本です。 Twitterはコチラ はじめに 機械学習に手を出す際に「画像取得だ!」と思いつきでやってみました。 BeautifulSoupでも出来そうですがあえてSeleniumを使いました。 仕様 キーワードでYahoo画像検索 最初の1枚目を自動でダウンロード 環境的なあれ…

Pythonで収集したデータを小規模フレームワーク「Flask」で画面表示させてみた。

今回は、Pythonの小規模フレームワーク「Flask」をいじってみました。 フレームワークも沢山あるようで、有名どころは「Django」「Bottle」とかですね。 今回なぜ「Flask」かというのはなんとなく目に入ったから。 使用した言語などの情報は以下。 言語;Pyt…

クラウドファンディングサイト「Readyfor」での支援金額上位プロジェクト(2018年1月8日時点)

順位 カテゴリー プロジェクト名 支援金額 パトロン数 1位 地域 赤ちゃんを虐待死から救う「赤ちゃん縁組」事業を立ち上げたい! 29,595,000円 1,391人 2位 社会にいいこと 足を失った人々が「走る」ことへ一歩を踏み出せる場を創りたい! 17,533,000円 631…

クラウドファンディングサイト「Makuake」での支援金額上位プロジェクト(2018年1月8日時点)

順位 カテゴリー プロジェクト名 支援金額 パトロン数 1位 プロダクト UMPCを忘れられないあなたへ 超小型パソコン『GPD Pocket』を日本でも 97,191,360円 1,478人 2位 プロダクト 小さなボディにフルオーケストラ。Hi-Fiサウンドの完全ワイヤレスイヤホンAi…

クラウドファンディングサイト「CAMPFIRE」での支援金額上位プロジェクト(2018年1月8日時点)

順位 カテゴリー プロジェクト名 支援金額 パトロン数 1位 アート・写真 キングコング西野の個展『えんとつ町のプペル展』を入場無料で開催したい! 46,373,152円 6,257人 2位 アニメ・漫画 山本寛オリジナル作品「薄暮」アニメ制作プロジェクト 21,036,500…

Google Spread Shees(GAS)でメニューバーをカスタマイズして追加

Google Spread Sheetのメニューバーへの追加したいと思います。 ヘルプの隣にボタンを追加。 スクリプトはこんな感じ。 function onOpen() { var spreadsheet = SpreadsheetApp.getActiveSpreadsheet(); var entries = [ {name : "処理1" , functionName : …

Google Spread Shees(GAS)でアメブロの記事一覧を取得

GASで個人の方のアメブロ記事一覧を取得してみました。 ページをベタ打ちしているので、下記のロジックだと最新1ページのみの取得ができます。 これでタイトルを取得できます。 結果としては、スプレッドシート上に書かれる仕様にしています。 var ss = Spr…

Pythonで国土交通省のAPIを使って市区町村情報を取得

全国の都道府県を取得したいと思います。 総務省などでもあるようなのですが、今回は使える国土交通省の土地総合情報システムのAPIを使って取得する。 こちらの2です。 API操作説明 | 国土交通省 土地総合情報システム 特にトークンを発行する必要もないの…

Pythonで国土交通省のAPIを使って市区町村情報を取得

全国の都道府県を取得したいと思います。 総務省などでもあるようなのですが、今回は使える国土交通省の土地総合情報システムのAPIを使って取得する。 こちらの2です。 API操作説明 | 国土交通省 土地総合情報システム 特にトークンを発行する必要もないの…

Python&BeautifulSoup&PhantomJS&SeleniumでJSレンダリングして情報を取得してみました。

クラウドファンディングサイトをクローリングする上で、JavaScriptで構成されている内容を取得しなければいけなくなり、レンダリング後にHTML情報を取得してみました。 対象: https://www.makuake.com/project/kumamoto_nebutamatsuri/communication/ こち…

シェルスクリプトで、設定ファイル(Config)を読み込んでMySQLへの接続プログラム

シェルスクリプトでの備忘録を残します。 【ディレクトリ構成】 . └── sh ├── mysqConf.conf └── mysqlConnect2.sh 【 mysqConf.conf内 】 USER=root 【 mysqlConnect2.sh内 】 ./mysqlConf.confmysql -u $USER 【 結果について 】 この場合、パスワード指定…

シェルスクリプトで、MySQLへの接続プログラム

シェルスクリプトでの備忘録を残します。 【 mysqlConnect.sh内 】 mysql -u root -p 【 結果について 】 パスワード指定しているのでパスワード問い合わせが来るこの問い合わせをなくすには、・オプションのpを消す(パスワード設定していない場合)・「mys…

シェルスクリプトで、指定ディレクトリの情報出力プログラム

シェルスクリプトでの備忘録を残します。 【ディレクトリ構成】 . └── sh ├── input │ ├── 1.csv │ ├── 2.csv │ ├── 3.csv │ ├── 4.csv │ └── 5.csv └── run.sh 【 run.sh内 】 dir=$(cd $(dirname $0) && pwd)cd $dirfiles='./input/*.csv'for filepath in …

HTMLでJavaScriptを呼び出して使う備忘録

JavaScriptの呼び出し方を掲載します。 パターン1:インラインスクリプトと言って、HTML上に記載 パターン2:外部スクリプトと言って、JavaScriptファイルを呼び出す(一般的) 【 パターン1 】 index.html <hrml><head><title>HTMLの表示テスト</title></head><body><p id="miyamoto">元職業エンジニア!</p><script type="text/javascript"> setInterv</script></body></hrml>…

HTMLでCSS(スタイルシート)を呼び出して使う備忘録

CSSの呼び出し方を掲載します。 パターン1:HTML文上にStyleタグを挿入 パターン2:特定タグにStyleタグで個別挿入 パターン3:CSSファイルを別個に作って呼び出す(一般的) 【 パターン1 】 index.html <hrml><head><title>HTMLの表示テスト</title><style type="text/css"><!--p {color:red; line-height</style></head></hrml>…

Macのターミナルコマンドで、ZIPファイル解凍→解凍した複数ファイルを全て結合

Macのコマンドで備忘録を残します。 【ディレクトリ構成】 . └── test ├── test1.zip │ ├── test1.csv │ └── test2.csv └── test2.zip ├── test3.csv ├── test4.csv └── test5.csv 中身ですが、 cd,title 1,aaa 全てこうなっております。 【 ZIPファイル解凍…

Pythonで収集したデータを小規模フレームワーク「Flask」で画面表示させてみた。

今回は、Pythonの小規模フレームワーク「Flask」をいじってみました。 フレームワークも沢山あるようで、有名どころは「Django」「Bottle」とかですね。 今回なぜ「Flask」かというのはなんとなく目に入ったから。 使用した言語などの情報は以下。 言語;Pyt…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(データベース編その3)

今回は、クラウドファンディングサイト(Makuake、Readyfor?、CAMPFIRE)から取得した各プロジェクトの詳細情報をデータベースに格納する際の設計をしたものを公開。 使用した言語などの情報は以下。 データベース;MySQL5.7 以下、データベースの設計と実装…

データ解析ライブラリのPython・Pandasをいじってみた。

今回は、Pythonのデータ解析で利用されるPandasについて動かしてみたので、備忘録として掲載します。 やったことですが、私のツイートデータ(3か月)のツイートインプレッションが100以上で、かつ、その最小値・最大値・合計値を取る、簡単なプログラム…

Pythonでクラウドファンディングサイトからカテゴリ取得プログラム(データベース編その2)

今回は、クラウドファンディングサイト(Makuake、Readyfor?、CAMPFIRE)から取得した各プロジェクトをデータベースに格納する際の設計をしたものを公開。 「Makuake」さんのカテゴリ取得はこちら↓ adweallab.hatenablog.com 「CAMPFIRE」さんのカテゴリ取得…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(Readyfor版)

今回はReadyforさんのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログは下記です。 adweallab.hatenablog.com 使用した言語などの情報は以下。 言…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(CAMPFIRE版)

以前はサイトからカテゴリを取得したので、今回はそのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログは下記です。 adweallab.hatenablog.com 使用…

Pythonでクラウドファンディングサイトからプロジェクト取得プログラム(Makuake版)

以前はサイトからカテゴリを取得したので、今回はそのカテゴリをぐるぐる回して全プロジェクトとURLを取得してみました。 ※カテゴリ取得のブログは下記です。 adweallab.hatenablog.com データベース設計のブログは下記です。 adweallab.hatenablog.com 使用…

リクルートが無償提供してるAI・機械学習のAPIを叩いてみた(Proofreading API編)

前回に引き続き、リクルート提供のAI・機械学習のAPIである「A3RT」を触りました。 今回は「Proofreading API」。 こちらは、入力文章に対して間違ってる?怪しい箇所を検出してくれるAPIのようです。 返却値として、怪しさを数値で出してくれます。0〜2の…