E040 python ライブラリ

pythonについての覚書です。
主にライブラリについて書いています。

web検索
1. icrawler

web検索

icrawler

Webクローラーのミニフレームワーク、資料用に画像を集めたい場合に使用します。

pipでインストールする場合には、コマンドプロンプトなどで以下のコマンドを入力します。

pip install icrawler

pythonコードは以下になります。

#googleのクローラーの場合
#保存先のパス：画像を保存するフォルダパスを指定します。
#検索キーワード：キーワードを入力します。スペースを挟んでマルチワードで検索できます。
from icrawler.builtin import GoogleImageCrawler
crawler = GoogleImageCrawler(
    storage={"root_dir": '保存先のパス'})
crawler.crawl(
    keyword='検索キーワード', max_num=100)

上記はgoogle検索で行っていますが、web構造のエラーなどで取得できない場合がありました。（しばらくするとうごく？）以下はBingの場合です。

#Bingのクローラーの場合
#保存先のパス：画像を保存するフォルダパスを指定します。
#検索キーワード：キーワードを入力します。スペースを挟んでマルチワードで検索できます。
from icrawler.builtin import BingImageCrawler

crawler = BingImageCrawler(
    storage={"root_dir": './imagesDog'})
crawler.crawl(
    keyword='dog', max_num=10)