Gunosyデータ分析ブログ

Gunosyで働くデータエンジニアが知見を共有するブログです。

クローラ

Scrapy + Scrapy Cloudで快適Pythonクロール+スクレイピングライフを送る

はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析…