[解決済み] BeautifulSoupとScrapyのクローラの違い？

質問

amazonとe-bayの商品価格を比較表示するサイトを作りたいのですが、どうすればいいですか？ どちらが効果的か、またその理由を教えてください。私は、以下のことに多少精通しています。 ビューティフルスープ にはあまり詳しくないのですが Scrapyクローラー .

解決方法は？

Scrapy は、ウェブスパイダーや ウェブスクレイパーフレームワーク Scrapyにクロールを開始するルートURLを与え、クロールして取得したいURLの数などの制約を指定することができます。これは、ウェブスクレイピングのための完全なフレームワークです。 クローリング .

一方

ビューティフルスープ は パージングライブラリ も、URLから内容を取得するのにかなり良い仕事をしてくれますし、手間をかけずに特定の部分をパースすることができます。これは、あなたが与えたURLの内容を取得し、その後停止するだけです。手動で特定の条件で無限ループに入れない限り、クロールはしません。

簡単に言うと、Beautiful Soupを使えば、Scrapyと同じようなものを作ることができます。 Beautiful Soupは ライブラリ 一方、Scrapyは 完全なフレームワーク .

ソース