[解決済み] 既知のウェブクローラーの一覧はありますか？[クローズド］

質問

ウェブサーバー上のいくつかのファイルについて、正確なダウンロード数を得ようとしています。ユーザーエージェントを見ると、いくつかは明らかにボットやウェブクローラーですが、多くのものはよくわかりません、彼らはウェブクローラーかもしれないし、そうでないかもしれません。

どこかに、ユーザーエージェント、IP、動作などのドキュメントを含む、既知のウェブクローラーのリストはありませんか？

GoogleやYahoo、Microsoftのような公式のものには興味はありません。これらは一般的にお行儀がよく、自己識別が可能です。

どのように解決するのですか？

私は http://www.user-agents.org/ を参考にしてください。

また、以下の方法もあります。 http://www.robotstxt.org/db.html または http://www.botsvsbrowsers.com .