[解決済み] ウェブサイト上のすべてのリンク/ページを検索する方法

質問

任意のウェブサイト上のすべてのページとリンクを見つけることは可能ですか？私は URL を入力し、そのサイトからのすべてのリンクのディレクトリ ツリーを生成したいと思います。

HTTrackを見ましたが、それはサイト全体をダウンロードし、私は単にディレクトリツリーが必要です。

どのように解決するのですか？

チェックアウト リンクチェッカー -を実行すると、サイトをクロールします (同時に robots.txt を守りながら）サイトをクロールし、レポートを生成します。そこから、ディレクトリ ツリーを作成するためのソリューションをスクリプトで作成できます。