1. ホーム
  2. スクリプト・コラム
  3. パイソン

Pythonショートビデオクローラーチュートリアル

2022-01-02 10:15:30

本当に、今日は短い動画サイトの波を這わせましょう、どれも目を引くものばかりですよ〜。

ウェブサイトのアドレスはコードの中に入っているので、注意すればわかると思います。

使用ソフト

python 3.8
pycharm 2021.2


モジュール

requests
parsel
re
concurrent.futures
time
warnings


モジュールのインストール方法がわからない方はこちらをご覧ください。 Pythonモジュールのインストールとインストールに失敗した場合の対処法

手順は見たくないでしょうから、コードに直行します。

import requests
import parsel
import re
import concurrent.futures
import time
import warnings

# Cancel warnings
warnings.filterwarnings("ignore")


def get_html(url):
    """Send a request to get the source code of a web page"""
    html_data = requests.get(url=url, verify=False).text
    return html_data


def parse_data_1(html_data):
    """Parse for the first time, get all the detail page links """
    selector = parsel.Selector(html_data)
    url_list = selector.xpath('//a[@class="meta-title"]/@href').getall()
    return url_list


def parse_data_2(html_data):
    """Parse a second time, get the video link """
    video_url = re.findall('url: "(. *?) ",', html_data)[0]
    return video_url


def save(video_url):
    """Save video"""
    title = video_url.split('/')[-1] # take the field in the link as the title
    video_data = requests.get(video_url, verify=False).content # send network request
    with open(f'video/{title}', mode='wb') as f:
        f.write(video_data)
    print(title, "Crawl successful!!! ")

start_time = time.time()
url = 'https://www.520mmtv.com/hd/rewu.html'
# 1. send a request to the target site
html_data = get_html(url=url)
# 2. parse the data for the first time Extract the details page link
url_list = parse_data_1(html_data=html_data)
for info_url in url_list[:10]:
    # 3. send a request to the detail page
    html_data_2 = get_html(url=info_url)
    # 4. parse the data a second time to extract the video play address
    video_url = parse_data_2(html_data=html_data_2)
    # 5. save the video
    save(video_url=video_url)
print('Time spent:', time.time() - start_time)


これは、Pythonの短いビデオクローラーチュートリアルのこの記事の終わりです、より関連するPythonのクローラーチュートリアルの内容は、スクリプトハウスの過去の記事を検索してくださいまたは次の関連記事を閲覧を継続し、あなたがよりスクリプトハウスをサポートすることを願っています!...