python3エラー 最大再試行回数を超えている url 解決策
2022-02-22 19:17:42
をクロールするとこのエラーが発生します。
ConnectionError: HTTPConnectionPool(host='xxx.xx.xxx', port=xxxx): 最大再試行回数を超えました。/api/v1/ login/ (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f7c98a867d0>'-'-';): 新しい接続の確立に失敗しました。[Errno 111] 接続が拒否されました',))
そこで、Webで多くの記事を検索し、以下のようにまとめました。
1.解決策に起因する、閉じていないhttp接続が多すぎる。
import requests
requests.adapters.DEFAULT_RETRIES = 5 # increase the number of reconnections
s = requests.session()
s.keep_alive = False # Close redundant connections
s.get(url) # The URL you need
2. 頻繁なアクセスと禁止されたアクセス、解決策:プロキシの使用
import requests
s = requests.session()
url = "https://mail.163.com/"
s.proxies = {"https": "47.100.104.247:8080", "http": "36.248.10.47:8080", }
s.headers = header
s.get(url)
プロキシのURLを検索します。
http://ip.zdaye.com/shanghai_ip.html#Free
プロキシを使用する場合の注意点
1. プロキシはhttpとhttpsに分かれており、混在はできません。
2. 上記のプロキシは辞書形式で渡されます。例えば、上記の例では "47.100.104.247:8080" このような形式、または "https://47.100.104.247:8080 " のような形式で渡すことができます。
3. プロキシが利用できない場合、上記のエラーも報告されます。
以下のメソッドは、プロキシが利用可能かどうかを判断します。
import requests
s = requests.session()
url = "https://mail.163.com/"
s.keep_alive = False
s.proxies = {"https": "47.100.104.247:8080", "http": "36.248.10.47:8080", }
s.headers = header
r = s.get(url)
print r.status_code # If the proxy is available then access is normal, if not report the above error
関連
-
react error TypeError: 未定義のプロパティ 'setState' を読み取ることができません。
-
pipの実行エラーです。ランチャーで致命的なエラーが発生しました。Unable to create process using '"'
-
ImportError.の解決方法 No module named git" エラーの解決方法
-
Android Studio が GIT をコミットするとき、このリポジトリでは別の git プロセスが実行されているようです(例:エディタを開いている)。
-
JAVA の小さな問題を解決する
-
[UE4公式ドキュメント翻訳】Unreal Engine 4 For Unity Developers (UE4、ユニティデベロッパーズ向け)
-
sourceTree solution マージする前に、変更をコミットするか、隠しておいてください。
-
Pygameでタイマーを使う
-
エラーが発生しました。ルールは1つのリソースソースしか持つことができません(提供されたリソースとテスト+インクルード+エクスクルード)。
-
mscorlib.dll で "TargetInvocationException" 型の例外が発生するが、ユーザーコードで処理されない
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
ImportError の解決に成功しました。必要な依存関係 ['numpy'] がありません。
-
C#のTask.Delay()とThread.Sleep()
-
ValueError: 入力配列を形状(*,*)から形状(*)にブロードキャストできなかった。
-
fatal: リモートが見つからなかった refs/heads/cm-13.0
-
[問題ログ】コンパイル時にイニシャライザーの要素が定数でないエラーが発生する
-
javaは起動したが、終了コード=-805306369を返した。
-
Rollup.js|solve the package react project error ReferenceError: process is not defined.
-
この宣言には、ストレージクラスまたはタイプ指定子がありません。この警告は何を意味するのですか?
-
java.security.cert.CertPathValidatorException を解決してください。認証パスのトラストアンカーが見つかりませんでした。
-
VS2019 MFCのデバッグエラーです。C1083 インクルードファイルが開けません。"afxwin.h" を開けません。そのようなファイルやディレクトリはありません