pythonフレームワーク Scrapyエラー TypeError: 'float' object is not iterable Solve
2022-02-13 15:32:53
最近、pythonのクローラーフレームワークScrapyを使ってWebサイトのクローリングの練習をしていたのですが、クローリング時に必ず以下のエラーが出て実行が失敗してしまいます。
2017-03-09 13:58:34 [scrapy] INFO: Enabled item pipelines:
[]
2017-03-09 13:58:34 [scrapy] INFO: Spider opened
2017-03-09 13:58:34 [scrapy] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-03-09 13:58:34 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
2017-03-09 13:58:34 [scrapy] ERROR: Error downloading <GET http://www.23us.com/robots.txt>: 'float' object is not iterable
Traceback (most recent call last):
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\internet\defer.py", line 1299, in _inlineCallbacks
result = result.throwExceptionIntoGenerator(g)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\python\failure.py", line 393, in throwExceptionIntoGenerator
return g.throw(self.type, self.value, self.tb)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\scrapy\core\downloader\middleware", line 43, in process_request
defer.returnValue((yield download_func(request=request,spider=spider)))
File "D:\greenSoftware\anaconda3-python\lib\site-packages\scrapy\utils\defer.py", line 45, in mustbe_deferred
result = f(*args, **kw)
File "D:\greenSoftware\anaconda3-python-\lib\site-packages\scrapy\core\downloader\handlers\__init__.py", line 65, in download_ request
return handler.download_request(request, spider)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\scrapy\core\downloader\handlers\http11.py", line 60, in download_ request request
return agent.download_request(request)
File "D:\greenSoftware\anaconda3-python-\lib\site-packages\scrapy\core\downloader\handlers\http11.py", line 285, in download_ request request
method, to_bytes(url, encoding='ascii'), headers, bodyproducer)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\web\client.py", line 1631, in request
parsedURI.originForm)
File "D:\greenSoftware\anaconda3-python-\lib\site-packages\twisted\web\client.py", line 1408, in _requestWithEndpoint
d = self._pool.getConnection(key, endpoint)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\web\client.py", line 1294, in getConnection
return self._newConnection(key, endpoint)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\web\client.py", line 1306, in _newConnection
return endpoint.connect(factory)
File "D:\greenSoftware\anaconda3-python-lib\site-packages\twisted\internet\endpoints.py", line 788, in connect
EndpointReceiver, self._hostText, portNumber=self._port
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\internet\_resolver.py", line 174, in resolveHostName
onAddress = self._simpleResolver.getHostByName(hostName)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\scrapy\resolver.py", line 21, in getHostByName
d = super(CachingThreadedResolver, self).getHostByName(name, timeout)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\internet\base.py", line 276, in getHostByName
timeoutDelay = sum(timeout)
TypeError: 'float' object is not iterable
2017-03-09 13:58:34 [scrapy] ERROR: Error downloading <GET http://www.23us.com/class/1_1.html>
TypeError: 'float' object is not iterable
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\internet\defer.py", line 1299, in _inlineCallbacks
result = result.throwExceptionIntoGenerator(g)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\python\failure.py", line 393, in throwExceptionIntoGenerator
return g.throw(self.type, self.value, self.tb)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\scrapy\core\downloader\middleware", line 43, in process_request
defer.returnValue((yield download_func(request=request,spider=spider)))
File "D:\greenSoftware\anaconda3-python\lib\site-packages\scrapy\utils\defer.py", line 45, in mustbe_deferred
result = f(*args, **kw)
File "D:\greenSoftware\anaconda3-python-\lib\site-packages\scrapy\core\downloader\handlers\__init__.py", line 65, in download_ request
return handler.download_request(request, spider)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\scrapy\core\downloader\handlers\http11.py", line 60, in download_ request request
return agent.download_request(request)
File "D:\greenSoftware\anaconda3-python-\lib\site-packages\scrapy\core\downloader\handlers\http11.py", line 285, in download_ request request
method, to_bytes(url, encoding='ascii'), headers, bodyproducer)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\web\client.py", line 1631, in request
parsedURI.originForm)
File "D:\greenSoftware\anaconda3-python-\lib\site-packages\twisted\web\client.py", line 1408, in _requestWithEndpoint
d = self._pool.getConnection(key, endpoint)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\web\client.py", line 1294, in getConnection
return self._newConnection(key, endpoint)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\web\client.py", line 1306, in _newConnection
return endpoint.connect(factory)
File "D:\greenSoftware\anaconda3-python-lib\site-packages\twisted\internet\endpoints.py", line 788, in connect
EndpointReceiver, self._hostText, portNumber=self._port
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\internet\_resolver.py", line 174, in resolveHostName
onAddress = self._simpleResolver.getHostByName(hostName)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\scrapy\resolver.py", line 21, in getHostByName
d = super(CachingThreadedResolver, self).getHostByName(name, timeout)
File "D:\greenSoftware\anaconda3-python\lib\site-packages\twisted\internet\base.py", line 276, in getHostByName
timeoutDelay = sum(timeout)
TypeError: 'float' object is not iterable
2017-03-09 13:58:34
検索した結果、ローカルの
Twisted
ライブラリのバージョンの問題(
これは
).
そして、ローカルで使っているのは
anaconda python
ディストリビューションは、Scrapy をインストールする際にデフォルトでインストールされます。
Twisted
ライブラリは17.1.0です。
Twisted
ライブラリを16.6.0に変更することで、(
conda install Twisted==16.6.0
をインストールしてください)。
関連
-
Solve 'DataFrame' オブジェクトに 'sort' 属性がない。
-
ImportError: torchvision という名前のモジュールがありません。
-
urlでMax retries exceededの問題を解決しました。
-
gensim: queue という名前のモジュールがありません。
-
Python で実行 TypeError: + でサポートされていないオペランド型: 'float' および 'str'.
-
TypeError: -: 'list' および 'list' のオペランド型が未サポート 問題解決
-
[Python] ValueError: サポートされていない pickle プロトコルです。5 解決方法
-
パイソン-ユニコード
-
float32とfloat64の本質的な違い(ディープラーニングへの型影響とpythonの活用)。
-
エンコード問題:UnicodeDecodeError: 'utf-8' コーデックは、位置のバイト 0xb3 をデコードできません。
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
PythonでクロールするときにAttributeError: 'NoneType' オブジェクトに 'find_all' 属性がないのを解決する
-
from scipy.interpolate import spline errorImportError: cannot import name 'spline'.
-
python3 のモジュール "importlib._bootstrap" に "SourceFileLoader" という属性がない問題を解決する。
-
Python仮想環境のインストールと設定
-
ModuleNotFoundError: _pywrap_tensorflow_internal'という名前のモジュールはありません。
-
Python27 PILソリューションという名前のモジュールがない
-
python3.x: urllib2' という名前のモジュールがない
-
pipenvとpyenvによる複数の独立したPython仮想開発環境の管理
-
Pythonのタイトル。学生情報管理システム - アドバンス版 (GUI + MySQLデータベース)
-
Python Numpy.ndarray ValueError: 代入先が読み取り専用です。