[解決済み】マルチプロセッシングの Pool.map() で <type 'instancemethod'> を pickle できない。)
2022-04-05 04:16:04
質問
を使おうとしています。
multiprocessing
's
Pool.map()
関数を使って同時に作業を分担しています。以下のコードを使用すると、正常に動作します。
import multiprocessing
def f(x):
return x*x
def go():
pool = multiprocessing.Pool(processes=4)
print pool.map(f, range(10))
if __name__== '__main__' :
go()
ところが、もっとオブジェクト指向で使ってみると、うまくいかない。出てくるエラーメッセージは
PicklingError: Can't pickle <type 'instancemethod'>: attribute lookup
__builtin__.instancemethod failed
下記をメインプログラムとした場合に発生します。
import someClass
if __name__== '__main__' :
sc = someClass.someClass()
sc.go()
で、以下は私の
someClass
クラスがあります。
import multiprocessing
class someClass(object):
def __init__(self):
pass
def f(self, x):
return x*x
def go(self):
pool = multiprocessing.Pool(processes=4)
print pool.map(self.f, range(10))
どなたか、この問題の原因、または簡単な回避方法をご存知ですか?
解決方法は?
問題は、マルチプロセシングではプロセス間でスリングするためにものをピックルする必要があり、バインドメソッドはピックルできないことです。 回避策は(それを "easy" と考えるかどうかは別として)、そのようなメソッドを pickle できるようにするためのインフラをプログラムに追加し、そのインフラを コピー_レグ 標準ライブラリのメソッドです。
例えば、Steven Bethard氏の寄稿した
このスレッド
(このスレッドの最後の方) では、完全に実行可能な方法のひとつとして
copy_reg
.
関連
-
Python 可視化 big_screen ライブラリ サンプル 詳細
-
[解決済み】RuntimeWarning: invalid value encountered in double_scalars で numpy の除算ができない。
-
[解決済み】お使いのCPUは、このTensorFlowバイナリが使用するようにコンパイルされていない命令をサポートしています。AVX AVX2
-
[解決済み】 NameError: グローバル名 'xrange' は Python 3 で定義されていません。
-
[解決済み】TypeError: 系列を <class 'float'> に変換することができません。
-
[解決済み] builtins.TypeError: strでなければならない、bytesではない
-
[解決済み】Flaskのテンプレートが見つからない【重複あり
-
[解決済み] マルチプロセシングpool.mapを複数の引数で使用する方法
-
[解決済み】Pythonマルチプロセッシング PicklingError: <type 'function'> をピクルスにできない。
-
[解決済み] マルチプロセッシング クラスで定義された関数にPool.mapを使用するには?
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
Python関数の高度な応用を解説
-
Python jiabaライブラリの使用方法について説明
-
Pythonによるjieba分割ライブラリ
-
Pythonショートビデオクローラーチュートリアル
-
PythonによるExcelファイルの一括操作の説明
-
[解決済み] [Solved] sklearn error ValueError: 入力に NaN、infinity または dtype('float64') に対して大きすぎる値が含まれている。
-
[解決済み] builtins.TypeError: strでなければならない、bytesではない
-
[解決済み] 'DataFrame' オブジェクトに 'sort' 属性がない
-
[解決済み】syntaxError: 'continue' がループ内で適切に使用されていない
-
[解決済み】Pythonマルチプロセッシング PicklingError: <type 'function'> をピクルスにできない。