1. ホーム
  2. パイソン

[解決済み】WindowsでPythonのマルチプロセッシングを試すとRuntimeErrorが発生する。

2022-04-12 02:19:08

質問

Windowsマシンでスレッドとマルチプロセッシングを使用した、初めての正式なPythonプログラムを試しているところです。しかし、プロセスを起動することができず、pythonは次のメッセージを出します。問題は、私はスレッドを メイン モジュールです。スレッドは、クラス内の別のモジュールで処理されます。

EDIT : ちなみにこのコードはubuntuで問題なく動きます。Windowsではまだです。

RuntimeError: 
            Attempt to start a new process before the current process
            has finished its bootstrapping phase.
            This probably means that you are on Windows and you have
            forgotten to use the proper idiom in the main module:
                if __name__ == '__main__':
                    freeze_support()
                    ...
            The "freeze_support()" line can be omitted if the program
            is not going to be frozen to produce a Windows executable.

元のコードはかなり長いのですが、簡略化したコードでエラーを再現することができました。2つのファイルに分かれていて、1つ目はメインモジュールで、プロセス/スレッドを処理するモジュールをインポートして、メソッドを呼び出す以外はほとんど何もしません。2番目のモジュールは、コードの本体があるところです。


testMain.py。

import parallelTestModule

extractor = parallelTestModule.ParallelExtractor()
extractor.runInParallel(numProcesses=2, numThreads=4)


parallelTestModule.pyです。

import multiprocessing
from multiprocessing import Process
import threading

class ThreadRunner(threading.Thread):
    """ This class represents a single instance of a running thread"""
    def __init__(self, name):
        threading.Thread.__init__(self)
        self.name = name
    def run(self):
        print self.name,'\n'

class ProcessRunner:
    """ This class represents a single instance of a running process """
    def runp(self, pid, numThreads):
        mythreads = []
        for tid in range(numThreads):
            name = "Proc-"+str(pid)+"-Thread-"+str(tid)
            th = ThreadRunner(name)
            mythreads.append(th) 
        for i in mythreads:
            i.start()
        for i in mythreads:
            i.join()

class ParallelExtractor:    
    def runInParallel(self, numProcesses, numThreads):
        myprocs = []
        prunner = ProcessRunner()
        for pid in range(numProcesses):
            pr = Process(target=prunner.runp, args=(pid, numThreads)) 
            myprocs.append(pr) 
#        if __name__ == 'parallelTestModule':    #This didnt work
#        if __name__ == '__main__':              #This obviously doesnt work
#        multiprocessing.freeze_support()        #added after seeing error to no avail
        for i in myprocs:
            i.start()

        for i in myprocs:
            i.join()

解決方法は?

Windowsでは、サブプロセスは、起動時にメインモジュールをインポート(実行)します。そのため if __name__ == '__main__': サブプロセスを再帰的に作成しないように、メインモジュールでガードします。

修正済み testMain.py :

import parallelTestModule

if __name__ == '__main__':    
    extractor = parallelTestModule.ParallelExtractor()
    extractor.runInParallel(numProcesses=2, numThreads=4)