[解決済み] Python sqlite3 と並行処理
2023-01-20 03:12:40
質問
私は、"threading" モジュールを使用するPythonのプログラムを持っています。1秒に一度、私のプログラムは新しいスレッドを開始し、ウェブからいくつかのデータをフェッチし、このデータを私のハードドライブに保存します。これらの結果を保存するためにsqlite3を使用したいのですが、うまくいきません。問題は、次の行にあるようです。
conn = sqlite3.connect("mydatabase.db")
- この行を各スレッド内に置くと、データベース ファイルがロックされていることを伝える OperationalError が発生します。これは、他のスレッドが sqlite3 接続を通じて mydatabase.db を開いていて、それをロックしていることを意味すると思います。
- このコードの行をメイン プログラムに入れて、接続オブジェクト (conn) を各スレッドに渡すと、ProgrammingError が発生し、スレッドで作成した SQLite オブジェクトはその同じスレッドでのみ使用できることが示されます。
以前は、私はすべての結果を CSV ファイルに保存しており、このようなファイル ロックの問題は発生しませんでした。うまくいけば、sqlite でこれが可能になります。何かアイデアはありますか?
どのように解決するのですか?
consumer-producerパターンを使用することができます。例えば、スレッド間で共有されるキューを作成することができます。ウェブからデータを取得する最初のスレッドは、共有キューにこのデータをエンキューします。データベース接続を所有する別のスレッドは、キューからデータをデキューし、それをデータベースに渡します。
関連
-
[解決済み] staticmethodとclassmethodの違いについて
-
[解決済み] Pythonには文字列の'contains'サブストリングメソッドがありますか?
-
[解決済み] Pythonで現在時刻を取得する方法
-
[解決済み] Pythonで2つのリストを連結する方法は?
-
[解決済み] SQLiteのINSERT/per-secondのパフォーマンスを向上させる
-
[解決済み] Pythonで例外を手動で発生(スロー)させる
-
[解決済み] AndroidでSQLiteを使用する際に、並行処理の問題を回避するにはどうすればよいですか?
-
[解決済み】ネストされたディレクトリを安全に作成するには?
-
[解決済み】Pythonに三項条件演算子はありますか?
-
[解決済み] PILからopenCVフォーマットへの変換
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
[解決済み] 前月の日時オブジェクトを返す
-
[解決済み] PythonでのAWS Lambdaのインポートモジュールエラー
-
[解決済み] DataFrameに日付間の日数カラムを追加する pandas
-
[解決済み] SQLAlchemy - テーブルのリストを取得する
-
[解決済み] Django 1.7で初期マイグレーションからマイグレートバックする方法は?
-
[解決済み] Celeryタスクのユニットテストはどのように行うのですか?
-
[解決済み] Pandasのデータフレーム内の文字列を'date'データ型に変換するにはどうしたらいいですか?
-
[解決済み] あるメソッドが複数の引数のうち1つの引数で呼び出されたことを保証する
-
[解決済み] PythonのRequestsモジュールを使ってWebサイトに "ログイン "するには?
-
[解決済み] 新しいpip backtrackingの実行時問題の解決