[解決済み] Sequelizeとnode.jsを使った一括挿入の方法
2022-02-27 18:28:30
質問
js + sequelizeで、JSONを使って280K行のデータを挿入します。 JSONは280Kの配列です。バルク挿入をチャンクで行う方法はありますか?データの更新にかなりの時間がかかることが分かっています。私はデータを40K行に削減しようとしたとき、それは迅速に動作します。私は正しいアプローチをしています。アドバイスお願いします。私はバックエンドとしてpostgresqlを使用しています。
PNs.bulkCreate(JSON_Small)
.catch(function(err) {
console.log('Error ' + err);
})
.finally(function(err) {
console.log('FINISHED + ' \n +++++++ \n');
});
解決方法は?
を利用しました。
cargo
ユーティリティを使用して、一度に1000行まで読み込むことができます。 csvをデータベースにロードするための以下のコードを参照してください。
var fs = require('fs'),
async = require('async'),
csv = require('csv');
var input = fs.createReadStream(filename);
var parser = csv.parse({
columns: true,
relax: true
});
var inserter = async.cargo(function(tasks, inserterCallback) {
model.bulkCreate(tasks).then(function() {
inserterCallback();
}
);
},
1000
);
parser.on('readable', function () {
while(line = parser.read()) {
inserter.push(line);
}
});
parser.on('end', function (count) {
inserter.drain = function() {
doneLoadingCallback();
}
});
input.pipe(parser);
関連
-
[解決済み] Node.jsのプログラムにコマンドライン引数を渡すにはどうしたらいいですか?
-
[解決済み] Node.jsを使うタイミングをどう判断するか?
-
[解決済み] Node.jsで終了する方法
-
[解決済み] Node.jsアプリケーションをデバッグするにはどうすればよいですか?
-
[解決済み] Node.jsを完全にアンインストールして、最初から再インストールする方法 (Mac OS X)
-
[解決済み] Node.jsのmodule.exportsの目的と使い方を教えてください。
-
[解決済み] Node.jsのnpmモジュールをアンインストールするにはどうすればよいですか?
-
[解決済み】JSON-ObjectでTypeScriptオブジェクトを初期化する方法は?
-
[解決済み】文字列のJSON配列はどのように表現するのですか?
-
[解決済み】HTTPの "406-Not Acceptable Response "とは何ですか?
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
[解決済み] bower.jsonを新しいバージョンに更新する
-
[解決済み] JSONとJSONPの違いは何ですか?
-
[解決済み] 表形式のデータを持つExcelスプレッドシートをJSONに変換する最も簡単な方法は何ですか?[クローズド]
-
[解決済み] Angular: 'Cannot find a differ supporting object '[object Object]' of type 'object'. NgForはArrayのようなIterableへのバインディングのみをサポートしています'。
-
[解決済み] JSONの未定義の値型
-
[解決済み] JsonBuilderを使用して、keyに変数名、valueにその値を指定してjsonを構築するにはどうすればよいですか?
-
[解決済み] JSONファイルを比較するためにjqまたは他のコマンドラインツールを使用すること
-
[解決済み] node.jsでjsonのためのrequireはありますか?
-
[解決済み】Map<String, String>をPOJOに変換する。
-
[解決済み】Github WikiでJSONブロックをスタイルする方法は?