[解決済み】Node.jsのヒープがメモリ不足になる。

質問

今日、RAIDファイルのインデックスを更新するためにファイルシステムのインデックス作成用スクリプトを実行したところ、4時間後に以下のエラーでクラッシュしました。

[md5:]  241613/241627 97.5%  
[md5:]  241614/241627 97.5%  
[md5:]  241625/241627 98.1%
Creating missing list... (79570 files missing)
Creating new files list... (241627 new files)

<--- Last few GCs --->

11629672 ms: Mark-sweep 1174.6 (1426.5) -> 1172.4 (1418.3) MB, 659.9 / 0 ms [allocation failure] [GC in old space requested].
11630371 ms: Mark-sweep 1172.4 (1418.3) -> 1172.4 (1411.3) MB, 698.9 / 0 ms [allocation failure] [GC in old space requested].
11631105 ms: Mark-sweep 1172.4 (1411.3) -> 1172.4 (1389.3) MB, 733.5 / 0 ms [last resort gc].
11631778 ms: Mark-sweep 1172.4 (1389.3) -> 1172.4 (1368.3) MB, 673.6 / 0 ms [last resort gc].


<--- JS stacktrace --->

==== JS stack trace =========================================

Security context: 0x3d1d329c9e59 <JS Object>
1: SparseJoinWithSeparatorJS(aka SparseJoinWithSeparatorJS) [native array.js:~84] [pc=0x3629ef689ad0] (this=0x3d1d32904189 <undefined>,w=0x2b690ce91071 <JS Array[241627]>,L=241627,M=0x3d1d329b4a11 <JS Function ConvertToString (SharedFunctionInfo 0x3d1d3294ef79)>,N=0x7c953bf4d49 <String[4]\: ,\n  >)
2: Join(aka Join) [native array.js:143] [pc=0x3629ef616696] (this=0x3d1d32904189 <undefin...

FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory
 1: node::Abort() [/usr/bin/node]
 2: 0xe2c5fc [/usr/bin/node]
 3: v8::Utils::ReportApiFailure(char const*, char const*) [/usr/bin/node]
 4: v8::internal::V8::FatalProcessOutOfMemory(char const*, bool) [/usr/bin/node]
 5: v8::internal::Factory::NewRawTwoByteString(int, v8::internal::PretenureFlag) [/usr/bin/node]
 6: v8::internal::Runtime_SparseJoinWithSeparator(int, v8::internal::Object**, v8::internal::Isolate*) [/usr/bin/node]
 7: 0x3629ef50961b

サーバーは16gbのRAMと24gbのSSDスワップが装備されています。私のスクリプトが36gbのメモリを超えたとはとても思えません。少なくとも、そのようなことはないはずです。

スクリプトは、ファイルのメタデータ（修正日、パーミッションなど、ビッグデータではない）を含むオブジェクトの配列として保存されたファイルのインデックスを作成します。

以下はスクリプトの全コードです。 http://pastebin.com/mjaD76c3

私は過去にこのスクリプトで、ノードに奇妙な問題が発生したことがあります。巨大なデータセットでnodejsのメモリ管理を改善する方法はありますか？

解決方法は？

私の記憶が正しければ、V8のメモリ使用量には、手動で増やさない場合、標準で約1.7GBという厳しい制限があります。

ある製品では、デプロイスクリプトでこの解決策に従いました。

 node --max-old-space-size=4096 yourFile.js

また、新しいスペースコマンドもあるだろうが、ここに書かれているように。 A-ツアー・オブ-V8-ガーベジ・コレクション 新しいスペースは新しく作成された短期データのみを収集し、古いスペースは参照されたすべてのデータ構造を含むので、あなたのケースでは最良の選択肢になるはずです。