os.environ['CUDA_VISIBLE_DEVICES'] は指定された GPU と GPU メモリを使用します。

if cuda_idx >= 0:
    os.environ['CUDA_VISIBLE_DEVICES'] = str(cuda_idx) # cuda_idx is set in config

サーバーには複数のグラフィックカードがあり、他の人は特定のカードでフル稼働している可能性があるため、実験を実行するカードを指定する必要があります。上記の場合、そのコードはstr(cuda_idx)カードにのみ表示され、表示されるすべてのカードは0から始まる配列で番号付けされたままです。