[解決済み] Python Pandas: CSVファイルの最初のn行だけを読み込むには?
2022-05-03 22:01:06
質問
非常に大きなデータセットを持っているのですが、データセット全体を読み込む余裕がありません。そこで、その中の1つの塊だけを読み込んで学習させようと考えているのですが、どうすればいいのか全く分かりません。何か考えがあれば教えてください。
どのように解決するのですか?
最初の999,999行(ヘッダ以外)だけを読みたい場合。
read_csv(..., nrows=999999)
1,000,000行目だけを読みたい場合 ... 1,999,999
read_csv(..., skiprows=1000000, nrows=999999)
ナローズ : int, default None 読み込むファイルの行数です。読み込むファイルの 大きなファイル*の断片を読み取る
スキップロー リスト形式または整数値 ファイルの先頭で、スキップする行番号(0-インデックス)またはスキップする行数(int)を指定します。
また、大きなファイルの場合は、chunksizeも使用することになるでしょう。
チャンクサイズ : int, デフォルトなし 反復処理用のTextFileReaderオブジェクトを返します。
関連
-
[解決済み】pygame.error: ビデオシステムが初期化されていない
-
[解決済み】Pythonのvirtualenvを離脱/終了/無効化する方法
-
[解決済み] Pythonで現在時刻を取得する方法
-
[解決済み] PandasでDataFrameの行を反復処理する方法
-
[解決済み] 列の値に基づいてDataFrameから行を選択するにはどうすればよいですか?
-
[解決済み] Pythonでファイルやフォルダを削除する方法は?
-
[解決済み] なぜC++はPythonよりもstdinからの行の読み込みが遅いのですか?
-
[解決済み] インスタンスのクラス名を取得する?
-
[解決済み] pandasを使った "大量データ "ワークフロー【終了しました
-
[解決済み】ネストされたディレクトリを安全に作成するには?
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
python implement mysql add delete check change サンプルコード
-
Pythonを使って簡単なzipファイルの解凍パスワードを手作業で解く
-
パッケージングツールPyinstallerの使用と落とし穴の回避
-
[解決済み】RuntimeWarning: invalid value encountered in double_scalars で numpy の除算ができない。
-
[解決済み] [Solved] sklearn error ValueError: 入力に NaN、infinity または dtype('float64') に対して大きすぎる値が含まれている。
-
[解決済み】Pythonスクリプトで「Expected 2D array, got 1D array instead: 」というエラーが発生?
-
[解決済み】インポートエラー。モジュール名 urllib2 がない
-
[解決済み] TypeError: 'DataFrame' オブジェクトは呼び出し可能ではない
-
[解決済み】Python: SyntaxError: キーワードは式になり得ない
-
[解決済み] 巨大な .csv ファイルを読み込む