[解決済み] 巨大なファイル(80GB)のGreppingを高速化する方法は?
2022-05-30 11:16:12
質問
grep -i -A 5 -B 5 'db_pd.Clients' eightygigsfile.sql
これは、他に過負荷のないかなり強力なLinuxサーバで1時間実行されています。 grepに代わるものはありますか?改善することができる私の構文についての何か、(より良いegrep、fgrep?)
ファイルは、実際には別のサーバーへのマウントで共有されているディレクトリにありますが、実際のディスクスペースはローカルなので、それは何の違いも生じないはずです?
grep は最大 93% の CPU を掴んでいます。
どのように解決するのですか?
いくつかの方法があります。
1) grepコマンドの前に
LC_ALL=C
を付けて、UTF-8の代わりにCロケールを使用します。
2) 使用する
fgrep
を使うのは、正規表現ではなく、固定文字列を検索しているからです。
3)
-i
オプションを削除してください。
というわけで、コマンドは次のようになります。
LC_ALL=C fgrep -A 5 -B 5 'db_pd.Clients' eightygigsfile.sql
また、RAMディスクにコピーしておくとより速くなります。
関連
-
[解決済み] Bashスクリプトでスクリプトファイル名を知るには?
-
[解決済み] OS X で 'find' コマンドを使用して 'sed' を使用するとエラーが発生する。"無効なコマンドコードです。"
-
[解決済み] (standard_in) 1: bash スクリプトのシンタックスエラー
-
[解決済み] MINGW64 "make build" エラー。"bash: make: コマンドが見つかりません"
-
[解決済み] Bashで標準出力と標準エラーの両方をファイルにリダイレクトして追記する方法
-
[解決済み] パイプで "tee "を使用しているときに、標準エラーをファイルに書き込むにはどうすればよいですか?
-
[解決済み] bash で複数のサブプロセスが終了するのを待ち、いずれかのサブプロセスがコード !=0 で終了したときに終了コード !=0 を返すにはどうすればよいですか?
-
[解決済み] Colorized grep -- マッチをハイライトしてファイル全体を表示する
-
[解決済み] ファイルパスからディレクトリパスを抽出する方法は?
-
[解決済み] [Solved] あるファイルにある行を別のファイルにない行を見つける速い方法?
最新
-
nginxです。[emerg] 0.0.0.0:80 への bind() に失敗しました (98: アドレスは既に使用中です)
-
htmlページでギリシャ文字を使うには
-
ピュアhtml+cssでの要素読み込み効果
-
純粋なhtml + cssで五輪を実現するサンプルコード
-
ナビゲーションバー・ドロップダウンメニューのHTML+CSSサンプルコード
-
タイピング効果を実現するピュアhtml+css
-
htmlの選択ボックスのプレースホルダー作成に関する質問
-
html css3 伸縮しない 画像表示効果
-
トップナビゲーションバーメニュー作成用HTML+CSS
-
html+css 実装 サイバーパンク風ボタン
おすすめ
-
[解決済み】if [](角括弧)の「[: 引数が多すぎる」エラーの意味)
-
[解決済み] OS X で 'find' コマンドを使用して 'sed' を使用するとエラーが発生する。"無効なコマンドコードです。"
-
[解決済み] bashの文字列の等値性テストで、予期しない演算子エラーが発生するのはなぜですか?重複
-
[解決済み] Bashスクリプトで引数を反復処理する方法
-
[解決済み] echoコマンドでパイピングが効かない [重複]。
-
[解決済み] awk で行を飛ばすにはどうしたらいいですか?
-
[解決済み] ConcatenationとAppendの違いについて【終了しました
-
解決策:bash: /root/.bashrc: パーミッションが拒否されました
-
[解決済み] 環境変数を表示/エコーするには?
-
[解決済み] Bashスクリプトの'''抜け'''がある] [クローズド]