大きなファイルの行数を数える

質問

私は通常、約 20GB のサイズのテキスト ファイルを扱うのですが、あるファイル内の行数を頻繁に数えていることに気づきました。

私が今やっている方法は、単に cat fname | wc -l で、非常に時間がかかります。 もっと早くできる解決策はないでしょうか？

私はHadoopがインストールされた高性能のクラスタで働いています。私は、map reduce アプローチが役に立つかどうか疑問に思っていました。

のように1行で実行できるようなシンプルなソリューションにしたいです。 wc -l のように1行で解決したいのですが、どの程度実現可能なのかわかりません。

何かアイデアはありませんか？

どのように解決するのですか？

試してみてください。 sed -n '$=' filename

また、cat は不要です。 wc -l filename で十分です。