[解決済み】SparkコンソールにINFOメッセージを表示させないようにするには？

質問

スパークシェルで出てくる様々なメッセージを止めたい。

を編集してみました。 log4j.properties というメッセージが表示されます。

以下は log4j.properties

# Define the root logger with appender file
log4j.rootCategory=WARN, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Settings to quiet third party logs that are too verbose
log4j.logger.org.eclipse.jetty=WARN
log4j.logger.org.eclipse.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

しかし、コンソールにメッセージは表示されたままです。

以下はメッセージの例です。

15/01/05 15:11:45 INFO SparkEnv: Registering BlockManagerMaster
15/01/05 15:11:45 INFO DiskBlockManager: Created local directory at /tmp/spark-local-20150105151145-b1ba
15/01/05 15:11:45 INFO MemoryStore: MemoryStore started with capacity 0.0 B.
15/01/05 15:11:45 INFO ConnectionManager: Bound socket to port 44728 with id = ConnectionManagerId(192.168.100.85,44728)
15/01/05 15:11:45 INFO BlockManagerMaster: Trying to register BlockManager
15/01/05 15:11:45 INFO BlockManagerMasterActor$BlockManagerInfo: Registering block manager 192.168.100.85:44728 with 0.0 B RAM
15/01/05 15:11:45 INFO BlockManagerMaster: Registered BlockManager
15/01/05 15:11:45 INFO HttpServer: Starting HTTP Server
15/01/05 15:11:45 INFO HttpBroadcast: Broadcast server star

これを止めるにはどうしたらいいですか？

解決方法は？

の変更を提案してくれた@AkhlDと@Sachin Jananiに感謝します。 .conf ファイルです。

以下のコードで解決しました。

1) 追加 import org.apache.log4j.{Level, Logger} インポートセクションの

2) スパークコンテキストオブジェクトの生成後、すなわち、以下の行を追加しました。 val sc = new SparkContext(conf) :

val rootLogger = Logger.getRootLogger()
rootLogger.setLevel(Level.ERROR)