[解決済み] pyspark の文字列を日付形式に変換する

質問

pyspark の日付データフレームに、次のような形式の文字列カラムがあります。 MM-dd-yyyy という形式の文字列カラムがあり、これを日付カラムに変換しようとしています。

私は試しました。

df.select(to_date(df.STRING_COLUMN).alias('new_date')).show()

と、nullの文字列が表示されます。誰か助けてくれませんか？

どのように解決するには？

更新 (1/10/2018):

Spark 2.2+の場合、これを行う最良の方法は、おそらく to_date または to_timestamp という関数があり、どちらも format 引数をサポートしています。docsから。

>>> from pyspark.sql.functions import to_timestamp
>>> df = spark.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
>>> df.select(to_timestamp(df.t, 'yyyy-MM-dd HH:mm:ss').alias('dt')).collect()
[Row(dt=datetime.datetime(1997, 2, 28, 10, 30))]

オリジナルの回答 (Spark 2.2用)

それはudfなしでこれを行うことが可能です（望ましい？

from pyspark.sql.functions import unix_timestamp, from_unixtime

df = spark.createDataFrame(
    [("11/25/1991",), ("11/24/1991",), ("11/30/1991",)], 
    ['date_str']
)

df2 = df.select(
    'date_str', 
    from_unixtime(unix_timestamp('date_str', 'MM/dd/yyy')).alias('date')
)

print(df2)
#DataFrame[date_str: string, date: timestamp]

df2.show(truncate=False)
#+----------+-------------------+
#|date_str  |date               |
#+----------+-------------------+
#|11/25/1991|1991-11-25 00:00:00|
#|11/24/1991|1991-11-24 00:00:00|
#|11/30/1991|1991-11-30 00:00:00|
#+----------+-------------------+