1. ホーム
  2. json

[解決済み] SQLAlchemy (psycopg2.ProgrammingError) can't adapt type 'dict'.

2022-02-07 12:32:15

質問

私の問題に対する解決策をウェブ上で見つけることができませんでした。 SQLAlchemyを使って、このpandas dfをPostgresqlのテーブルに挿入しようとしています。

  • Pandas 0.24.2
  • sqlalchemy 1.3.3
  • パイソン 3.7

私のコードの関連する部分は以下の通りです。

engine = create_engine('postgresql://user:pass@host:5432/db')

file = open('GameRoundMessageBlackjackSample.json', 'r', encoding='utf-8')
json_dict = json.load(file)
df = json_normalize(json_dict, record_path='cards', meta=['bet', 'dealerId', 'dealerName', 'gameOutcome', 'gameRoundDuration', 'gameRoundId', 'gameType', 'tableId', 'win'])
df = df[['win', 'betAmount', 'bets']]

df.to_sql('test_netent_data', engine, if_exists='append')

このテーブルからカラム 'bets' を除いて sql にロードしようとすると、すべてが期待どおりに動作します。しかし、それを含めると、次のエラーが発生します。

sqlalchemy.exc.ProgrammingError: (psycopg2.ProgrammingError) can't adapt 
type 'dict'
[SQL: INSERT INTO test_netent_data (index, win, "betAmount", bets) VALUES (%(index)s, %(win)s, %(betAmount)s, %(bets)s)]
[parameters: ({'index': 0, 'win': '2000.00', 'betAmount': '1212112', 'bets': [{'name': '1', 'amount': '1212112'}]}, {'index': 1, 'win': '2000.00', 'betAmount': '1212000', 'bets': [{'name': '1', 'amount': '1212000'}]}, {'index': 2, 'win': '2000.00', 'betAmount': '1212112', 'bets': [{'name': '1', 'amount': '1212112'}]}, {'index': 3, 'win': '2000.00', 'betAmount': '1212000', 'bets': [{'name': '1', 'amount': '1212000'}]}, {'index': 4, 'win': '2000.00', 'betAmount': '1212112', 'bets': [{'name': '1', 'amount': '1212112'}]}, {'index': 5, 'win': '2000.00', 'betAmount': '1212000', 'bets': [{'name': '1', 'amount': '1212000'}]}, {'index': 6, 'win': '2000.00', 'betAmount': '1212112', 'bets': [{'name': '1', 'amount': '1212112'}]}, {'index': 7, 'win': '2000.00', 'betAmount': '1212000', 'bets': [{'name': '1', 'amount': '1212000'}]})]
(Background on this error at: http://sqlalche.me/e/f405)

このカラムの型を確認しましたが、他のカラムと変わりなく(type object)でした。また、文字列に変換しようとしたところ、他のエラーがたくさん出てしまいました。 簡単な解決策があるはずなのですが、私の頭では理解することができません。

解決方法は?

私にとっては、より良い方法は、このリストのdictをパースしてカラムに分離することです。しかし、もしあなたがカラム ベット を SQL テーブルに変換する必要があります。オブジェクトと書いていますが、ディクショナリでリストになっています。以下は、これを文字列に変換するコードです。

df['bets'] = list(map(lambda x: json.dumps(x), df['bets']))