Python DataFrameの書き込み読み込み

趣味で書いているアプリでWebAPIからデータをもってきて、そのデータを整形するためにいったんpandasのDataFrameにいれる、ということをよくあると思う。

私もよくあるが、DataFrameの挙動を試しながらやっていると、そのたびに、WebAPIにアクセスして、DataFrameにいれてという処理になり、WebAPIへのアクセスによる遅延もあるし、APIのLimitにひっかかる、場合によっては請求される場合もあるので、WebAPIからDataFrameにデータを入れたあとはローカルに読み書き出るようにした。

Dataframeの読み書き

[python]
import pandas as pd

# Write
# dfはすでに読み込みずみdataframeオブジェクト
df.to_pickle(“df_output.pkl”)

# Read
df = pd.read_pickle(“df_output.pkl”)
[/python]

.csvファイルを作ってもいいが、Dataframeオブジェクトの構造になっているぶん楽である。

例えばDataframeでデータのクレンジングをしている経過でも書き出せるので、楽だし、csv構造に出力、入力というオーバーヘッドもないのでこのほうがおすすめである。