趣味で書いているアプリでWebAPIからデータをもってきて、そのデータを整形するためにいったんpandasのDataFrameにいれる、ということをよくあると思う。
私もよくあるが、DataFrameの挙動を試しながらやっていると、そのたびに、WebAPIにアクセスして、DataFrameにいれてという処理になり、WebAPIへのアクセスによる遅延もあるし、APIのLimitにひっかかる、場合によっては請求される場合もあるので、WebAPIからDataFrameにデータを入れたあとはローカルに読み書き出るようにした。
Dataframeの読み書き
import pandas as pd
# Write
# dfはすでに読み込みずみdataframeオブジェクト
df.to_pickle("df_output.pkl")
# Read
df = pd.read_pickle("df_output.pkl")
.csvファイルを作ってもいいが、Dataframeオブジェクトの構造になっているぶん楽である。
例えばDataframeでデータのクレンジングをしている経過でも書き出せるので、楽だし、csv構造に出力、入力というオーバーヘッドもないのでこのほうがおすすめである。
