趣味で書いているアプリでWebAPIからデータをもってきて、そのデータを整形するためにいったんpandasのDataFrameにいれる、ということをよくあると思う。
私もよくあるが、DataFrameの挙動を試しながらやっていると、そのたびに、WebAPIにアクセスして、DataFrameにいれてという処理になり、WebAPIへのアクセスによる遅延もあるし、APIのLimitにひっかかる、場合によっては請求される場合もあるので、WebAPIからDataFrameにデータを入れたあとはローカルに読み書き出るようにした。
Dataframeの読み書き
import pandas as pd # Write # dfはすでに読み込みずみdataframeオブジェクト df.to_pickle("df_output.pkl") # Read df = pd.read_pickle("df_output.pkl")
.csvファイルを作ってもいいが、Dataframeオブジェクトの構造になっているぶん楽である。
例えばDataframeでデータのクレンジングをしている経過でも書き出せるので、楽だし、csv構造に出力、入力というオーバーヘッドもないのでこのほうがおすすめである。