Search ConsoleのAPIから、OAuth経由で検索アナリティクスのデータを抜き出してくる方法。 検索アナリティクスは90日分のデータしか保存されないので、定期的にこのプログラムを動かして、検索アナリティクスのデータを蓄積していきたい。 準備 諸々の必要な…

GRCからダウンロードした順位データは上記の形式になっているが、このままではサイト毎の順位比較がしづらいので、下記の形式に整形したい。 準備 pandasを使用して整形する。 import pandas as pd from pandas import Series, DataFrame GRCの順位データの…

準備 pandasのインポート import pandas as pd pd.io.html.read_html()で、HTMLのからテーブルを読み込む pd.io.html.read_html()を使用すると、指定したURLからテーブルのデータだけを抜き出してくれる。 url = 'https://stocks.finance.yahoo.co.jp/stocks…

pandasのDataFrameやSeriesで、欠損値が含まれていると色々と面倒な事もある。 事前に欠損値の補完や、欠損データの削除をしておく方法。 準備 欠損値のデータを作るために、numpyのnanを使う。 import pandas as pd from pandas import Series , DataFrame …

AdWordsのキーワードプランナーからダウンロードしたデータは、スペース前後の入れ替えの違いだけなどが多く含まれているデータになっている。キーワード調査をする際に１つずつ目視していくのは大変なので、ある程度のノイズデータを一括で除去したい。 準…

pandas_datareaderを使うことで、Yahooファイナンスから過去の株価データを取得する事ができる。pandas_datareaderを使用するには別でインストールが必要。 準備 Anaconda Promptから、pandas-datareaderをインストール。 #_ではなく、-になっている事に注意…

DataFrameのデータの計算や統計の方法。 #各モジュールをインポートする import pandas as pd import numpy as np from pandas import Series, DataFrame #テスト用のDataFrameの作成 data = np.array([[1,2,np.nan], [np.nan, 3, 4, ]]) dframe = DataFrame…

pandasのDataFrameの並び替えの方法について。 DataFrame.sort()ではエラーになってしまったので調べてみると、 0.19.0以降のバージョンからメソッドが削除されていて、 並び替えをするにはsort_values(), sort_index()を使用する必要がある。 まずはnumpyと…