標準モジュールのunittestを使うことで、クラスや関数が正しく機能しているかどうかをテストする事ができる。 準備 unittestのインポートをする。 import unittest テストを行う関数の作成 URLからドメイン部分だけを抜き出す簡単な関数を作成。 引数がURLで…
Search ConsoleのAPIから、OAuth経由で検索アナリティクスのデータを抜き出してくる方法。 検索アナリティクスは90日分のデータしか保存されないので、定期的にこのプログラムを動かして、検索アナリティクスのデータを蓄積していきたい。 準備 諸々の必要な…
GRCからダウンロードした順位データは上記の形式になっているが、このままではサイト毎の順位比較がしづらいので、下記の形式に整形したい。 準備 pandasを使用して整形する。 import pandas as pd from pandas import Series, DataFrame GRCの順位データの…
準備 pandasのインポート import pandas as pd pd.io.html.read_html()で、HTMLのからテーブルを読み込む pd.io.html.read_html()を使用すると、指定したURLからテーブルのデータだけを抜き出してくれる。 url = 'https://stocks.finance.yahoo.co.jp/stocks…
pandasのDataFrameやSeriesで、欠損値が含まれていると色々と面倒な事もある。 事前に欠損値の補完や、欠損データの削除をしておく方法。 準備 欠損値のデータを作るために、numpyのnanを使う。 import pandas as pd from pandas import Series , DataFrame …
AdWordsのキーワードプランナーからダウンロードしたデータは、スペース前後の入れ替えの違いだけなどが多く含まれているデータになっている。キーワード調査をする際に１つずつ目視していくのは大変なので、ある程度のノイズデータを一括で除去したい。 準…
pandas_datareaderを使うことで、Yahooファイナンスから過去の株価データを取得する事ができる。pandas_datareaderを使用するには別でインストールが必要。 準備 Anaconda Promptから、pandas-datareaderをインストール。 #_ではなく、-になっている事に注意…
DataFrameのデータの計算や統計の方法。 #各モジュールをインポートする import pandas as pd import numpy as np from pandas import Series, DataFrame #テスト用のDataFrameの作成 data = np.array([[1,2,np.nan], [np.nan, 3, 4, ]]) dframe = DataFrame…
pandasのDataFrameの並び替えの方法について。 DataFrame.sort()ではエラーになってしまったので調べてみると、 0.19.0以降のバージョンからメソッドが削除されていて、 並び替えをするにはsort_values(), sort_index()を使用する必要がある。 まずはnumpyと…
派遣 事務 求人 派遣 事務 求人 事務 派遣 事務 求人 事務派遣などのキーワードから、スペース有無や順番違いのキーワードを除外したい。▼アウトプットイメージ 派遣 事務 求人 派遣 事務 事務 求人 キーワード重複の削除 下準備 #numpyのインポート import …
いつも通り、numpy , pandasのインポート。 import numpy as np import pandas as pd from pandas import Series, DataFrame Seriesの計算 #テスト用のシリーズの作成 series1 = Series([1,2,3],index=['A','B','C']) series2 = Series([2,0,5,8],index=['B'…
pandasとnumpyのインポート。 また、pandasからSeriesとDataFrameもインポートする。 import pandas as pd import numpy as np from pandas import Series, DataFrame テスト用のDataFrameを作成 dataframe1 = DataFrame(np.arange(15).reshape(5,3), index=…
pandasとnumpyのインポート。 また、pandasからSeriesとDataFrameもインポートする。 import pandas as pd import numpy as np from pandas import Series, DataFrame シリーズの場合 テスト用のシリーズを作成 series1 = Series(np.arange(5), index=['A','…
