乙py式５時間で学ぶプログラミング基礎(python編)1.この講座について

2019年01月27日

カテゴリ:
プログラミング
Python

1.この講座について

この講座は「Python」というプログラミング言語を

５時間ほどで学習することを目的としたプログラミング学習用のプログラムです。

導入や演習部を除けばプログラミングの基礎は5時間ほどで学習する事ができます。

これから新しくプログラミングを覚えたい方や、今までプログラミングを諦めていた方、
時間のない方、また、これからは子供のプログラミングが必修になるということですので
その親御さん世代の方にもオススメできます。

この講座ではプログラミングを学習するのに

Python　というプログラム言語を用います。

この言語は教育現場だけではなく、数多くの現場で用いられていますので

単なる学習や研究だけでなく実務をこなすのにも大いに役立つため

初めて学ぶ言語には最適です。

なお、学習をするのにあたってはJupyter Notebookというツールを用います。

このツールはプログラミングのコードを打ち込んで実行したり

その結果を保存して資料を作成したり

他の人のコードを参考にしたりするのにも役立ち

他の方々に共有をしたりすることができ、

学習の効率を非常に高めることができるものです。

ぜひ一緒にコードを実行しながら、
楽しく役立つプログラミングの面白さを学んでいきましょう。

質問は随時受け付けますので、コメントお願いいたします。

タグ：: #python; #プログラミング

Python応用編5(matplotlibの使い方)

2018年10月14日

カテゴリ:
Python

Pythonは他の言語と違い
実行結果の可視化がとても楽です。

「matplotlib」と言う可視化専用のライブラリがあり
数多くの現場で用いられています。

matplotlibの使い方

まずはmatplotlibをインポートしましょう。

import matplotlib.pyplot as plt
%matplotlib inline

このライブラリを用いて描画すると、ブラウザの別のウィンドウに表示されてしまいます。

jupyter notebook上に表示させるためには

%matplotlib inline

と記述して、インライン表示をさせるように指定します。

それでは適当な描画をしてみましょう。
numpyでデータを生成し、それを描画してみます。

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

# 乱数を生成
x = np.random.rand(100)
y = np.random.rand(100)
 
# 散布図を描画
plt.scatter(x, y)

#サイズ、色、不透明度、線のサイズ、色を指定
plt.scatter(x, y, s=600, c="pink", alpha=0.5, linewidths="2",edgecolors="red")

#グラフのタイトル、X 軸、Y 軸の名前 (ラベル)、グリッド線を表示
plt.scatter(x, y)
plt.title("This is a title")
plt.xlabel("x axis")
plt.ylabel("y axis")
plt.grid(True)

# 乱数を 100 件生成
value = np.random.rand(100)
 
# 散布図を表示
plt.scatter(x, y, s=100, c=value, cmap='Blues')
 
# カラーバーを表示
plt.colorbar()

#正規化における最大値 (0.6)、最小値 (0.4) を指定
plt.scatter(x, y, s=100, c=value, cmap='Blues', vmin=0.4, vmax=0.6)
plt.colorbar()

#棒の色、枠線の色、太さを設定
plt.bar(left, height, color="#FF5B70", edgecolor="#CC4959", linewidth=4)

#タイトル、X 軸、Y 軸のラベルを出力
plt.bar(left, height, tick_label=label, align="center")
plt.title("This is a title")
plt.xlabel("x axis")
plt.ylabel("y axis")
plt.grid(True)

#Y 軸方向のエラーバーを黒色 (black) で表示
yerr = np.array([10, 20, 30, 40, 50])
plt.bar(left, height, yerr=yerr, ecolor="black")

#積み上げ棒グラフ
height1 = np.array([100, 200, 300, 400, 500])
height2 = np.array([1000, 800, 600, 400, 200])
plt.bar(left, height1, color="green")
plt.bar(left, height2, bottom=height1, color="orange")

タグ：: #matplotlib

Python応用編4(pandasの前処理での使い方)

2018年10月08日

カテゴリ:
Python

pandasの基本的な使い方を覚えたら
次はデータの前処理に使うやりかたを覚えましょう

データの抽出¶

特定の列を取得¶

データフレーム名[['カラム名' , 'カラム名']]¶

In [25]:

titanic_df[['Age','Sex']].head()

Out[25]:

	Age	Sex
0	22.0	male
1	38.0	female
2	26.0	female
3	35.0	female
4	35.0	male

特定の区間の行を抽出¶

データフレーム名[開始位置 : 終了位置]¶

In [26]:

titanic_df[100:104]

Out[26]:

	PassengerId	Pclass	Name	Sex	Age	Parch	Ticket	Fare	Cabin	Embarked
100	101	3	Petranec, Miss. Matilda	female	28.0	0	349245	7.8958	NaN	S
101	102	3	Petroff, Mr. Pastcho ("Pentcho")	male	NaN	0	349215	7.8958	NaN	S
102	103	1	White, Mr. Richard Frasar	male	21.0	1	35281	77.2875	D26	S
103	104	3	Johansson, Mr. Gustaf Joel	male	33.0	0	7540	8.6542	NaN	S

取得行をインデックスでも指定可能¶

In [27]:

fx_df = pd.read_csv('data/DAT_ASCII_USDJPY_M1_201710.csv', 
                     sep=';',
                     names=('Time','Open','High','Low','Close',''),
                     index_col='Time', 
                     parse_dates=True)
fx_df['2017-10-01 17:03:00':'2017-10-01 17:07:00']

Out[27]:

	Open	High	Low	Close
Time
2017-10-01 17:03:00	112.512	112.532	112.510	112.510	0
2017-10-01 17:04:00	112.513	112.514	112.513	112.514	0
2017-10-01 17:05:00	112.519	112.531	112.519	112.530	0
2017-10-01 17:06:00	112.529	112.529	112.509	112.509	0
2017-10-01 17:07:00	112.502	112.586	112.460	112.553	0

In [ ]:

条件を指定して行・列を取得¶

データフレーム名[データフレーム名.カラム名条件式 ]¶

In [28]:

titanic_df = pd.read_csv('data/titanic_train.csv')
# Age　が70より上の行
titanic_df[titanic_df.Age > 70]

Out[28]:

	PassengerId	Survived	Pclass	Name	Sex	Age	Ticket	Fare	Cabin	Embarked
96	97	0	1	Goldschmidt, Mr. George B	male	71.0	PC 17754	34.6542	A5	C
116	117	0	3	Connors, Mr. Patrick	male	70.5	370369	7.7500	NaN	Q
493	494	0	1	Artagaveytia, Mr. Ramon	male	71.0	PC 17609	49.5042	NaN	C
630	631	1	1	Barkworth, Mr. Algernon Henry Wilson	male	80.0	27042	30.0000	A23	S
851	852	0	3	Svensson, Mr. Johan	male	74.0	347060	7.7750	NaN	S

In [29]:

# Ageが71より大きい Age Sex カラムのみ取得
titanic_df[['Age','Sex']][titanic_df.Age > 71]

Out[29]:

	Age	Sex
630	80.0	male
851	74.0	male

値が含まれる行の抽出¶

データフレーム名.isin([値,値])]¶

In [30]:

# Sex がmale　の行を抽出
titanic_df[titanic_df['Sex'].isin(['male'])].head(3)

Out[30]:

	PassengerId	Pclass	Name	Sex	Age	SibSp	Ticket	Fare	Cabin	Embarked
0	1	3	Braund, Mr. Owen Harris	male	22.0	1	A/5 21171	7.2500	NaN	S
4	5	3	Allen, Mr. William Henry	male	35.0	0	373450	8.0500	NaN	S
5	6	3	Moran, Mr. James	male	NaN	0	330877	8.4583	NaN	Q

データフレーム名[データフレーム名['カラム名'].str.contains('条件')]¶

In [31]:

titanic_df[titanic_df['Name'].str.contains('Henry')].head(3)

Out[31]:

	PassengerId	Survived	Pclass	Name	Sex	Age	SibSp	Ticket	Fare	Cabin	Embarked
4	5	0	3	Allen, Mr. William Henry	male	35.0	0	373450	8.0500	NaN	S
12	13	0	3	Saundercock, Mr. William Henry	male	20.0	0	A/5. 2151	8.0500	NaN	S
52	53	1	1	Harper, Mrs. Henry Sleeper (Myna Haxtun)	female	49.0	1	PC 17572	76.7292	D33	C

複数条件¶

In [32]:

titanic_df[titanic_df['Name'].str.contains('Henry')  & titanic_df['Sex'].isin(['male'])].head(3)

Out[32]:

	PassengerId	Pclass	Name	Sex	Age	SibSp	Ticket	Fare	Cabin	Embarked
4	5	3	Allen, Mr. William Henry	male	35.0	0	373450	8.050	NaN	S
12	13	3	Saundercock, Mr. William Henry	male	20.0	0	A/5. 2151	8.050	NaN	S
62	63	1	Harris, Mr. Henry Birkhardt	male	45.0	1	36973	83.475	C83	S

AND &¶

OR |¶

In [ ]:

欠損値の削除¶

欠損がある行の削除¶

データフレーム名.dropna()¶

In [33]:

# 欠損値の有る行の削除
titanic_df.dropna().count()

Out[33]:

PassengerId    183
Survived       183
Pclass         183
Name           183
Sex            183
Age            183
SibSp          183
Parch          183
Ticket         183
Fare           183
Cabin          183
Embarked       183
dtype: int64

特定のカラムに欠損値がある行の削除¶

データフレーム名.dropna(subset=['カラム名'])¶

In [34]:

titanic_df.dropna(subset=['Age']).count()

Out[34]:

PassengerId    714
Survived       714
Pclass         714
Name           714
Sex            714
Age            714
SibSp          714
Parch          714
Ticket         714
Fare           714
Cabin          185
Embarked       712
dtype: int64

データ追加¶

カラム追加¶

データフレーム名['カラム名'] = 値¶

In [35]:

titanic_df['job'] = 'nojob'
titanic_df.head()

Out[35]:

	PassengerId	Survived	Pclass	Name	Sex	Age	SibSp	Ticket	Fare	Cabin	Embarked	job
0	1	0	3	Braund, Mr. Owen Harris	male	22.0	1	A/5 21171	7.2500	NaN	S	nojob
1	2	1	1	Cumings, Mrs. John Bradley (Florence Briggs Th...	female	38.0	1	PC 17599	71.2833	C85	C	nojob
2	3	1	3	Heikkinen, Miss. Laina	female	26.0	0	STON/O2. 3101282	7.9250	NaN	S	nojob
3	4	1	1	Futrelle, Mrs. Jacques Heath (Lily May Peel)	female	35.0	1	113803	53.1000	C123	S	nojob
4	5	0	3	Allen, Mr. William Henry	male	35.0	0	373450	8.0500	NaN	S	nojob

行を追加¶

データフレーム名.append(データフレーム)¶

行番号を振りなおすならデータフレーム名.append(データフレーム,ignore_index=True)¶

In [36]:

data = {'a':[0, 1], 'b':[2, 3]}
d_df = pd.DataFrame(data=data)
d_df

Out[36]:

	a	b
0	0	2
1	1	3

In [37]:

data2 = {'a':[5,6], 'b':[8, 9]}
d_df2 = pd.DataFrame(data=data2)
d_df2

Out[37]:

	a	b
0	5	8
1	6	9

In [38]:

d_df.append(d_df2,ignore_index=True)

Out[38]:

	a	b
0	0	2
1	1	3
2	5	8
3	6	9

集計¶

カラムの値でカウント¶

データフレーム名['カラム名'].value_counts()¶

In [39]:

titanic_df = pd.read_csv('data/titanic_train.csv')
titanic_df["Pclass"].value_counts()

Out[39]:

3    491
1    216
2    184
Name: Pclass, dtype: int64

並び替え、ソート¶

カラムの値でソートする¶

データフレーム名.sort_values('カラム名')¶

昇順　ascending=True¶

降順　ascending=False¶

In [40]:

titanic_df.sort_values("Age",ascending=True).head(4)

Out[40]:

	PassengerId	Survived	Pclass	Name	Sex	Age	SibSp	Parch	Ticket	Fare	Cabin	Embarked
803	804	1	3	Thomas, Master. Assad Alexander	male	0.42	0	1	2625	8.5167	NaN	C
755	756	1	2	Hamalainen, Master. Viljo	male	0.67	1	1	250649	14.5000	NaN	S
644	645	1	3	Baclini, Miss. Eugenie	female	0.75	2	1	2666	19.2583	NaN	C
469	470	1	3	Baclini, Miss. Helene Barbara	female	0.75	2	1	2666	19.2583	NaN	C

groupby¶

データフレーム名.groupby(["カラム名" , "カラム名"])¶

In [41]:

# Pclassごとの合計
titanic_df.groupby('Pclass').sum()

Out[41]:

	PassengerId	Survived	Age	SibSp	Parch	Fare
Pclass
1	99705	136	7111.42	90	77	18177.4125
2	82056	87	5168.83	74	70	3801.8417
3	215625	119	8924.92	302	193	6714.6951

In [42]:

# Pclass , Sex ごとの個数
titanic_df.groupby(['Pclass','Sex']).count()

Out[42]:

		PassengerId	Survived	Name	Age	SibSp	Parch	Ticket	Fare	Cabin	Embarked
Pclass	Sex
1	female	94	94	94	85	94	94	94	94	81	92
1	male	122	122	122	101	122	122	122	122	95	122
2	female	76	76	76	74	76	76	76	76	10	76
2	male	108	108	108	99	108	108	108	108	6	108
3	female	144	144	144	102	144	144	144	144	6	144
3	male	347	347	347	253	347	347	347	347	6	347

In [43]:

# Ageごとに Fare , Pclass の平均をだす
titanic_df.groupby('Age')[['Fare','Pclass']].mean().head(5)

Out[43]:

	Fare	Pclass
Age
0.42	8.5167	3.0
0.67	14.5000	2.0
0.75	19.2583	3.0
0.83	23.8750	2.0
0.92	151.5500	1.0

In [ ]:

リサンプリング¶

In [44]:

dataM1 = pd.read_csv('data/DAT_ASCII_USDJPY_M1_201710.csv', 
                     sep=';',
                     names=('Time','Open','High','Low','Close', ''),
                     index_col='Time', 
                     parse_dates=True)
dataM1.head(5)

Out[44]:

	Open	High	Low	Close
Time
2017-10-01 17:00:00	112.627	112.658	112.526	112.526	0
2017-10-01 17:01:00	112.536	112.536	112.480	112.510	0
2017-10-01 17:03:00	112.512	112.532	112.510	112.510	0
2017-10-01 17:04:00	112.513	112.514	112.513	112.514	0
2017-10-01 17:05:00	112.519	112.531	112.519	112.530	0

データフレーム名.resample('タイムフレーム').ohlc()¶

In [45]:

# dfのデータからtfで指定するタイムフレームの4本足データを作成する関数
def TF_ohlc(df, tf):
    x = df.resample(tf).ohlc()
    O = x['Open']['open']
    H = x['High']['high']
    L = x['Low']['low']
    C = x['Close']['close']
    ret = pd.DataFrame({'Open': O, 'High': H, 'Low': L, 'Close': C},
                       columns=['Open','High','Low','Close'])
    return ret.dropna()

def MAonSeries(s, ma_period, ma_method):
    return pd.Series(MAonArray(s.values, ma_period, ma_method), index=s.index)
    
def iEMA(df, ma_period, ma_shift=0, ma_method='EMA', applied_price='Close'):
    return MAonSeries(df[applied_price], ma_period, ma_method).shift(ma_shift)

def MAonArray(a, ma_period, ma_method):
    if ma_method == 'SMA':
        y = SMAonArray(a, ma_period)
    elif ma_method == 'EMA':
        y = EMAonArray(a, 2/(ma_period+1))
    elif ma_method == 'SMMA':
        y = EMAonArray(a, 1/ma_period)
    elif ma_method == 'LWMA':
        h = np.arange(ma_period, 0, -1)*2/ma_period/(ma_period+1)
        y = lfilter(h, 1, a)
        y[:ma_period-1] = np.nan
    return y

def EMAonArray(x, alpha):
    x[np.isnan(x)] = 0
    y = np.empty_like(x)
    y[0] = x[0]
    for i in range(1,len(x)):
        y[i] = alpha*x[i] + (1-alpha)*y[i-1]
    return y

def SMAonArray(x, ma_period):
    x[np.isnan(x)] = 0
    y = np.empty_like(x)
    y[:ma_period-1] = np.nan
    y[ma_period-1] = np.sum(x[:ma_period])
    for i in range(ma_period, len(x)):
        y[i] = y[i-1] + x[i] - x[i-ma_period]
    return y/ma_period

In [46]:

df_5m  = TF_ohlc(dataM1, '5Min')  # 5分足
df_10m = TF_ohlc(dataM1, '10Min') # 10分足
df_15m = TF_ohlc(dataM1, '15Min') # 15分足
df_30m = TF_ohlc(dataM1, '30Min') # 30分足

df_1H = TF_ohlc(dataM1, '1H') # １時間足
df_4H = TF_ohlc(dataM1, '4H') # 4時間足
df_1D = TF_ohlc(dataM1, 'D')  #    日足

In [47]:

# 移動平均線(EMA)
FastMA_1H = iEMA(df_1H, 5)  #短期移動平均
MiddMA_1H = iEMA(df_1H, 10) #中期移動平均
SlowMA_1H = iEMA(df_1H, 20) #長期移動平均

In [105]:

df = pd.DataFrame({'Close': df_1H['Close'] , 'FastMA': FastMA_1H, '': MiddMA_1H , 'SlowMA': SlowMA_1H})
display_charts(df, chart_type="stock", title="MA cross", figsize=(960,640), grid=True)

タグ：: #pandas

Python応用編3(pandasの基本的な使い方)

2018年10月08日

カテゴリ:
Python

pythonのライブラリの中で
最もデータサイエンティストが使うであろう
ライブラリがコレではないかなと
思うライブラリです。

pandas公式

APIリファレンス

データフレームという型のデータ形式で
データの集計や可視化を行う事のできるライブラリです。
jupyter notebookでの詳しい使い方を説明してゆきましょう

まずはライブラリをインポート、別名をpdとしておきます
ついでにnumpyも加えておきましょう
importには少しだけ時間がかかるようです

import pandas as pd
import numpy as np

また可視化をするためのライブラリも別途インポートしておきます。

import matplotlib
import matplotlib.pyplot as plt
%matplotlib inline

最後の行のinline指定はjupyter上で可視化をさせるためのコードで
これがないと別枠(window)に表示されてしまいます。

データフレームについて

データフレームはカラムとインデックスを持ち
エクセルの表の様な構造をしています。

DataFrame(引数)

引数	内容
data	numpy ndarray（構造化または同種） Dict、またはDataFrame,Dictには、Series、配列、定数、またはリストのようなオブジェクト
index	結果のフレームに使用するインデックス。入力データのインデックス情報がなくインデックスが提供されていない場合はデフォルトでnp.arange（n）
columns	結果のフレームに使用する列ラベル。列ラベルが指定されていない場合デフォルトはnp.arange（n）
dtype	dtype、デフォルトなし強制するデータ型。単一のdtypeのみが許可されます。Noneの場合、推論

データフレームの作成

empty_df = pd.DataFrame()

pd.DataFrame()
これで空のデータフレームが作成されます。

カラム付きで作成するには

c_df = pd.DataFrame(columns=[1,2])

columns=[カラム名配列]
これでカラムを付けてデータフレーム作成です。

同じくindexを付ける場合は

c_df = pd.DataFrame(index=[1,2])

index=[インデックス名配列]　とします。

辞書型からデータフレームを作成する場合は

data = {'a':[0, 1], 'b':[2, 3]}
d_df = pd.DataFrame(data=data)
d_df

	a	b
0	0	2
1	1	3

data=辞書型
と引数を指定して作成します。
キーがカラム名、値は値になります。

インデックスは指定しなければ
数値の型が自動で割り振られます。

数値以外に指定したい場合は
作成時に指定するか、作成後に指定をして付け直します。

インデックスの形式をDatetimeIndexにして作成するには

date = pd.date_range('2012-1-1', '2012-1-2', freq='D')
di_df = pd.DataFrame(data, index=date)
di_df

	a	b
2012-01-01	0	2
2012-01-02	1	3

freq='D'を指定する事で日付の形式でインデックスが付けられます。
これは時系列での分析を行う際に有用な付けになるので
覚えておくと良いでしょう。

辞書型にカラムを付けて作成

data2 = {'4':11 , '6':22 , '7':33}
e_df = pd.DataFrame(list(data2.items()),columns=['column1','column2'])
e_df

	column1	column2
0	4	11
1	7	33
2	6	22

辞書型のキーと値をデータとして利用し、
カラムを付け替えます。

numpyからデータフレーム作成

np_df = pd.DataFrame(np.random.randint(low=0, high=10, size=(5, 5)),
                     columns=['a', 'b', 'c', 'd', 'e'])
np_df

	a	b	c	d	e
0	6	1	9	9	7
1	3	2	2	5	2
2	0	6	6	2	9
3	8	0	1	1	1
4	2	4	8	0	8

numpyで5x5の数値をランダム生成し
それをデータフレームにします。
ダミーデータ作成などに便利です。

既存のデータから作成する

sklearnに付属のデータの読み込み

from sklearn.datasets import load_iris
iris = load_iris()
# データフレームに読み込み
iris_df = pd.DataFrame(iris.data, columns=iris.feature_names)
# データフレーム内容表示(上から3行)
iris_df.head(3)

	sepal length (cm)	sepal width (cm)	petal length (cm)	petal width (cm)
0	5.1	3.5	1.4	0.2
1	4.9	3.0	1.4	0.2
2	4.7	3.2	1.3	0.2

CSVデータの読み込み

read_csv(ファイルパス , 引数)

引数	内容
sep	区切り文字デフォルト: ‘,’ タブ '\t' セミコロン ';'
delimiter	sep の代わりに区切り文字を指定可能　デフォルト: None
header	ヘッダ行の行数を整数で指定デフォルト: ‘infer’ ヘッダーなしは header=None
names	ヘッダ名をリストで指定デフォルト: None 指定方法 names=('Time','Open')
index_col	行のインデックスに用いる列デフォルト: None 数値か列名で指定
dtype	各行のデータタイプ例: {‘a’: np.float64, ‘b’: np.int32} デフォルト: None
skiprows	先頭から読み込みをスキップする行数デフォルト: None
skipfooter	末尾から読み込みをスキップする行数デフォルト: None
nrows	読み込む行数デフォルト: None
quotechar	ダブルクォーテーションなどでクオートされている場合のクオート文字デフォルト: ‘”‘
escapechar	エスケープされている場合のエスケープ文字デフォルト: None
comment	コメント行の行頭文字を指定指定した文字で始まる行を無視デフォルト: None
encoding	文字コードデフォルト: None 指定方法 ’utf-8′, ‘shift_jis’, ‘euc_jp’
parse_dates	datetime型で読み込むcolumn名（リストや辞書）
date_parser	parse_datesで指定したcolumnを読み込む自作関数
na_values	欠損値とする文字列（リスト）

titanic_df = pd.read_csv('data/titanic_train.csv')
titanic_df.head(3)

	PassengerId	Survived	Pclass	Name	Sex	Age	SibSp	Parch	Ticket	Fare	Cabin	Embarked
0	1	0	3	Braund, Mr. Owen Harris	male	22.0	1	0	A/5 21171	7.2500	NaN	S
1	2	1	1	Cumings, Mrs. John Bradley (Florence Briggs Th...	female	38.0	1	0	PC 17599	71.2833	C85	C
2	3	1	3	Heikkinen, Miss. Laina	female	26.0	0	0	STON/O2. 3101282	7.9250	NaN	S

CSVから読み込みカラム付けとDatetimeIndex付け

fx_df = pd.read_csv('data/DAT_ASCII_USDJPY_M1_201710.csv', 
                     sep=';',
                     names=('Time','Open','High','Low','Close',''),
                     index_col='Time', 
                     parse_dates=True)
fx_df.head()

	Open	High	Low	Close
Time
2017-10-01 17:00:00	112.627	112.658	112.526	112.526	0
2017-10-01 17:01:00	112.536	112.536	112.480	112.510	0
2017-10-01 17:03:00	112.512	112.532	112.510	112.510	0
2017-10-01 17:04:00	112.513	112.514	112.513	112.514	0
2017-10-01 17:05:00	112.519	112.531	112.519	112.530	0

エクセルファイルの読み込み

read_excel(ファイルパス)

dcf_df = pd.read_excel('data/DCFData.xlsx')
dcf_df

	企業名	証券コード	会計年度	売上高	営業利益	当期純利益	支払利息（直近決算期）	支払利息（前々決算期）	有利子負債（直近決算期）	有利子負債（前々決算期）	ベータ値	減価償却費	現金同等物	有価証券（売却可能）	投資有価証券（売却可能）	株価	発行済株式数	リスクフリーレート
0	株式会社ファーストリテイリング	9983	2016	1786473000000	127292000000	48052000000	39420000000	1141000000	640457000000	388900000000	1.24	36797000000	385431000000	0	13132000000	43130	106074000	0.00082
1	豊商事	8747	2014	4237000000	-95000000	-255000000	0	0	1250000000	1118000000	0.77	244000000	5210000000	0	881000000	400

基本統計量

データフレーム名.describe()

titanic_df = pd.read_csv('data/titanic_train.csv')
titanic_df.describe()

	PassengerId	Survived	Pclass	Age	SibSp	Parch	Fare
count	891.000000	891.000000	891.000000	714.000000	891.000000	891.000000	891.000000
mean	446.000000	0.383838	2.308642	29.699118	0.523008	0.381594	32.204208
std	257.353842	0.486592	0.836071	14.526497	1.102743	0.806057	49.693429
min	1.000000	0.000000	1.000000	0.420000	0.000000	0.000000	0.000000
25%	223.500000	0.000000	2.000000	NaN	0.000000	0.000000	7.910400
50%	446.000000	0.000000	3.000000	NaN	0.000000	0.000000	14.454200
75%	668.500000	1.000000	3.000000	NaN	1.000000	0.000000	31.000000
max	891.000000	1.000000	3.000000	80.000000	8.000000	6.000000	512.329200

平均値

データフレーム名.mean()

titanic_df = pd.read_csv('data/titanic_train.csv')
titanic_df.mean()

PassengerId    446.000000
Survived         0.383838
Pclass           2.308642
Age             29.699118
SibSp            0.523008
Parch            0.381594
Fare            32.204208
dtype: float64

データの加算(合計)

データフレーム名.sum()

titanic_df = pd.read_csv('data/titanic_train.csv')
titanic_df.sum()

PassengerId    397386.0000
Survived          342.0000
Pclass           2057.0000
Age             21205.1700
SibSp             466.0000
Parch             340.0000
Fare            28693.9493
dtype: float64

データ個数

データフレーム名.count()

titanic_df = pd.read_csv('data/titanic_train.csv')
titanic_df.count()

PassengerId    891
Survived       891
Pclass         891
Name           891
Sex            891
Age            714
SibSp          891
Parch          891
Ticket         891
Fare           891
Cabin          204
Embarked       889
dtype: int64

演算方向を指定する場合、列方向なら axis=0 行方向は axis=1

デフォルトはaxis=0

不偏分散

データフレーム名.var()

titanic_df.var()

PassengerId    66231.000000
Survived           0.236772
Pclass             0.699015
Age              211.019125
SibSp              1.216043
Parch              0.649728
Fare            2469.436846
dtype: float64

標本分散

データフレーム名.var(ddof=False)

titanic_df.var(ddof=False)

PassengerId    66156.666667
Survived           0.236506
Pclass             0.698231
Age              210.723580
SibSp              1.214678
Parch              0.648999
Fare            2466.665312
dtype: float64

不偏標準偏差

データフレーム名.std()

titanic_df.std()

PassengerId    257.353842
Survived         0.486592
Pclass           0.836071
Age             14.526497
SibSp            1.102743
Parch            0.806057
Fare            49.693429
dtype: float64

標本標準偏差

データフレーム名.std(ddof=False)

titanic_df.std(ddof=False)

PassengerId    257.209383
Survived         0.486319
Pclass           0.835602
Age             14.516321
SibSp            1.102124
Parch            0.805605
Fare            49.665534
dtype: float64

タグ：: #pandas

Python応用編2(numpyの関数)

2017年03月12日

カテゴリ:
Python

さて
行列計算を一通り覚えたところで
numpyの関数を使ってみましょう

まずはライブラリをインポート、別名をnpとしておきます

import numpy as np

sqrtは平方根を計算してくれます
引数には、数値か、数値のリスト、配列などが使えます

array_n1 = np.arange(1,10).reshape(3,3)
print(np.sqrt(25))
print(np.sqrt([2,3,4]))
print(np.sqrt(array_n1))

5.0
[ 1.41421356  1.73205081  2.        ]
[[ 1.          1.41421356  1.73205081]
 [ 2.          2.23606798  2.44948974]
 [ 2.64575131  2.82842712  3.        ]]

返ってくる値も引数と同じ型です

次に指数関数を求めます

exp = np.exp([0,1,2,3,4,5])
exp

array([   1.        ,    2.71828183,    7.3890561 ,   20.08553692,
         54.59815003,  148.4131591 ])



なお定数 e も定義されており
np.e
2.718281828459045

となります

次に対数関数は以下が定義されています
e が底 (Log_e(x)) の np.log(x)
2 が底（Log_2(x)）の np.log2(x)
10 が底（Log_10(x)）の np.log10(x)

それぞれこのようになります
np.log([1,2,np.e, np.e ** 2])
array([ 0.        ,  0.69314718,  1.        ,  2.        ])

np.log2([1,2,4,np.e, np.e ** 2])
array([ 0.        ,  1.        ,  2.        ,  1.44269504,  2.88539008])


np.log10([1,2,10,100,1000,np.e, np.e ** 2])
array([ 0.        ,  0.30103   ,  1.        ,  2.        ,  3.        ,
        0.43429448,  0.86858896])


三角関数も存在します

正弦関数 (sin(x), サイン) 
余弦関数 (cos(x), コサイン)
正接関数 (tan(x), タンジェント) 


引数 x にはラジアンを指定する必要があります
np.sin([0,1,2,3,4])
array([ 0.        ,  0.84147098,  0.90929743,  0.14112001, -0.7568025 ])


これだと分かりづらいので
図にしてみましょう

matplotlibを使って図を作成します

%matplotlib inline　は図をjupyter notebookの中に
表示させるために必要なコードです
np.linspaceで複数値を作成し
plt.showで図を表示させます

import matplotlib.pylab as plt
%matplotlib inline

#startからendまでを個数で等分した値を返す
x = np.linspace(-5,5,100)
plt.plot(x, np.sin(x))
plt.xlabel('Angle [rad]')
plt.ylabel('sin(x)')
plt.axis('tight')
plt.show()


最大値が1,最小値が-1になっています


同様にcos , tan も表示させてみます

cos

x = np.linspace(-5,5,100)
plt.plot(x, np.cos(x))
plt.xlabel('Angle [rad]')
plt.ylabel('cos(x)')
plt.axis('tight')
plt.show()
 






tan
x = np.linspace(-3.14, 3.14, 100)
plt.plot(x, np.tan(x))
plt.xlabel('Angle [rad]')
plt.ylabel('tan(x)')
plt.axis('tight')
plt.show()



タンジェントはちょっと特殊ですね

ここまでの関数の関係性をまとめてグラフにしてみます

x = np.arange(-2*np.pi, 2*np.pi, 0.25)
sin = np.sin(x)
cos = np.cos(x)
tan = np.tan(x)
exp = np.exp(x) 
log = np.log(x) 

# グラフ表示
plt.plot(x, sin,"-o",lw=2,alpha=0.7,label="sin(x)")
plt.plot(x, cos,"-o",lw=2,alpha=0.7,label="cos(x)")
plt.plot(x, tan,"-o",lw=2,alpha=0.7,label="tan(x)")
plt.plot(x, exp,"-o",lw=2,alpha=0.7,label="exp(x)")
plt.plot(x, log,"-o",lw=2,alpha=0.7,label="log(x)")

plt.xlabel("$x$", fontsize=30) # x軸のラベル
plt.ylabel("$y$", fontsize=30) # y軸のラベル
plt.xlim([-4, 4])              # x軸の範囲
plt.ylim([-4, 4])              # y軸の範囲
plt.grid()                     # グリッドの表示
plt.legend(fontsize=10)        # 凡例の表示
plt.show()                     # グラフの描画
 

matplotlibによる可視化は非常に基本的なテクニックで
値を配列に格納し、グラフ化することで
データが把握しやすくなるので
ぜひ覚えておきましょう


numpyには値を生成する関数も多く存在します
まずは標準正規分布に従うランダム値を返すrandn

from numpy.random import *
import matplotlib.pyplot as plt

Rand1 = randn(10000)        # 標準正規分布で乱数を1万個生成
plt.hist(Rand1, bins=100)   # 100本のヒストグラムを作成
plt.show()

ランダムのため毎回生成される値は変わります

rand は一様分布の乱数を返します

from numpy.random import *
import matplotlib.pyplot as plt

Rand2 = rand(10000) 
plt.hist(Rand2, bins=100) 
plt.show()

rand
randn
ともに小数点で値が返ってきます

randint は整数値の配列が返ってきます
引数を調整すれば返る値の個数を変えられます

randint(1,10,10)

array([8, 3, 8, 6, 4, 1, 8, 7, 9, 2])

リストから重み付けランダム抽出

重み付けした確率でリストから取り出したい場合
random.choice で重み付け抽出が行えます

from numpy import *

jk = ["チョキ","グー","パー"]
weight = [0.1,0.2,0.7] # 重み付け
for i in range(10):
    print(random.choice(jk, p=weight)) # 指定した確率で1個を抽出

グー
パー
パー
パー
チョキ
パー
パー
グー
チョキ
パー

ランダムウォークのシミュレーションも行えます

from numpy import *
import matplotlib.pyplot as plt

rw = 1000                            # 歩数
step = random.choice([-1,1],rw)      # +1 or -1 をn個生成
position = cumsum(step) 
plt.plot(position)

配列の計算用の関数も沢山あります
round 四捨五入
trunc 切り捨て(小数部分を除く)
floor 切り捨て(小さい側の整数に丸め)
ceil 切り上げ
fix ゼロに近い整数に丸め

sample1 = np.array([-2.7, -1.3, -0.9, 0.4, 1.5, 0.1, 2.0])
np.round(sample1)

array([-3., -1., -1.,  0.,  2.,  0.,  2.])

np.trunc(sample1)

array([-2., -1., -0.,  0.,  1.,  0.,  2.])

np.floor(sample1)

array([-3., -2., -1.,  0.,  1.,  0.,  2.])

np.ceil(sample1)

array([-2., -1., -0.,  1.,  2.,  1.,  2.])

np.fix(sample1)

array([-2., -1., -0.,  0.,  1.,  0.,  2.])

その他

abs 絶対値を返す
sign 値の符号を返す
modf 小数と整数に分けて返す
isnan NaNかどうかの判定を返す
isinf Infiniteかどうかの判定を返す
power べき乗を返す
max 最大値を返す
fmax 二つのうち大きい方を返す
min 最小値を返す
fmin 二つのうち小さい方を返す

参考資料

プログラミング

データの抽出¶

特定の列を取得¶

データフレーム名[['カラム名' , 'カラム名']]¶

特定の区間の行を抽出¶

データフレーム名[開始位置 : 終了位置]¶

取得行をインデックスでも指定可能¶

条件を指定して行・列を取得¶

データフレーム名[データフレーム名.カラム名 条件式 ]¶

値が含まれる行の抽出¶

データフレーム名.isin([値,値])]¶

データフレーム名[データフレーム名['カラム名'].str.contains('条件')]¶

複数条件¶

AND &¶

OR |¶

欠損値の削除¶

欠損がある行の削除¶

データフレーム名.dropna()¶

特定のカラムに欠損値がある行の削除¶

データフレーム名.dropna(subset=['カラム名'])¶

データ追加¶

カラム追加¶

データフレーム名['カラム名'] = 値¶

行を追加¶

データフレーム名.append(データフレーム)¶

行番号を振りなおすならデータフレーム名.append(データフレーム,ignore_index=True)¶

集計¶

カラムの値でカウント¶

データフレーム名['カラム名'].value_counts()¶

並び替え、ソート¶

カラムの値でソートする¶

データフレーム名.sort_values('カラム名')¶

昇順 ascending=True¶

降順 ascending=False¶

groupby¶

データフレーム名.groupby(["カラム名" , "カラム名"])¶

リサンプリング¶

データフレーム名.resample('タイムフレーム').ohlc()¶

DataFrame(引数)

演算方向を指定する場合、列方向なら axis=0 行方向は axis=1

デフォルトはaxis=0

データフレーム名[データフレーム名.カラム名条件式 ]¶

昇順　ascending=True¶

降順　ascending=False¶