手書き文字認証を作ってみよう！～第1弾～ - フルスタックエンジニアを目指す

実行環境

・Python3.6.1
・JetBrains PyCharm Community Edition
・Windows10

学習データおよびテストデータについて

学習データおよびテストデータとして手書き文字を何万データ分作るのは大変なので今回はMNISTという手書き数字のデータベースを用いてやります。
以下のサイトよりデータを入手できます
学習データ
 テストデータ

※このデータは学習データで60000件、テストデータで10000件のデータセットになっている。いかに今回のソースを示すがもしソースコードを修正し自分なりに
アレンジを加えたいと思う方がいればより小さいデータセットが以下になる
学習データ(100件)
テストデータ(10件)

ニューラルネットワークの初期化

詳しい概念はページの下に参考書籍を載せておいたのでそちらを参考に！まず最初にニューラルネットワークで使う値の設定を行う。
ニューラルネットワークで重要になってくるのは入力層、隠れ層、出力層のノード数、リンクの重み付、学習率の設定を行う必要がある。
また活性化関数としてシグモイド関数(sig(a)=1/(1+exp(−a)))を用いる。シグモイド関数の公式を書いているがこれを多言語でやるとなかなか大変そうに感じるが、
Pythonは数学関係のライブラリーが多数存在し、シグモイド関数も一行で示すことができる。

以下初期化のメソッドである

    # ニューラルネットワークの初期化
    def __init__(self, inputnodes, hiddennodes,
                 outputnodes, learningrate):
        # 入力層、隠れ層、出力層のノード数の設定
        self.inodes = inputnodes
        self.hnodes = hiddennodes
        self.onodes = outputnodes

        # リンクの重み行列 wih と who
        # 行列内の重み w_i_j, ノード i　から次の層のノードjへのリンクの重み
        # w11 w21
        # w12 w22 など
        self.wih = numpy.random.normal(0.0, pow(self.hnodes,
                                                -0.5), (self.hnodes, self.inodes))
        self.who = numpy.random.normal(0.0, pow(self.onodes,
                                                -0.5), (self.onodes, self.hnodes))

        # 学習率の設定
        self.lr = learningrate

        # 活性化関数はシグモイド関数
        self.activation_function = lambda  x: scipy.special.expit(x)

        pass

# ニューラルネットワークの初期化

def __init__(self, inputnodes, hiddennodes,

outputnodes, learningrate):

# 入力層、隠れ層、出力層のノード数の設定

self.inodes = inputnodes

self.hnodes = hiddennodes

self.onodes = outputnodes

# リンクの重み行列 wih と who

# 行列内の重み w_i_j, ノード i　から次の層のノードjへのリンクの重み

# w11 w21

# w12 w22 など

self.wih = numpy.random.normal(0.0, pow(self.hnodes,

-0.5), (self.hnodes, self.inodes))

self.who = numpy.random.normal(0.0, pow(self.onodes,

-0.5), (self.onodes, self.hnodes))

# 学習率の設定

self.lr = learningrate

# 活性化関数はシグモイド関数

self.activation_function = lambda x: scipy.special.expit(x)

pass

ニューラルネットワークへの照会

ブログの概念を書くのには限界があるためよりくわしい概念を知りたい方はページの下に参考書籍を載せているので参考に！
このメソッドではニューラルネットワークへの入力を受け取り、そのネットワークへの出力を返す役割を果たすメソッドです。出力を行うためには
初期化で設定した内容を用いて計算する必要があります。入力層から隠れ層へ、隠れ層から出力層へ信号を送っていきます。

隠れ層へはまずニューラルネットワークへの入力に対し、隠れ層の重みを掛け合わせます。
式ではX(hidden) = W(input_hidden) ・ I
となります。以下で求めた値を出力層へ送るために活性化関数を用います。
式では　O(hidden) = sigmoid(X(hidden))　となる。
同じ流れで隠れ層から出力層も行い出力された値がニューラルネットワークからの出力となる

以下メソッドの全貌である

    # ニューラルネットワークへの照会
    def query(self, inputs_list):
        # 入力リストを行列に変換
        inputs = numpy.array(inputs_list, ndmin=2).T

        # 隠れ層に入ってくる信号の計算
        hidden_inputs = numpy.dot(self.wih, inputs)
        # 隠れ層で結合された信号を活性化関数により出力
        hidden_outputs = self.activation_function(hidden_inputs)

        # 出力層に入ってくる信号の計算
        final_inputs = numpy.dot(self.who, hidden_outputs)
        # 出力層で結合された信号を活性化関数により出力
        final_outputs = self.activation_function(final_inputs)

        return final_outputs

# ニューラルネットワークへの照会

def query(self, inputs_list):

# 入力リストを行列に変換

inputs = numpy.array(inputs_list, ndmin=2).T

# 隠れ層に入ってくる信号の計算

hidden_inputs = numpy.dot(self.wih, inputs)

# 隠れ層で結合された信号を活性化関数により出力

hidden_outputs = self.activation_function(hidden_inputs)

# 出力層に入ってくる信号の計算

final_inputs = numpy.dot(self.who, hidden_outputs)

# 出力層で結合された信号を活性化関数により出力

final_outputs = self.activation_function(final_inputs)

return final_outputs

ニューラルネットワークの学習

出力結果が実際の結果と違ったとき、重みを調整する必要性がある。それを繰り返しすることによりニューラルネットワークの精度を上げていく必要がある。
誤差を計算し最適な値を求めていく必要があるがそれが以下となる

    # ニューラルネットワークの学習
    def train(self, inputs_list, targets_list):
        # 入力リストを行列に変換
        inputs = numpy.array(inputs_list, ndmin=2).T
        targets = numpy.array(targets_list, ndmin=2).T

        # 隠れ層に入ってくる信号の計算
        hidden_inputs = numpy.dot(self.wih, inputs)
        # 隠れ層で結合された信号を活性化関数により出力
        hidden_outputs = self.activation_function(hidden_inputs)

        # 出力層に入ってくる信号の計算
        final_inputs = numpy.dot(self.who, hidden_outputs)
        # 出力層で結合された信号を活性化関数により出力
        final_outputs = self.activation_function(final_inputs)

        # 出力層の誤差 = (目標出力 - 最終出力）
        output_errors = targets - final_outputs

        # 隠れ層の誤差は出力層の誤差リンクの重みの割合で分配
        hidden_errors = numpy.dot(self.who.T, output_errors)

        # 隠れ層と出力層の間のリンクの重みを更新
        self.who += self.lr * numpy.dot(
            (output_errors * final_outputs * (1 - final_outputs)),
            numpy.transpose(hidden_outputs))

        # 入力層と隠れ層の間のリンクの重みを更新
        self.wih += self.lr * numpy.dot(
            (hidden_errors * hidden_outputs * (1 - hidden_outputs)),
            numpy.transpose(inputs))

        pass

# ニューラルネットワークの学習

def train(self, inputs_list, targets_list):

# 入力リストを行列に変換

inputs = numpy.array(inputs_list, ndmin=2).T

targets = numpy.array(targets_list, ndmin=2).T

# 隠れ層に入ってくる信号の計算

hidden_inputs = numpy.dot(self.wih, inputs)

# 隠れ層で結合された信号を活性化関数により出力

hidden_outputs = self.activation_function(hidden_inputs)

# 出力層に入ってくる信号の計算

final_inputs = numpy.dot(self.who, hidden_outputs)

# 出力層で結合された信号を活性化関数により出力

final_outputs = self.activation_function(final_inputs)

# 出力層の誤差 = (目標出力 - 最終出力）

output_errors = targets - final_outputs

# 隠れ層の誤差は出力層の誤差リンクの重みの割合で分配

hidden_errors = numpy.dot(self.who.T, output_errors)

# 隠れ層と出力層の間のリンクの重みを更新

self.who += self.lr * numpy.dot(

(output_errors * final_outputs * (1 - final_outputs)),

numpy.transpose(hidden_outputs))

# 入力層と隠れ層の間のリンクの重みを更新

self.wih += self.lr * numpy.dot(

(hidden_errors * hidden_outputs * (1 - hidden_outputs)),

numpy.transpose(inputs))

pass

早速やってみよう

入力層のノード数を784、隠れ層を200、出力層を10とする。隠れ層のノードは調整する必要があるが残りについてはまず、
入力層：784についてはMNISTのテストデータのピクセル配列が28×28=784であるところからきている。出力層:10は今回の手書き数字は0～9の
一桁を対象に行うもので0～9の計10数を対象にしていることからきている。

いかに学習からテストまでの内容を書いている

# 入力層、隠れ層、出力層のノード数
input_nodes = 784
hidden_nodes = 200
output_nodes = 10

# 学習率 =     0.01
learning_rate = 0.01

# epochs: 訓練データが学習で使われた回数
epochs = 5

# ニューラルネットワークのインスタンスの生成
n = neuralNetrwork(input_nodes, hidden_nodes, output_nodes, learning_rate)

# MNIST 訓練データのCSVファイルを読み込んでリストにする
training_data_file = open("mnist_dataset/mnist_train.csv", 'r')
training_data_list = training_data_file.readlines()
training_data_file.close()

# ニューラルネットワークの学習

for e in range(epochs):
    # 訓練データの全データに対して実行
    for record in training_data_list:
        # データをコンマ ',' でsplit
        all_values = record.split(',')
        # 入力値のスケーリングとシフト
        inputs = (numpy.asfarray(all_values[1:]) / 255.0 * 0.99) + 0.01
        # 目標配列の生成（ラベルの位置が0.99 残り0.01）
        targets = numpy.zeros(output_nodes) + 0.01
        # all_values[0] はこのデータのラベル
        targets[int(all_values[0])] = 0.99
        n.train(inputs, targets)

        ## create rotated variations
        # rotated anticlockwise by x degrees
        inputs_plusx_img = scipy.ndimage.interpolation.rotate(inputs.reshape(28, 28), 10, cval=0.01, order=1,
                                                              reshape=False)
        n.train(inputs_plusx_img.reshape(784), targets)
        # rotated clockwise by x degrees
        inputs_minusx_img = scipy.ndimage.interpolation.rotate(inputs.reshape(28, 28), -10, cval=0.01, order=1,
                                                               reshape=False)
        n.train(inputs_minusx_img.reshape(784), targets)

        pass
    pass

# MNISTテストデータのCSVファイルを読み込み
test_data_file = open("mnist_dataset/mnist_test.csv", 'r')
test_data_list = test_data_file.readlines()
test_data_file.close()

# ニューラルネットワークのテスト

scorecard = []

for record in test_data_list:
	all_values = record.split(',')
	# 正解は配列の1番目
	correct_label = int(all_values[0])
	# 入力値のスケーリングとシフト
	inputs = (numpy.asfarray(all_values[1:]) / 255.0 * 0.99) + 0.01
	# ネットワークへの照会
	outputs = n.query(inputs)
	# 最大値のインデックスがラベルに対応
	label = numpy.argmax(outputs)
	# 正解(１)、間違い(０)をリストに追加
	if(label == correct_label):
		scorecard.append(1)
	else:
		scorecard.append(0)
		pass
	pass

# 評価値の計算
scorecard_array = numpy.asarray(scorecard)
print("perfomance = ", scorecard_array.sum() / scorecard_array.size)

# 入力層、隠れ層、出力層のノード数

input_nodes = 784

hidden_nodes = 200

output_nodes = 10

# 学習率 = 0.01

learning_rate = 0.01

# epochs: 訓練データが学習で使われた回数

epochs = 5

# ニューラルネットワークのインスタンスの生成

n = neuralNetrwork(input_nodes, hidden_nodes, output_nodes, learning_rate)

# MNIST 訓練データのCSVファイルを読み込んでリストにする

training_data_file = open("mnist_dataset/mnist_train.csv", 'r')

training_data_list = training_data_file.readlines()

training_data_file.close()

# ニューラルネットワークの学習

for e in range(epochs):

# 訓練データの全データに対して実行

for record in training_data_list:

# データをコンマ ',' でsplit

all_values = record.split(',')

# 入力値のスケーリングとシフト

inputs = (numpy.asfarray(all_values[1:]) / 255.0 * 0.99) + 0.01

# 目標配列の生成（ラベルの位置が0.99 残り0.01）

targets = numpy.zeros(output_nodes) + 0.01

# all_values[0] はこのデータのラベル

targets[int(all_values[0])] = 0.99

n.train(inputs, targets)

## create rotated variations

# rotated anticlockwise by x degrees

inputs_plusx_img = scipy.ndimage.interpolation.rotate(inputs.reshape(28, 28), 10, cval=0.01, order=1,

reshape=False)

n.train(inputs_plusx_img.reshape(784), targets)

# rotated clockwise by x degrees

inputs_minusx_img = scipy.ndimage.interpolation.rotate(inputs.reshape(28, 28), -10, cval=0.01, order=1,

reshape=False)

n.train(inputs_minusx_img.reshape(784), targets)

pass

# MNISTテストデータのCSVファイルを読み込み

test_data_file = open("mnist_dataset/mnist_test.csv", 'r')

test_data_list = test_data_file.readlines()

test_data_file.close()

# ニューラルネットワークのテスト

scorecard = []

for record in test_data_list:

all_values = record.split(',')

# 正解は配列の1番目

correct_label = int(all_values[0])

# 入力値のスケーリングとシフト

inputs = (numpy.asfarray(all_values[1:]) / 255.0 * 0.99) + 0.01

# ネットワークへの照会

outputs = n.query(inputs)

# 最大値のインデックスがラベルに対応

label = numpy.argmax(outputs)

# 正解(１)、間違い(０)をリストに追加

if(label == correct_label):

scorecard.append(1)

else:

scorecard.append(0)

pass

# 評価値の計算

scorecard_array = numpy.asarray(scorecard)

print("perfomance = ", scorecard_array.sum() / scorecard_array.size)

今回のまとめ

以上でテストしてみると正答率が約96%という結果が出た。今回はscikit-learnやtensorflowといったライブラリーを使わずにやったが高い正答率がでるものが
完成できた。
以下もっと詳しい概念を知りたい人がいれば以下の本をお勧めします

〇マイナビ出版　ニューラルネットワーク自作入門　Tariq Rashid[著]親納浩幸[監訳]