建站
咨詢
售后
建站咨詢
新聞中心
成都創(chuàng)新互聯(lián)專注于富川網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供富川營銷型網(wǎng)站建設(shè)，富川網(wǎng)站制作、富川網(wǎng)頁設(shè)計、富川網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)公司服務(wù)，打造富川網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供富川網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。
先上代碼
- import tensorflow
- from tensorflow.examples.tutorials.mnist import input_data
- import matplotlib.pyplot as plt
- # 普通的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)
- # 學(xué)習(xí)訓(xùn)練類
- class Normal:
- weight = []
- biases = []
- def __init__(self):
- self.times = 1000
- self.mnist = []
- self.session = tensorflow.Session()
- self.xs = tensorflow.placeholder(tensorflow.float32, [None, 784])
- self.ys = tensorflow.placeholder(tensorflow.float32, [None, 10])
- self.save_path = 'learn/result/normal.ckpt'
- def run(self):
- self.import_data()
- self.train()
- self.save()
- def _setWeight(self,weight):
- self.weight = weight
- def _setBiases(self,biases):
- self.biases = biases
- def _getWeight(self):
- return self.weight
- def _getBiases(self):
- return self.biases
- # 訓(xùn)練
- def train(self):
- prediction = self.add_layer(self.xs, 784, 10, activation_function=tensorflow.nn.softmax)
- cross_entropy = tensorflow.reduce_mean(
- -tensorflow.reduce_sum(
- self.ys * tensorflow.log(prediction)
- , reduction_indices=[1])
- )
- train_step = tensorflow.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
- self.session.run(tensorflow.global_variables_initializer())
- for i in range(self.times):
- batch_xs, batch_ys = self.mnist.train.next_batch(100)
- self.session.run(train_step, feed_dict={self.xs: batch_xs, self.ys: batch_ys})
- if i % 50 == 0:
- # images 變換為 labels，images相當(dāng)于x，labels相當(dāng)于y
- accurary = self.computer_accurary(
- self.mnist.test.images,
- self.mnist.test.labels,
- prediction
- )
- # 數(shù)據(jù)導(dǎo)入
- def import_data(self):
- self.mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
- # 數(shù)據(jù)保存
- def save(self):
- saver = tensorflow.train.Saver()
- path = saver.save(self.session,self.save_path)
- # 添加隱藏層
- def add_layer(self,inputs,input_size,output_size,activation_function=None):
- weight = tensorflow.Variable(tensorflow.random_normal([input_size,output_size]),dtype=tensorflow.float32,name='weight')
- biases = tensorflow.Variable(tensorflow.zeros([1,output_size]) + 0.1,dtype=tensorflow.float32,name='biases')
- Wx_plus_b = tensorflow.matmul(inputs,weight) + biases
- self._setBiases(biases)
- self._setWeight(weight)
- if activation_function is None:
- outputs = Wx_plus_b
- else:
- outputs = activation_function(Wx_plus_b,)
- return outputs
- # 計算結(jié)果數(shù)據(jù)與實際數(shù)據(jù)的正確率
- def computer_accurary(self,x_data,y_data,tf_prediction):
- prediction = self.session.run(tf_prediction,feed_dict={self.xs:x_data,self.ys:y_data})
- # 返回兩個矩陣中***值的索引號位置，然后進行相應(yīng)位置的值大小比較并在此位置設(shè)置為True/False
- correct_predition = tensorflow.equal(tensorflow.argmax(prediction,1),tensorflow.argmax(y_data,1))
- # 進行數(shù)據(jù)格式轉(zhuǎn)換，然后進行降維求平均值
- accurary = tensorflow.reduce_mean(tensorflow.cast(correct_predition,tensorflow.float32))
- result = self.session.run(accurary,feed_dict={self.xs:x_data,self.ys:y_data})
- return result
- # 識別類
- class NormalRead(Normal):
- input_size = 784
- output_size = 10
- def run(self):
- self.import_data()
- self.getSaver()
- origin_input = self._getInput()
- output = self.recognize(origin_input)
- self._showImage(origin_input)
- self._showOutput(output)
- pass
- # 顯示識別結(jié)果
- def _showOutput(self,output):
- number = output.index(1)
- print('識別到的數(shù)字:',number)
- # 顯示被識別圖片
- def _showImage(self,origin_input):
- data = []
- tmp = []
- i = 1
- # 原數(shù)據(jù)轉(zhuǎn)換為可顯示的矩陣
- for v in origin_input[0]:
- if i %28 == 0:
- tmp.append(v)
- data.append(tmp)
- tmp = []
- else:
- tmp.append(v)
- i += 1
- plt.figure()
- plt.imshow(data, cmap='binary') # 黑白顯示
- plt.show()
- def _setBiases(self,biases):
- self.biases = biases
- pass
- def _setWeight(self,weight):
- self.weight = weight
- pass
- def _getBiases(self):
- return self.biases
- def _getWeight(self):
- return self.weight
- # 獲取訓(xùn)練模型
- def getSaver(self):
- weight = tensorflow.Variable(tensorflow.random_normal([self.input_size, self.output_size]), dtype=tensorflow.float32,name='weight')
- biases = tensorflow.Variable(tensorflow.zeros([1, self.output_size]) + 0.1, dtype=tensorflow.float32, name='biases')
- saver = tensorflow.train.Saver()
- saver.restore(self.session,self.save_path)
- self._setWeight(weight)
- self._setBiases(biases)
- def recognize(self,origin_input):
- input = tensorflow.placeholder(tensorflow.float32,[None,784])
- weight = self._getWeight()
- biases = self._getBiases()
- result = tensorflow.matmul(input,weight) + biases
- resultSof = tensorflow.nn.softmax(result,) # 把結(jié)果集使用softmax進行激勵
- resultSig = tensorflow.nn.sigmoid(resultSof,) # 把結(jié)果集以sigmoid函數(shù)進行激勵，用于后續(xù)分類
- output = self.session.run(resultSig,{input:origin_input})
- output = output[0]
- # 對識別結(jié)果進行分類處理
- output_tmp = []
- for item in output:
- if item < 0.6:
- output_tmp.append(0)
- else :
- output_tmp.append(1)
- return output_tmp
- def _getInput(self):
- inputs, y = self.mnist.train.next_batch(100);
- return [inputs[50]]
以上是程序，整個程序基于TensorFlow來實現(xiàn)的，具體的TensorFlow安裝我就不說了。
整個訓(xùn)練過程不做多說，我發(fā)現(xiàn)網(wǎng)上關(guān)于訓(xùn)練的教程很多，但是訓(xùn)練結(jié)果的教程很少。
整個程序里，通過tensorflow.train.Saver()的save進行訓(xùn)練結(jié)果模型進行存儲，然后再用tensorflow.train.Saver()的restore進行模型恢復(fù)然后取到訓(xùn)練好的weight和baises。
這里要注意的一個地方是因為一次性隨機取出100張手寫圖片進行批量訓(xùn)練的，我在取的時候其實也是批量隨機取100張，但是我傳入識別的是一張，通過以下這段程序：
- def _getInput(self):
- inputs, y = self.mnist.train.next_batch(100);
- return [inputs[50]]
注意一下return這里的數(shù)據(jù)結(jié)構(gòu)，其實是取這批量的第50張，實際上這段程序?qū)懗桑?/p>
- def _getInput(self):
- inputs, y = self.mnist.train.next_batch(1);
- return [inputs[0]]
會更好。
因為識別的時候是需要用到訓(xùn)練的隱藏層來進行的，所以在此我雖然識別的是一張圖片，但是我必須要傳入一個批量數(shù)據(jù)的這樣一個結(jié)構(gòu)。
然后再識別的地方，我使用了兩個激勵函數(shù)：
- resultSof = tensorflow.nn.softmax(result,) # 把結(jié)果集使用softmax進行激勵
- resultSig = tensorflow.nn.sigmoid(resultSof,) # 把結(jié)果集以sigmoid函數(shù)進行激勵，用于后續(xù)分類
這里的話，***個softmax激勵后的數(shù)據(jù)我發(fā)現(xiàn)得到的是以e為底的指數(shù)形式，轉(zhuǎn)換成普通的浮點數(shù)來看，不是很清楚到底是什么，那么我在做識別數(shù)字判斷的時候就不方便，所以再通過了一次sigmoid的激勵。
后續(xù)我通過一個循環(huán)判斷進行一次實際上的分類，這個原因首先要說到識別結(jié)果形式：
- [0,0,0,0,0,0,0,0,1,0]
像以上這個數(shù)據(jù)，表示的是8，也就是說，數(shù)組下表第幾位為1就表示是幾，如0的表示:
- [1,0,0,0,0,0,0,0,0,0]
而sigmoid函數(shù)在這個地方其實就是對每個位置的數(shù)據(jù)進行了分類，我發(fā)現(xiàn)如果分類值小于0.52這樣的數(shù)據(jù)其實代表的是否，也就是說此位置的值對應(yīng)的是0，大于0.52應(yīng)該對應(yīng)的是真，也就是1；而我在程序里取的是0.6為界限做判斷。
實際上，這個界限值應(yīng)該是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的時候取的，而不是看識別結(jié)果來進行憑感覺取的（雖然訓(xùn)練的時候的參數(shù)也是憑感覺取的）
這篇文章是我根據(jù)個人的一些理解來寫的，后續(xù)如果發(fā)現(xiàn)有錯誤，我會在新文章說出來，但這篇文章不做保留，方便后續(xù)檢查思考記錄的時候知道到底怎么踩坑的。
以下是我上次寫的sigmoid函數(shù)的文章：
https://segmentfault.com/a/11...
關(guān)于其他激勵函數(shù)，可以網(wǎng)上找資料進行了解，很多基礎(chǔ)性的數(shù)學(xué)知識，放到一些比較具體的應(yīng)用，會顯得非常的有意思。
本文名稱：一個單層的基礎(chǔ)神經(jīng)網(wǎng)絡(luò)實現(xiàn)手寫字識別
本文鏈接：http://m.5511xx.com/article/dhopjpg.html
