TensorFlow

写在前面

这个只是简化版笔记,详细信息请参考官网。

TensorFlow

TensorFlow的主要数据单元是张量

  1. [1., 2., 3.] # a rank 1 tensor; a vector with shape [3] 一维矢量
  2. [[1., 2., 3.], [4., 5., 6.]] # a rank 2 tensor; a matrix with shape [2, 3] 二维矩阵
  3. [[[1., 2., 3.]], [[7., 8., 9.]]] # a rank 3 tensor with shape [2, 1, 3] 三维以上都称为张量

install

tensorflow install

配置为国内镜像源

  1. 修改 ~/.pip/pip.conf (没有就创建一个), 内容如下:
  2. [global]
  3. index-url = http://mirrors.aliyun.com/pypi/simple/
  1. sudo easy_install --upgrade pip
  2. sudo pip install tensorflow

TensorFlow在运行会有一些系统配置的提示(警告),配置日志等级可以忽略提示

  1. import os
  2. os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
  3. import tensorflow as tf

demo

hello world

  1. >>> import tensorflow as tf
  2. >>> hello = tf.constant('Hello, TensorFlow!')
  3. >>> sess = tf.Session()
  4. >>> sess.run(hello)
  5. 'Hello, TensorFlow!'
  6. >>> a = tf.constant(10)
  7. >>> b = tf.constant(32)
  8. >>> sess.run(a + b)
  9. 42
  10. >>> sess.close()

线性函数

  1. import os
  2. import tensorflow as tf
  3. os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
  4. # Model parameters
  5. W = tf.Variable([.3], dtype=tf.float32)
  6. b = tf.Variable([-.3], dtype=tf.float32)
  7. # Model input and output
  8. x = tf.placeholder(tf.float32)
  9. linear_model = W*x + b
  10. y = tf.placeholder(tf.float32)
  11. # loss
  12. loss = tf.reduce_sum(tf.square(linear_model - y)) # sum of the squares
  13. # optimizer
  14. optimizer = tf.train.GradientDescentOptimizer(0.01)
  15. train = optimizer.minimize(loss)
  16. # training data
  17. x_train = [1, 2, 3, 4]
  18. y_train = [0, -1, -2, -3]
  19. # training loop
  20. init = tf.global_variables_initializer()
  21. sess = tf.Session()
  22. sess.run(init) # reset values to wrong
  23. for i in range(1000):
  24. sess.run(train, {x: x_train, y: y_train})
  25. # evaluate training accuracy
  26. curr_W, curr_b, curr_loss = sess.run([W, b, loss], {x: x_train, y: y_train})
  27. print("W: %s b: %s loss: %s"%(curr_W, curr_b, curr_loss))
  1. W: [-0.9999969] b: [ 0.99999082] loss: 5.69997e-11

误差是非常小的数,接近于0

训练集

  1. x = [1, 2, 3, 4]
  2. y = [0, -1, -2, -3]
  3. y = -x + 1

MNIST

MNIST

MNIST是一个简单计算机视觉数据库,包括一些手写数字。MNIST数据库下载。mnist_softmax.py源码。

MNIST

通过训练模型(回归分析)去查找图片并预测图片是什么数字例子理解TensorFlow是如何工作和机器学习的核心概念。

每张图片为28pix * 28pix,可以转化为28x28 = 784的张量

MNIST-Matrix

MNIST data分为3个部分

  • 训练数据(mnist.train),55,000
  • 测试数据(mnist.test),10,000
  • 验证数据(mnist.validation),5,000

每个MNIST数据样本包括手写数字和对应的标签(手写体图片对应0-9的数字),称为images “x”和 labels “y”

mnist.train.images是大小为[55000, 784]的张量(N维数组)

mnist-train-xs

第一个坐标轴是图片集记录的索引,第二个坐标轴是每张图片里每个像素点的索引,每个输入是0或1的像素张量(特定图片的特定像素)

使用One-hot编码表示数字标签,例如:3对应[0001000000]

mnist.train.labels是一个[55000, 10]的浮点数数组

mnist-train-ys

Softmax回归

回归分析(Softmax Regressions)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

每个手写数字都在0-9之间,每张的值一个有10种可能性。我们想查找图片并给出正确的标签。我们的模型并不是100%正确的。例如,查找图片为9的概率为80%,5%为8,剩下为其他。

回归分析提供一组在0-1之间的数,并且这些数的和为1

回归分析两个步骤:

  1. 我们将输入的证据添加到某些类中
  2. 然后将证据转换为概率。

对象素强度加权求和,如果该像素具有高强度是对该类图像的证据,那么如果该证据是有利的,则该权重是负的。

红色表示负权重,蓝色表示正权重。

softmax-weights

我们还添加了额外的证据称为偏差,有些因素更可能独立于输入。

x的证据

evidencei=jWi, jxj+bi

W为权重,b为偏差

y=softmax(evidence)

回归在这里作为一个“激活”或“连接”的函数,在这个例子,会分成超过10例的概率分布,将证据的一致性转化为每个类中输入的概率

softmax(evidence)=normalize(exp(evidence))

展开表示

softmax(evidence)i=exp(evidencei)jexp(evidencej)

回归分析看起来像下图,虽然有多个输入xi,对每个输出,我们计算xs的加权求和,加上偏差,然后应用回归

softmax-regression-scalargraph

用方程表示

softmax-regression-scalarequation

将方程转换为矩阵相乘和相加(方便更有效地计算)

softmax-regression-vectorequation

y=softmax(Wx+b)

回归模型

使用NumPy处理矩阵相乘,模型表示

  1. import tensorflow as tf
  2. x = tf.placeholder(tf.float32, [None, 784])
  3. W = tf.Variable(tf.zeros([784, 10]))
  4. b = tf.Variable(tf.zeros([10]))
  5. y = tf.nn.softmax(tf.matmul(x, W) + b)

训练

为了训练模型,我们要定义什么样的模型是好的。成本或损失,它表示我们的模型离我们期望的结果有多远。我们尽量减小错误,误差越小,我们的模型就越好。

交叉熵

Hy(y)=iyilog(yi)

y是预测的概率分布,y_ 是真正的分布(one-hot向量表示的数字标签)

  1. y_ = tf.placeholder(tf.float32, [None, 10])
  2. cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
  3. train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
  4. sess = tf.InteractiveSession()
  5. tf.global_variables_initializer().run()
  6. for _ in range(1000):
  7. batch_xs, batch_ys = mnist.train.next_batch(100)
  8. sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

运行模型

  1. correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
  2. accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
  3. print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

结果:0.9166

Tensorboard

  1. import tensorflow as tf
  2. a = tf.constant(1, name="a")
  3. b = tf.constant(2, name="b")
  4. x = tf.add(a, b, name="add")
  5. with tf.Session() as sess:
  6. writer = tf.summary.FileWriter('/tmp/tensorboard', sess.graph)
  7. sess.run(x)
  8. writer.close()

tensorboard –logdir=/tmp/tensorboard

machine learning1