人工智能实践笔记：TensorFlow框架深度剖析

基于 Tensorflow 的 NN：

用张量表示数据，用计算图搭建神经网络，用会话执行计算图，优化线上的权重（参数），得到模型。

张量tensor：

张量就是多维数组（列表），用“阶”表示张量的维度。

0 阶张量称作 标量scalar

1 阶张量称作 向量vector []

2 阶张量称作 矩阵matrix [[]]

数据类型：

Tensorflow 的数据类型有 tf.float32、tf.int32 等。

计算图（Graph）：

搭建神经网络的计算过程，是承载一个或多个计算节点的一张图，只搭建网络，不运算。

会话（Session）：

执行计算图中的节点运算。

神经网络的参数：

是指神经元线上的权重 w

神经网络中常用的生成随机数/数组的函数

神经网络的实现过程：

1、准备数据集，提取特征，作为输入喂给神经网络（Neural Network，NN）

2、搭建 NN 结构，从输入到输出（先搭建计算图，再用会话执行） （ NN 前向传播算法 计算输出）

3、大量特征数据喂给 NN，迭代优化 NN 参数 （ NN 反向传播算法 优化参数训练模型）

4、使用训练好的模型预测和分类

训练过程和使用过程

前向传播：

就是搭建模型的计算过程，让模型具有推理能力，可以针对一组输入给出相应的输出。

待优化的参数：

W 前节点编号，后节点编号(层数)

神经网络共有几层（或当前是第几层网络）都是指的计算层，输入不是计算层

反向传播：

训练模型参数，在所有参数上用梯度下降，使 NN 模型在训练数据上的损失函数最小。

损失函数（loss）：

计算得到的预测值 y 与已知答案 y_的差距。

均方误差 MSE：

求前向传播计算结果与已知答案之差的平方再求平均。  loss_mse = tf.reduce_mean(tf.square(y_ - y))

反向传播训练方法：

以减小 loss 值为优化目标，有梯度下降、momentum 优化器、adam 优化器等优化方法。

随机梯度下降算法

train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss) 超参数
train_step=tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss)

自适应学习率的优化算法

train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss)

学习率：决定每次参数更新的幅度。

进阶：反向传播参数更新推导过

搭建神经网络的八股

准备工作

前向传播

反向传播

循环迭代

linux:

vim ~/.vimrc 写入：

set ts=4 表示使 Tab 键等效为 4 个空格

set nu 表示使 vim 显示行号 nu 是 number 缩写

“提示 warning”，是因为有的电脑可以支持加速指令， 但是运行代码时并没有启动这些指令。
“提示 warning”暂时屏蔽掉。主目录下的 bashrc 文件， 加入这样一句 export TF_CPP_MIN_LOG_LEVEL=2，把“提示warning”等级降低

“0”（显示所有信息）
“1”（不显示 info），
“2”代表不显示 warning，
“3”代表不显示 error。一般不建议设置成 3

source 命令用于重新执行修改的初始化文件 使之立即生效，而不必注销并重新登录。

代码示例

随机产生 32 组生产出的零件的体积和重量，训练 3000 轮，每 500 轮输出一次损
失函数。下面我们通过源代码进一步理解神经网络的实现过程：

登录后复制

# -*- coding: utf-8 -*-

# @File    : 搭建神经网络八股.py
# @Date    : 2018-06-02

# 搭建神经网络的八股
# 准备工作 -> 前向传播 -> 反向传播 -> 循环迭代

# 1、导入模块，生成模拟数据集；
import tensorflow as tf
import numpy as np

BACH_SIZE = 8
SEED = 23455

# 基于随机数产生 32行2列的随机数
rng = np.random.RandomState(SEED)
X = rng.rand(32, 2)  #  随机数组, 浮点数，[0, 1)均匀分布

# 输入数据集的标签（正确答案）x0+x1<1 -> 1   x0+x1>=1 -> 0
Y = [[int(x0 + x1 < 1)] for (x0, x1) in X]
print("X: \n%s"%X)
print("Y: \n%s"%Y)

# 2、定义神经网络的输入、参数和输出，定义前向传播过程；
x = tf.placeholder(tf.float32, shape=(None, 2))
y_ = tf.placeholder(tf.float32, shape=(None, 1))

# 生成正态分布随机数，形状两行三列，标准差是 1，随机种子是 1
w1 = tf.Variable(tf.random_normal(shape=[2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal(shape=[3, 1], stddev=1, seed=1))

a = tf.matmul(x, w1)
y = tf.matmul(a, w2)

# 3、定义损失函数及反向传播方法
# 均方误差
loss = tf.reduce_mean(tf.square(y - y_))
# 随机梯度下降算法，使参数沿着梯度的反方向，即总损失减小的方向移动，实现更新参数。
train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss)

# 4、生成会话，训练 STEPS 轮
with tf.Session() as session:
    init_option = tf.global_variables_initializer()
    session.run(init_option)

    # 输出未经训练的参数值
    print("w1: \n", session.run(w1))
    print("w2 \n", session.run(w2))
    print("\n")

    # 训练模型
    STEPS = 3000
    for i in range(STEPS):
        start = (i*BACH_SIZE)%32
        end = start + BACH_SIZE
        session.run(train_step, feed_dict={x: X[start: end], y_: Y[start: end]})
        if i %500 == 0:
            total_loss = session.run(loss, feed_dict={x: X, y_:Y})
            print("ssetp %d, loss %s"% (i, total_loss))

    # 训练后的取值
    print("w1\n", session.run(w1))
    print("w2\n", session.run(w2))
"""
由神经网络的实现结果，我们可以看出，总共训练 3000 轮，每轮从 X 的数据集和 Y 的标签中抽取相对应的从 start 开始
到 end 结束个特征值和标签，喂入神经网络，用 sess.run 求出 loss，每 500 轮打印一次 loss 值。经过 3000 轮后，
我们打印出最终训练好的参数 w1、w2。
"""

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删