1. 首页
  2. TensorFlowNews

一文上手Tensorflow2.0之tf.keras|三

本文是全系列中第20 / 23篇:TensorFlow 从入门到精通

一文上手Tensorflow2.0之tf.keras|三

编辑 | 安可
出品 | 磐创AI技术团队

【磐创AI导读】:本系列文章介绍了与tensorflow的相关知识,包括其介绍、安装及使用等。本篇文章将接着上篇文章继续介绍它的使用。查看上篇:一文上手最新TensorFlow2.0系列(二)要获取更多的机器学习、深度学习资源,欢迎大家点击上方蓝字关注我们的公众号:磐创AI


系列文章目录:
  • Tensorflow2.0 介绍
    • Tensorflow 常见基本概念
    • 从1.x 到2.0 的变化
    • Tensorflow2.0 的架构
  • Tensorflow2.0 的安装(CPU和GPU)
  • Tensorflow2.0 使用
    • “tf.data” API
    • “tf.keras”API

  • 使用GPU加速
    • 安装配置GPU环境
    • 使用Tensorflow-GPU

3 TensorFlow2.0使用

3.2 “tf.keras”API

Keras是一个基于Python编写的高层神经网络API,Keras强调用户友好性、模块化以及易扩展等,其后端可以采用TensorFlow、Theano以及CNTK,目前大多是以TensorFlow作为后端引擎。考虑到Keras优秀的特性以及它的受欢迎程度,TensorFlow将Keras的代码吸收了进来,并将其作为高级API提供给用户使用。“tf.keras”不强调原来Keras的后端可互换性,而是在符合Keras标准的基础上让其与TensorFlow结合的更紧密(例如支持TensorFlow的eager execution模式,支持“tf.data”,以及支持TPU训练等)。“tf.keras”提高了TensorFlow的易用性,同时也保持了TensorFlow的灵活性和性能。

1. 基本模型的搭建和训练
对于一些基本的网络模型,我们可以使用“tf.keras.Sequential”来创建,通过这种方式创建的模型又称为“顺序模型”,因为这种方式创建的模型是由多个网络层线性堆叠而成的。

首先导入需要的包:
import tensorflow as tf
from tensorflow.keras import layers

然后我们创建一个Sequential Model:
model = tf.keras.Sequential([
# 添加一个有64个神经元的全连接层,“input_shape”为该层接受的输# 入数据的维度,“activation”指定该层所用的激活函数
layers.Dense(64, activation='relu', input_shape=(32,)),
# 添加第二个网络层
layers.Dense(64, activation='relu'),
# 添加一个softmax层作为输出层,该层有十个单元
layers.Dense(10, activation='softmax'),
])
上面的代码中,我们在定义这个顺序模型的同时添加了相应的网络层,除此之外我们也可以使用“add”方法逐层的添加:
model = tf.keras.Sequential()
model.add(layers.Dense(64, activation='relu', input_shape=(32,)))
model.add(layers.Dense(64, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))

“tf.keras.layers”用于生成网络层,包括全连接层(tf.keras.layers.Dense())、Dropout层(tf.keras.layers.Dropout)以及卷积网络层(例如二维卷积:tf.keras.layers.Conv2D)等等。创建好网络结构后,我们需要对网络进行编译:
model.compile(optimizer=tf.keras.optimizers.Adam(0.001),
loss='categorical_crossentropy',
metrics=['accuracy'])
在编译模型的时候我们需要设置一些必须的参数。例如“optimizer”用来指定我们想使用的优化器以及设定优化器的学习率。例如Adam优化器“tf.keras.optimizer.Adam”、SGD优化器“tf.keras.optimizer.SGD”等,在15行代码中我们使用了Adam优化器,并设置了学习率为“0.001”。

“loss”参数用来设置模型的损失函数(又称目标函数),例如均方误差损失函数(mean_squared_error)、对数损失函数(binary_crossentropy)以及多分类的对数损失函数(categorical_crossentropy)等等。

“metrics”用来设定模型的评价函数,模型的评价函数与损失函数相似,不过评价函数只用来显示给用户查看,并不用于模型的训练。除了自带的一些评价函数以外,我们还可以自定义评价函数。

编译好模型之后我们就可以开始训练了,这里我们使用numpy生成一组随机数作为训练数据:
import numpy as np

data = np.random.random((1000, 32))
labels = np.random.random((1000, 10))
print(data[0])
print(labels[0])

model.fit(data, labels, epochs=2, batch_size=32)

代码中我们随机生成了样本数据和类标。
使用“model.fit”来执行模型的训练,其中参数“data”和“labels”分别为训练数据和类标,“epochs”为训练的回合数(一个回合即在全量数据集上训练一次),“batch_size”为训练过程中每一个批次数据的大小。输出结果如图1所示。

一文上手Tensorflow2.0之tf.keras|三

图1 输出结果


在训练模型的工程中,为了更好地调节参数,方便模型的选择和优化,我们通常会准备一个验证集,这里我们同样随机生成一个验证集:
val_data = np.random.random((100, 32))
val_labels = np.random.random((100, 10))

model.fit(data, labels, epochs=2, batch_size=50,
validation_data=(val_data, val_labels))

输出结果如图2所示:

一文上手Tensorflow2.0之tf.keras|三

图2 增加验证集后的输出结果
和图1相比,这里多了“val_loss”和“val_accuracy”,分别为验证集上的损失和准确率。

上面的例子中我们直接在NumPy数据上训练的模型,我们也可以使用“tf.data”将其转为“Dataset”后再传递给模型去训练:
# 创建训练集Dataset
dataset = tf.data.Dataset.from_tensor_slices((data, labels))
dataset = dataset.batch(50)
# 创建验证集Dataset
val_dataset = tf.data.Dataset.from_tensor_slices((val_data, val_labels))
val_dataset = val_dataset.batch(50)

model.fit(dataset, epochs=2, validation_data=val_dataset)

模型训练好之后,我们希望用测试集去对模型进行评估,这里我们可以使用“model.evaluate”对模型进行评估:
# 模型评估,测试集为NumPy数据
model.evaluate(data, labels, batch_size=50)
# 模型评估,测试集为Dataset数据
model.evaluate(dataset, steps=30)

结果如图3所示:

一文上手Tensorflow2.0之tf.keras|三

图3 模型评估结果

最后我们可以使用“model.predict”对新的数据进行预测:
result = model.predict(data, batch_size=50)
print(result[0])

结果如图4所示:

一文上手Tensorflow2.0之tf.keras|三

图4 使用训练好的模型预测新的数据

2. 搭建高级模型
(1)函数式API
对于一些基本的网络结构,我们可以使用“tf.keras.Sequential”来搭建,但更多的时候我们面临的是一些比较复杂的网络结构。例如模型可能有多输入或多输出,模型中的一些网络层需要共享等等。对于这种网络模型的结构较为复杂的情况,我们需要使用到函数式API。

我们实现一个简单的例子:
# 单独的一个输入层
inputs = tf.keras.Input(shape=(32,))
# 网络层可以像函数一样被调用,其接收和输出的均为张量
x = layers.Dense(64, activation='relu')(inputs)
x = layers.Dense(64, activation='relu')(x)
# 输出层
predictions = layers.Dense(10, activation='softmax')(x)

接下来使用上面定义的网络层来创建模型:
# 创建模型
model = tf.keras.Model(inputs=inputs, outputs=predictions)
# 编译模型
model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
loss='categorical_crossentropy',
metrics=['accuracy'])
# 训练模型
model.fit(data, labels, epochs=2, batch_size=50)

(2)实现自定义的模型类和网络层
通过继承“tf.keras.Model”和“tf.keras.layers.Layer”我们可以实现自定义的模型类以及网络层,这为我们构建自己的网络结构提供了非常好的灵活性。例如我们定义一个简单的前馈网络模型:
class MyModel(tf.keras.Model):

def __init__(self, num_classes=10):
super(MyModel, self).__init__(name='my_model')
# 分类任务的类别数
self.num_classes = num_classes
# 定义我们自己的网络层
self.dense_1 = layers.Dense(32, activation='relu')
self.dense_2 = layers.Dense(num_classes, activation='sigmoid')

def call(self, inputs):
# 使用“__init__”方法中定义的网络层来构造网络的前馈过程
x = self.dense_1(inputs)
return self.dense_2(x)

我们需要在“__init__”方法中定义好我们模型中所有的网络层,并作为模型类的属性。在“call”方法中我们可以定义模型的正向传递过程。之后就可以调用这个模型。
model = MyModel(num_classes=10)
# 编译模型
model.compile(optimizer=tf.keras.optimizers.RMSprop(0.001),
loss='categorical_crossentropy',
metrics=['accuracy'])
# 训练模型
model.fit(data, labels, batch_size=50, epochs=5)

以上是我们自定义一个简单的网络模型的例子,通过继承“tf.keras.layers.Layer”类我们还可以实现自定义的网络层。事实上除了研究人员,对于绝大多数用户来说,我们一般不会需要自定义模型类或网络层。

3. 回调函数
回调函数会在模型的训练阶段被执行,可以用来自定义模型训练期间的一些行为,例如输出模型内部的状态等。我们可以自己编写回调函数也可以使用内置的一些函数,例如:
  • tf.keras.callbacks.ModelCheckpoint:定期保存模型。

  • tf.keras.callbacks.LearningRateScheduler:动态的改变学习率。

  • tf.keras.callbacks.EarlyStopping:当模型在验证集上的性能不再提升时终止训练。

  • tf.keras.callbacks.TensorBoard:使用TensorBoard来监测模型。


回调函数的使用方式如下:

callbacks = [
# 当验证集上的损失“val_loss”连续两个训练回合(epoch)都没有变化,则提前结束训练
tf.keras.callbacks.EarlyStopping(patience=2, monitor='val_loss'),
# 使用TensorBoard保存训练的记录,保存到“./logs”目录中
tf.keras.callbacks.TensorBoard(log_dir='./logs')
]
model.fit(data, labels, batch_size=50, epochs=5, callbacks=callbacks,
validation_data=(val_data, val_labels))
 
4. 模型的保存和恢复
我们可以使用“model.save()”和“tf.keras.models.load_model()”来保存和加载由“tf.keras”训练的模型:
# 创建一个简单的模型
model = tf.keras.Sequential([
layers.Dense(10, activation='softmax', input_shape=(32,)),
layers.Dense(10, activation='softmax')
])
model.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])
model.fit(data, labels, batch_size=32, epochs=5)

# 将整个模型保存为HDF5文件
model.save('my_model')
# 加载保存的模型
model = tf.keras.models.load_model('my_model')

通过“model.save()”保存的是一个完整的模型信息,包括模型的权重以及结构等。除了保存完整的模型,我们还可以单独保存模型的权重信息或者模型的结构。
# 将模型的权重参数保存为HDF5文件
model.save_weights('my_model.h5', save_format='h5')
# 重新加载
model.load_weights('my_model.h5')

# 将模型的结构保存为JSON文件
json_string = model.to_json()

一文上手Tensorflow2.0之tf.keras|三

留言送书福利

一文上手Tensorflow2.0之tf.keras|三
一文上手Tensorflow2.0之tf.keras|三

为了鼓励大家踊跃在文章留言区分享自己的看法,磐创AI推出了“留言送书”活动~在本文文末留言即可参与活动,留言内可以学习的故事、对本公众号的看法或建议,亦或是对人工智能的看法等。欢迎大家在日常推文中留言,以后将不定期推出“留言送书活动。

这次磐小仙精心挑选了本《Python数据挖掘与机器学习实战》送给大家。书籍详细介绍可以点击文末阅读原文查看。


《Python数据挖掘与机器学习实战》内容简介:书作为数据挖掘入门读物,基于真实数据集进行案例实战,使用Python数据科学库,从数据预处理开始一步步介绍数据建模和数据挖掘的过程。主要介绍了数据挖掘的基础知识、基本工具和实践方法,通过循序渐进地讲解算法,带领读者轻松踏上数据挖掘之旅。本书采用理论与实践相结合的方式,呈现了如何使用逻辑回归进行环境数据检测,如何使用HMM进行中文分词,如何利用卷积神经网络识别雷达剖面图,如何使用循环神经网络构建聊天机器人,如何使用朴素贝叶斯算法进行破产预测,如何使用DCGAN网络进行人脸生成等。本书也涉及神经网络、在线学习、强化学习、深度学习、大数据处理等内容。

/  今日赠送书籍 /

一文上手Tensorflow2.0之tf.keras|三

《Python数据挖掘与机器学习实战》


恭喜上期留言读者小房子,获赠书籍一本。请 小房子 同学联系小编:cellerai

一文上手Tensorflow2.0之tf.keras|三


/  今日留言主题 /

说说你对keras的看法?


一文上手Tensorflow2.0之tf.keras|三 


你也许还想
● 一文上手最新TensorFlow2.0系列(二)
● 文末福利|一文上手TensorFlow2.0(一)
● 自动机器学习:最近进展研究综述


欢迎扫码关注:


一文上手Tensorflow2.0之tf.keras|三


一文上手Tensorflow2.0之tf.keras|三 点击下方 |  | 了解更多
磐创AI:http://www.panchuangai.com/ 智能客服:http://www.panchuangai.com/ TensorFlow:http://panchuang.net 推荐关注公众号:磐创AI

原创文章,作者:fendouai,如若转载,请注明出处:https://panchuang.net/2019/08/20/8159759eab/

发表评论

电子邮件地址不会被公开。

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息