使用 TensorFlow 和 Keras 的 RNN
在涉及有序数据序列的问题中，例如时间序列预测和自然语言处理，上下文对于预测输出非常有价值。可以通过摄取整个序列而不仅仅是最后一个数据点来确定这些问题的上下文。因此，先前的输出成为当前输入的一部分，并且当重复时，最后的输出结果是所有先前输入的结果以及最后一个输入。 循环神经网络（ RNN ）架构是用于处理涉及序列的机器学习问题的解决方案。
循环神经网络（ RNN ）是一种用于处理顺序数据的专用神经网络架构。顺序数据可以是一段时间内的观察序列，如时间序列数据，或字符序列，单词和句子，如文本数据。
标准神经网络的一个假设是，输入数据的排列方式是一个输入不依赖于另一个输入。然而，对于时间序列数据和文本数据，该假设不成立，因为序列中稍后出现的值通常受到之前出现的值的影响。
为了实现这一目标，RNN 通过以下方式扩展了标准神经网络：
- 通过在计算图中添加循环或循环，RNN 增加了将一个层的输出用作相同或前一层的输入的特性。
- RNN 添加存储器单元以存储可在当前计算中使用的先前输入和输出。
在本章中，我们将介绍以下有关 RNN 的主题：
- 简单的循环神经网络
- RNN 变种
- 长期短期内存网络
- 门控循环单元网络
- RNN 的 TensorFlow
- 适用于 RNN 的 Keras
- 用于 MNIST 数据的 Keras 中的 RNN
接下来的两章将介绍在 TensorFlow 和 Keras 中为时间序列和文本（NLP）数据构建 RNN 模型的实际示例。