循环神经网络（Recurrent neural network：RNN）是神經網絡的一種。单纯的RNN因为无法处理随着递归，权重指数级爆炸或梯度消失问题，难以捕捉长期时间关联；而结合不同的LSTM可以很好解决这个问题。 时间循环神经网络可以描述动态时间行为，因为和前馈神经网络（feedforward...

人工神经网络（英語：artificial neural network，ANNs）又称类神经网络，简称神经网络（neural network，NNs），在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中樞神經系統，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络...

前馈神经网络（英文：Feedforward Neural Network），是指神經網路的識別-推理架構。人工神經網路架構是以輸入乘上權重來獲得輸出（輸入對輸出）：前饋。循环神经网络或有迴圈的神經網路允許後處理階段的資訊回饋到前處理階段進行序列處理。然而，在推論的每個階段，前饋乘法仍然是核心，對於反...

双向循环神经网络（英語： Bidirectional recurrent neural networks，BRNN）将两个方向相反的隐藏层连接到同一个输出。通过这种形式的生成式深度学习，输出层可以同时获得来自过去（后向）和未来（前向）状态的信息。双向循环神经网络...

神经科学，并松散地建立在類似神经系统中的信息处理和对通信模式的理解上，如神经编码，试图定义拉動神经元的反应之间的关系以及大脑中的神经元的电活动之间的关系。 至今已有數种深度学习框架，如深度神经网络、卷积神经网络和深度置信网络（英语：Deep belief network）和循环神经网络...

Memory，LSTM）是一种时间循环神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。 LSTM的表现通常比时间循环神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009年，用LSTM构建的人工神经网络...

残差神经网络（Residual Neural Network，简称ResNet）属于深度学习模型的一种，其核心在于让网络的每一层不直接学习预期输出，而是学习与输入之间的残差关系。这种网络通过添加“跳跃连接”，即跳过某些网络层的连接来实现身份映射，再与网络层的输出相加合并。其运作机制与高速神经网络（英语：Highway...

霍普菲爾德神经网络(Hopfield neural network)是一种循环神经网络，由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），而非全局极小（global...

神经图灵机（英語：Neural Turing machine，NTM）是图灵机的循环神经网络模型。该方法由Alex Graves等人于2014年发表。 NTM 将神经网络的模糊模式匹配功能与可编程计算机的算法能力相结合。 NTM 有一个与外部记忆资源耦合的神经网络...

0开始。 Keras包含许多常用神经网络构建块的实现，例如层、目标、激活函数、优化器和一系列工具，可以更轻松地处理图像和文本数据。其代码托管在GitHub上，社区支持论坛包括GitHub的问题页面和Slack通道。 除标准神经网络外，Keras还支持卷积神经网络和循环神经网络。其他常见的实用公共层支持有Dropout、批量归一化和池化层等。...

，以及如何提高模型的泛化能力和鲁棒性。目前，已经有许多研究者提出了各种各样的方法来解决这些问题，例如使用数据增强、特征选择、集成学习、卷积神经网络、循环神经网络等技术。这些方法在不同的数据集上都取得了一定的效果，但是仍然有改进的空间和潜力。 在临床诊断上，睡眠分期主要由专家进行手工分期，在分期过程...

学习架构，这一机制可以按输入数据各部分重要性的不同而分配不同的权重。采用该架构的模型主要用于自然语言处理（NLP）与计算机视觉（CV）领域。 与循环神经网络（RNN）一样，Transformer旨在处理自然语言等顺序输入数据，可应用于翻译、文本摘要等任务。而与RNN不同的是，Transformer能...

注意力机制（英語：attention）是人工神经网络中一种模仿认知注意力的技术。这种机制可以增强神经网络输入数据中某些部分的权重，同时减弱其他部分的权重，以此将网络的关注点聚焦于数据中最重要的一小部分。数据中哪些部分比其他部分更重要取决于上下文。可以通过梯度下降法对注意力机制进行训练。...

玻尔兹曼机（英語：Boltzmann machine）是随机神经网络和循环神经网络的一种，由加拿大計算機科學家杰弗里·辛顿和美國計算機科學家特里·谢泽诺斯基（英语：Terry Sejnowski）在1985年发明。 玻尔兹曼机可被视作随机过程的，可生成的相应的霍普菲尔德神经网络...

在最简单的情况下，特征函数只是某个n-gram存在的指示器。使用先验的 a 或者使用一些正则化的手段是很有用的。 对数双线性模型是指数型语言模型的另一个例子。 神经概率语言模型是一种基于神经网络的语言模型，主要用于自然语言生成。 聊天機器人 對話程式語言模型 语言模型 大型语言模型 GPT-4 Gemini (语言模型) Jurafsky...

2017年4月，Facebook发布Caffe2，加入了循环神经网络等新功能。2018年3月底，Caffe2并入PyTorch。 深度学习软件比较（英语：Comparison of deep learning software） 卷积神经网络 深度学习 机器学习 Release 1.0. 2017年4月18日...

之后应用一个LSTM神经网络，基于标准模式识别来处理方程树。 在2020年，谷歌发布了Meena，一个在341GB数据集上训练的26亿参数的seq2seq聊天机器人。谷歌称，该聊天机器人的模型容量比OpenAI的GPT-2多出1.7倍. Seq2seq将输入序列转换为输出序列。它通过利用循环神经网络（递归神经网络）或更常用的LSTM...

，“无限制”玻兹曼机包含隐单元间的边，使之成为循环神经网络。）这一限定使得相比一般玻兹曼机更高效的训练算法成为可能，特别是基于梯度的对比分歧（contrastive divergence）算法。 受限玻兹曼机也可被用于深度学习网络。具体地，深度信念网络可使用多个RBM堆叠而成，并可使用梯度下降法和反向传播算法进行调优。...

(machine learning)）”阶段，将这些参数在目标任务上进行微调。 与之前基于注意力增强的循环神经网络（RNN）技术相比，GPT采用的Transformer架构为模型提供了比循环机制更加结构化的记忆；使其拥有“跨多样任务的稳健传输性能”。 选择BookCorpus作为训练数据集的一部...

量子计算——运用量子计算的计算机 查询语言 R编程语言——用于统计计算的编程语言 径向基函数网络 随机森林 循环神经网络——一類人工神經網絡，其中單元之間的連接形成有向循環 回归分析——統計學上一種分析數據的方法 正则化 (数学) 强化学习——一种从动物学习、参数扰动、自适应控制等理论发展而来，利用奖惩机制的学习方法...

Entropy）等熵。 人工神经网络（ANN）已有用在腦電圖的分類上。大部份的應用中，腦電圖資料在進入神经网络分析前，需要經過小波轉換的前處理。一度也很常會使用循环神经网络（RNN）在人工神经网络的腦電圖分析上。一直到深度学习以及卷积神经网络（CNN）興起後，卷积神经网络...

反向传播（英語：Backpropagation，意為误差反向传播，缩写为BP）是對多層人工神经网络進行梯度下降的算法，也就是用链式法则以网络每层的权重為變數计算损失函数的梯度，以更新权重來最小化损失函数。 任何监督式学习算法的目标是找到一个能把一组输入最好地映射到其正确的输出的函数。例如一个简单的...

一致。在小程序中，用户绘制一幅日常用品的图画，Google AI需在指定时间内识别图像。Google用全世界5000多万个手绘素描的数据集训练循环神经网络，实现识别图像的功能。 小程序发布后，迅速风靡于微信朋友圈。 截至2024年12月23日 (2024-12-23)[update]，猜画小歌小程序已经停止服务。...

。 应用包括语言翻译、内容生成、长篇文本分析、音频和语音处理[來源請求] 。 语言建模 Transformer（机器学习模型） 状态空间模型 循环神经网络 Gu, Albert; Dao, Tri. Mamba: Linear-Time Sequence Modeling with Selective...

神经网络（ANN）。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入空间的拓扑性质。 自组织映射中学习的目标是使网络的不同部分对输入模式有相似的响应。这部分的灵感是来自于人类大脑皮层的不同部分处理视觉、听觉或其他感官信息的方式。 神经...

(LMM)。 截至2024年，最大、功能最强大的模型均基于Transformer架构。最近的一些实现基于其他架构，例如循环神经网络变体和Mamba（状态空间模型）。 由于机器学习算法处理的是数字而不是文本，因此必须将文本转换为数字（称为token），该过程称为标记化（tok...

反向傳播使研究人員從頭開始訓練監督式深度人工神經網路，最初收效甚微。 1991年賽普·霍克賴特（Hochreiter）的畢業論文正式確認了“梯度消失問題”失敗的原因。梯度消失問題不僅影響多層前饋網絡，還影響循環網路。循環網路是通過將前饋網路深度展開來訓練，在網路處理的輸入序列的每個時間步驟中，都會產生一個新的層。...

可以證明前馈控制網路配合非線性、連續且可微的激活函數可以有通用逼近（英语：universal approximation theorem）的能力。循环神经网络也已用在系統識別中。假設一組輸入-輸出資料對，系統識別可以在資料對中形成映射，這些網路的目的是要找到系統的動態特性。...

神经系统主要由2种细胞组成，其中神经元是神经系统的主要细胞，而神经胶质是神经系统的次要细胞结构与营养。 在神经系统中的迅速神经信号传输主要通过以下两种方式: 在神经细胞里：兴奋通过神经纤维上的电位差传输，主要发生在神经细胞内部。（少数神经细胞之间也会通过电位差传输） 在神经...

21世纪10年代的一些最强大的人工智能在深度神经网络中采用了自编码器。 最简单的自编码器形式是一个前馈的、非循环的神经网络，类似于多层感知器（MLP）中的单层感知器，用一层或多层隐藏层链接输入和输出。输出层具有与输入层相同数量的节点（神经元）。输出层节点数和输入层一致。其目的是重构输入（最...

1997年，施密德胡伯和塞普·霍赫赖特（英语：Sepp Hochreiter）发表了关于一种循环神经网络类型的论文，他们称之为长短期记忆网络（LSTM）。2015年，LSTM被Google用于智能手机中新的语音识别实现。Google也在智能助手Allo和Google...