循环神经网络（Recurrent neural network：RNN）是神經網絡的一種。单纯的RNN因为无法处理随着递归，权重指数级爆炸或梯度消失问题，难以捕捉长期时间关联；而结合不同的LSTM可以很好解决这个问题。 时间循环神经网络可以描述动态时间行为，因为和前馈神经网络（feedforward...

双向循环神经网络（英語： Bidirectional recurrent neural networks，BRNN）将两个方向相反的隐藏层连接到同一个输出。通过这种形式的生成式深度学习，输出层可以同时获得来自过去（后向）和未来（前向）状态的信息。双向循环神经网络...

前馈神经网络（英文：Feedforward Neural Network），為人工智能領域中，最早发明的簡單人工神经网络类型。在它内部，参数从输入层向输出层单向传播。有異於循环神经网络，它的内部不会构成有向环。 戴葵. 译.（机械工业出版社）《神经网络设计》...

人工神經網絡 人工神经网络（英語：artificial neural network，ANNs）又称类神经网络，简称神经网络（neural network，NNs），在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中樞神經系統，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估...

霍普菲爾德神经网络(Hopfield neural network)是一种循环神经网络，由约翰·霍普菲尔德在1982年发明。Hopfield网络是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），而非全局极小（global...

神经科学，并松散地建立在類似神经系统中的信息处理和对通信模式的理解上，如神经编码，试图定义拉動神经元的反应之间的关系以及大脑中的神经元的电活动之间的关系。 至今已有數种深度学习框架，如深度神经网络、卷积神经网络和深度置信网络（英语：Deep belief network）和循环神经网络...

神经图灵机（英語：Neural Turing machine，NTM）是图灵机的循环神经网络模型。该方法由Alex Graves等人于2014年发表。 NTM 将神经网络的模糊模式匹配功能与可编程计算机的算法能力相结合。 NTM 有一个与外部记忆资源耦合的神经网络...

Memory，LSTM）是一种时间循环神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。 LSTM的表现通常比时间循环神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段连续手写识别上。2009年，用LSTM构建的人工神经网络...

玻尔兹曼机（英語：Boltzmann machine）是随机神经网络和循环神经网络的一种，由加拿大計算機科學家杰弗里·辛顿和美國計算機科學家特里·谢泽诺斯基（英语：Terry Sejnowski）在1985年发明。 玻尔兹曼机可被视作随机过程的，可生成的相应的霍普菲尔德神经网络...

残差神经网络（Residual Neural Network，简称ResNet）属于深度学习模型的一种，其核心在于让网络的每一层不直接学习预期输出，而是学习与输入之间的残差关系。这种网络通过添加“跳跃连接”，即跳过某些网络层的连接来实现身份映射，再与网络层的输出相加合并。其运作机制与高速神经网络（英语：Highway...

0开始。 Keras包含许多常用神经网络构建块的实现，例如层、目标、激活函数、优化器和一系列工具，可以更轻松地处理图像和文本数据。其代码托管在GitHub上，社区支持论坛包括GitHub的问题页面和Slack通道。 除标准神经网络外，Keras还支持卷积神经网络和循环神经网络。其他常见的实用公共层支持有Dropout、批量归一化和池化层等。...

神经系统主要由2种细胞组成，其中神经元是神经系统的主要细胞，而神经胶质是神经系统的次要细胞结构与营养。 在神经系统中的迅速神经信号传输主要通过以下两种方式: 在神经细胞里：兴奋通过神经纤维上的电位差传输，主要发生在神经细胞内部。（少数神经细胞之间也会通过电位差传输） 在神经...

一致。在小程序中，用户绘制一幅日常用品的图画，Google AI需在指定时间内识别图像。Google用全世界5000多万个手绘素描的数据集训练循环神经网络，实现识别图像的功能。 小程序发布后，迅速风靡于微信朋友圈。 李文瑶. 谷歌推微信小程序“猜画小歌” 与AI组队玩猜谜. 环球时报. 2018-07-18...

2017年4月，Facebook发布Caffe2，加入了循环神经网络等新功能。2018年3月底，Caffe2并入PyTorch。 深度学习软件比较（英语：Comparison of deep learning software） 卷积神经网络 深度学习 机器学习 Release 1.0. 2017年4月18日...

神经网络中采用了自编码器。 最简单的自编码器形式是一个前馈的、非循环的神经网络，用一层或多层隐藏层链接输入和输出。输出层节点数和输入层一致。其目的是重构输入（最小化输入和输出之间的差异），而不是在给定输入的情况下预测目标值，所以自编码器属于无监督学习。 最简单的自编码器形式是一个前馈的、非循环...

Entropy）等熵。 人工神经网络（ANN）已有用在腦電圖的分類上。大部份的應用中，腦電圖資料在進入神经网络分析前，需要經過小波轉換的前處理。一度也很常會使用循环神经网络（RNN）在人工神经网络的腦電圖分析上。一直到深度学习以及卷积神经网络（CNN）興起後，卷积神经网络...

，“无限制”玻兹曼机包含隐单元间的边，使之成为循环神经网络。）这一限定使得相比一般玻兹曼机更高效的训练算法成为可能，特别是基于梯度的对比分歧（contrastive divergence）算法。 受限玻兹曼机也可被用于深度学习网络。具体地，深度信念网络可使用多个RBM堆叠而成，并可使用梯度下降法和反向传播算法进行调优。...

机制的深度学习模型，这一机制可以按输入数据各部分重要性的不同而分配不同的权重。该模型主要用于自然语言处理（NLP）与计算机视觉（CV）领域。 与循环神经网络（RNN）一样，Transformer模型旨在处理自然语言等顺序输入数据，可应用于翻译、文本摘要等任务。而与RNN不同的是，Transforme...

注意力机制（英語：attention）是人工神经网络中一种模仿认知注意力的技术。这种机制可以增强神经网络输入数据中某些部分的权重，同时减弱其他部分的权重，以此将网络的关注点聚焦于数据中最重要的一小部分。数据中哪些部分比其他部分更重要取决于上下文。可以通过梯度下降法对注意力机制进行训练。...

之后应用一个LSTM神经网络，基于标准模式识别来处理方程树。 在2020年，谷歌发布了Meena，一个在341GB数据集上训练的26亿参数的seq2seq聊天机器人。谷歌称，该聊天机器人的模型容量比OpenAI的GPT-2多出1.7倍. Seq2seq将输入序列转换为输出序列。它通过利用循环神经网络（递归神经网络）或更常用的LSTM...

尿素循环（urea cycle），也称鳥氨酸循环（ornithine cycle）是许多哺乳类动物的一个生物化学反应过程，由氨（NH3）生成尿素（(NH2)2CO）。尿素循环将高毒性氨转化为尿素排泄。这是人们第一个发现的代谢循环（汉斯·克雷布斯（Hans Krebs）和Kurt...

神经网络（ANN）。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入空间的拓扑性质。 自组织映射中学习的目标是使网络的不同部分对输入模式有相似的响应。这部分的灵感是来自于人类大脑皮层的不同部分处理视觉、听觉或其他感官信息的方式。 神经...

，以及如何提高模型的泛化能力和鲁棒性。目前，已经有许多研究者提出了各种各样的方法来解决这些问题，例如使用数据增强、特征选择、集成学习、卷积神经网络、循环神经网络等技术。这些方法在不同的数据集上都取得了一定的效果，但是仍然有改进的空间和潜力。 在临床诊断上，睡眠分期主要由专家进行手工分期，在分期过程...

(machine learning)）”阶段，将这些参数在目标任务上进行微调。 与之前基于注意力增强的循环神经网络（RNN）技术相比，GPT采用的Transformer架构为模型提供了比循环机制更加结构化的记忆；使其拥有“跨多样任务的稳健传输性能”。 选择BookCorpus作为训练数据集的一部...

可以證明前馈控制網路配合非線性、連續且可微的激活函數可以有通用逼近（英语：universal approximation theorem）的能力。循环神经网络也已用在系統識別中。假設一組輸入-輸出資料對，系統識別可以在資料對中形成映射，這些網路的目的是要找到系統的動態特性。...

神经源性休克（英语：Neurogenic shock）：植物神经系统反应过激，如心理方面的影响，受伤和神经系统疾病或中毒。血管会扩张导致相对低血容量的发生。（见：血管迷走性晕厥） 脊髓休克（英语：Spinal shock）是神经源性休克的一种特殊形式，如截瘫。 血液阻塞性休克－循环系统障碍...

1997年，施密德胡伯和塞普·霍赫赖特（英语：Sepp Hochreiter）发表了关于一种循环神经网络类型的论文，他们称之为长短期记忆网络（LSTM）。2015年，LSTM被Google用于智能手机中新的语音识别实现。Google也在智能助手Allo和Google...

ganglia”，basal（基底）意表起解剖位置位于大脑的深部和底部，而 ganglia（神经节）是一命名错误。Ganglia 一词本义指周邊神經系統的神经元胞体的聚集部，但实际上基底核位于中枢神经系统。中枢神经系统的神经元胞体聚集应称为“核”（nucleus），例如紅核（英语：red...

反向传播（英語：Backpropagation，意為误差反向传播，缩写为BP）是對多層人工神经网络進行梯度下降的算法，也就是用链式法则以网络每层的权重為變數计算损失函数的梯度，以更新权重來最小化损失函数。 任何监督式学习算法的目标是找到一个能把一组输入最好地映射到其正确的输出的函数。例如一个简单的...

深度学习库，是广泛支持各种深度学习算法的运算框架。Deeplearning4j可以实施的技术包括受限玻尔兹曼机、深度置信网络、深度自动编码器、堆叠式降噪自动编码器、循环神经张量网络，以及word2vec、doc2vec和GloVe。这些算法全部包括分布式并行版本，与Hadoop和Spark集成。Sk...

torch.bfloat 神经网络由对数据执行操作的层/模块组成。 torch.nn 命名空间提供了使用者需要的所有构建块来构建自己的神经网络。PyTorch 中的每个模块都对应nn.模块。 神经网络本身是由其他模块（层）组成的模块。这种嵌套结构允许使用者轻松构建并管理复杂的架构。神经网络...