半监督学习 - 维基百科，自由的百科全书

此條目需要精通或熟悉计算机科学的编者参与及协助编辑。 (2024年2月) 請邀請適合的人士改善本条目。更多的細節與詳情請參见討論頁。 另見其他需要计算机科学專家關注的頁面。

机器学习与数据挖掘
范式 监督学习 無監督學習 線上機器學習 元学习（英语：Meta-learning (computer science)） 半监督学习 自监督学习 强化学习 基于规则的机器学习（英语：Rule-based machine learning） 量子機器學習
问题 统计分类 生成模型 迴歸分析 聚类分析 降维 密度估计（英语：density estimation） 异常检测 数据清洗 自动机器学习 关联规则学习 語意分析 结构预测（英语：Structured prediction） 特征工程 表征学习 排序学习（英语：Learning to rank） 语法归纳（英语：Grammar induction） 本体学习（英语：Ontology learning） 多模态学习（英语：Multimodal learning）
监督学习 (分类 · 回归) 学徒学习（英语：Apprenticeship learning） 决策树学习 集成学习 Bagging 提升方法 随机森林 k-NN 線性回歸 朴素贝叶斯 人工神经网络 邏輯斯諦迴歸 感知器 相关向量机（RVM） 支持向量机（SVM） 迁移学习 微调
聚类分析 BIRCH CURE算法（英语：CURE algorithm） 层次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飘移（英语：Mean shift）
降维 因素分析 CCA ICA LDA NMF（英语：Non-negative matrix factorization） PCA PGD（英语：Proper generalized decomposition） t-SNE（英语：t-distributed stochastic neighbor embedding） SDL
结构预测（英语：Structured prediction） 圖模式 貝氏網路 條件隨機域 隐马尔可夫模型
异常检测 RANSAC k-NN 局部异常因子（英语：Local outlier factor） 孤立森林（英语：Isolation forest）
人工神经网络 自编码器 認知計算 深度学习 DeepDream（英语：DeepDream） 多层感知器 RNN LSTM GRU（英语：Gated recurrent unit） ESN（英语：Echo state network） 储备池计算（英语：reservoir computing） 受限玻尔兹曼机 GAN SOM CNN U-Net Transformer Vision transformer（英语：Vision transformer） 脉冲神经网络（英语：Spiking neural network） Memtransistor（英语：Memtransistor） 电化学RAM（英语：Electrochemical RAM）（ECRAM）
强化学习 Q学习 SARSA 时序差分（TD） 多智能体（英语：Multi-agent reinforcement learning） Self-play（英语：Self-play (reinforcement learning technique)） RLHF
与人类学习 主动学习（英语：Active learning (machine learning)） 众包 Human-in-the-loop（英语：Human-in-the-loop）
模型诊断 学习曲线（英语：Learning curve (machine learning)）
数学基础 内核机器（英语：Kernel machines） 偏差–方差困境（英语：Bias–variance tradeoff） 计算学习理论（英语：Computational learning theory） 经验风险最小化 奥卡姆学习（英语：Occam learning） PAC学习（英语：Probably approximately correct learning） 统计学习 VC理论
大会与出版物 NeurIPS ICML（英语：International Conference on Machine Learning） ICLR ML（英语：Machine Learning (journal)） JMLR（英语：Journal of Machine Learning Research）
相关条目 人工智能术语（英语：Glossary of artificial intelligence） 机器学习研究数据集列表（英语：List of datasets for machine-learning research） 机器学习概要（英语：Outline of machine learning）
查 论 编

半监督学习（英語：Semi-supervised learning）是机器学习的一个分支，它在训练时使用了少量的有标签数据（Labeled data）和大量的无标签数据（Unlabeled data）。半监督学习介于无监督学习（训练数据全部无标签）和有监督学习（训练数据全部有标签）之间。半监督学习旨在缓解训练数据中有标签数据有限的问题。

无监督学习适用的的问题往往有着大量的无标签样本，同时获得有标签样本成本较高。部分其它机器学习分支有着相同动机，但是遵从不同的假设和方法，例如主动学习（英语：Active_learning_(machine_learning)）和弱监督学习。将无标签样本和少量有标签样本同时使用时，会对学习的准确性产生极大改善。为特定问题获得有标签的数据通常需要熟练工（例如转录音频片段）或进行物理实验（例如确定蛋白质的三维结构，或者确定特定地点是否有油气）。由此，获得有标签样本的成本往往较高，获取大型的、完全标注的样本集是不可行的；同时，获取无标签的样本成本往往相对较低。此时，半监督学习具有较大的使用价值。半监督学习在机器学习和人类学习的建模方面也具有理论价值。

正式的来说，半监督学习假设有${\displaystyle l}$个独立同分布的样本${\displaystyle x_{1},\dots ,x_{l}\in X}$及对应的标签${\displaystyle y_{1},\dots ,y_{l}\in Y}$，和${\displaystyle u}$个无标签的样本${\displaystyle x_{l+1},\dots ,x_{l+u}\in X}$。半监督学习结合这些样本来获得相比于放弃无标签样本进行有监督学习或放弃有标签样本进行无监督学习更好的分类性能。

半监督学习可以是推断学习（英语：Transduction_(machine_learning)）或归纳学习。^[1]推断学习的目的是推断给定无标签样本${\displaystyle x_{l+1},\dots ,x_{l+u}}$的正确标签；归纳学习的目的是推断${\displaystyle X}$到${\displaystyle Y}$的正确映射。

直观地说，学习问题可以看成一次考试，有标签样本是为了帮助学习，由老师解答的样题。推断学习中，未解决的问题是考试题目；归纳学习中，它们是会构成考试的练习题。

对整个输入空间进行推断学习没有必要（依据Vapnik准则，也是不够谨慎的）。然而在实践中，为推断学习和归纳学习设计的算法通常交替使用。

为了充分利用无标签数据，数据分布必须有某种潜在的规律。以下是半监督学习可能用到的假设：^[2]

「相近的数据点往往更可能有相同的标签。」这也是有监督学习中的一般假设，该假设同时对几何学上的简单决策边界有所偏好。由于很少有点相互接近但属于不同的类别，因此半监督学习的平滑性假设还产生了对低密度区域的决策边界的偏好。

「数据倾向形成离散的集群，在同一个集群中的数据点往往更可能由相同的标签（尽管具有相同标签的数据点可能分散在多个集群中）。」这是平滑性假设的特例，产生了带有聚类算法的特征学习。

「数据大致位于比输入空间维度更低的低维流形上。」在这种情况下，同时使用有标签和无标签的数据学习流形可以避免维数灾难。学习过程可以使用在流形上定义的距离和密度。

当高维数据由一些难以直接建模、仅有少数几个自由度的过程生成时，流形假设很实用。例如，人的声音由若干声带褶皱（Vocal folds）控制^[3]、面部肌肉由几个肌肉控制。此时，在问题的生成空间中考虑距离和光滑性，比在所有可能的声波或图像中考虑问题更好。

启发式的自训练方法（self-training，也称自学习（slef-learning）或自标记（self-labeling））是历史上最古老的半监督学习方法，^[2]其应用实例起源于20世纪60年代。^[4]

推断学习的框架是由弗拉基米尔·瓦普尼克于20世纪70年代正式提出^[5]，对使用生成模型的归纳学习的兴趣也起源于同一时期。1995年，Ratsaby和Venkatesh证明了高斯混合模型半监督学习概率近似正确学习（英语：Probably_approximately_correct_learning）（Probably approximately correct learning，PAC Learning）的边界。^[6]

半监督学习近期的流行是因为在实践中，大量的应用可以获得无标签数据（例如网页中的文本、蛋白质序列或图片）。^[7]

• Chapelle, Olivier; Schölkopf, Bernhard; Zien, Alexander. Semi-supervised learning. Cambridge, Mass.: MIT Press. 2006. ISBN 978-0-262-03358-9.