Representation Learning

定义 Definition

表征学习：机器学习中的一种方法，让模型从原始数据（如图像、文本、语音）中自动学习有用的特征表示（representation），以便更好地完成分类、检索、生成等任务。常见于深度学习（如自编码器、对比学习、词向量、深度神经网络）。该术语也可更广义地指“学习数据的表示方式”。

发音 Pronunciation (IPA)

/ˌrɛprɪzɛnˈteɪʃən ˈlɝːnɪŋ/

例句 Examples

Representation learning helps computers understand images without hand-crafted features.
表征学习能帮助计算机在不依赖人工设计特征的情况下理解图像。

By combining self-supervised objectives with a large neural network, representation learning can produce embeddings that transfer well to many downstream tasks.
通过将自监督目标与大型神经网络结合，表征学习可以产生可迁移性很强的嵌入表示，从而适用于许多下游任务。

词源 Etymology

representation 源自拉丁语 repraesentare，意为“呈现、使在场、展示”，在科学语境中引申为“对事物的表示/表征”。learning 来自动词 learn（学习）。合起来的 representation learning 在机器学习领域特指“学习数据的内部表示（特征/嵌入）”，与早期“手工特征工程”相对。

相关词 Related Words

• Embedding
• Feature
• Feature Extraction
• Representation
• Deep Learning
• Neural Network
• Autoencoder
• Self-Supervised Learning
• Contrastive Learning
• Manifold Learning
• Transfer Learning

文学与经典作品 Literary / Notable Works

• **Yoshua Bengio, Aaron Courville, Pascal Vincent (2013)**：Representation Learning: A Review and New Perspectives（综述论文，系统阐述“表征学习”的概念与方法）
• **Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016)**：Deep Learning（教材中多处使用并讨论 representation learning）
• **Alec Radford et al. (2018)**：Improving Language Understanding by Generative Pre-Training（讨论通过预训练学习通用表示）
• **Tomas Mikolov et al. (2013)**：Efficient Estimation of Word Representations in Vector Space（词向量作为表征学习的典型案例之一）
• **Jean-Baptiste Grill et al. (2020)**：*Bootstrap Your Own Latent (BYOL)*（自监督表征学习的代表性工作）