Language Model

定义 Definition

“语言模型”指一种用来学习与预测自然语言中词或符号序列规律的模型，常用于生成文本、自动补全、机器翻译、语音识别与信息检索等任务。

发音 Pronunciation (IPA)

/ˈlæŋɡwɪdʒ ˈmɑːd(ə)l/

例句 Examples

A language model can predict the next word in a sentence.
语言模型可以预测句子中的下一个词。

By training a large language model on diverse texts, researchers can build systems that summarize articles, answer questions, and generate coherent paragraphs.
通过在多样化文本上训练大型语言模型，研究人员可以构建能摘要文章、回答问题并生成连贯段落的系统。

词源 Etymology

该词由 language（语言） 与 model（模型） 组合而成，字面意思是“对语言进行建模”。在计算语言学与自然语言处理领域中，它逐渐特指用于估计“词序列概率”或学习语言规律的统计/神经网络模型。

相关词 Related Words

• Transformer
• Neural Network
• Tokenizer
• Corpus
• N-gram
• Perplexity
• Fine-tuning
• Prompt

文献与作品 Literary / Notable Works

• Speech and Language Processing（Dan Jurafsky & James H. Martin）
• Foundations of Statistical Natural Language Processing（Christopher Manning & Hinrich Schütze）
• “Attention Is All You Need”（Vaswani et al., 2017）
• “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”（Devlin et al., 2018）
• “Language Models are Few-Shot Learners”（Brown et al., 2020）