《AI大模型中的Embedding思考》：深度洞察，探索人工智能模型的思维密码

1.什么是大语言模型（LLM）？

LLM 是一种大型语言模型，是一种用于理解、生成和响应类人文本的神经网络，这些模型是在大量文本数据上训练的深度神经网络。

大型语言模型中的“大”指的是模型在参数方面的大小和它所训练的庞大数据集。这样的模型通常有数百亿甚至数千亿个参数，这些参数是网络中可调整的权重，在训练过程中进行优化，以预测序列中的下一个单词。

模型微调，是指在预训练模型的基础上，使用特定任务的标注数据进行进一步训练，使模型能够完成特定的任务。

其特点，建立在预训练基础上，利用预训练模型已经学到的语言知识，不需要从零开始训练。这样有助于降低训练的成本，以及缩短训练时间，能更好快速适应新任务。

2.Embedding 的理解

深度学习模型不能处理原始形式的视频、音频和文本等数据格式。那怎么办？因此，我们引入了 “embedding“ ，翻译为“嵌入“ 。

专业术语来讲，Embedding 是一种将离散数据（如文字、图像、音频等）转换为连续的密集向量表示的技术，这些向量能够反映原始数据之间的关系。

现在，很多企业搭建本地知识库，常提到的 RAG 技术，实际上用 Embedding 模型作为基础工具，来将查询的词转换为向量。

Embedding 是 RAG 的基础工具，而 RAG 是 Embedding 的一种应用场景，这样就得到一个公式：RAG = Embedding + 检索 + LLM生成。

如果，你还想更深层次去理解 Embedding 底层细节原理，建议你去学习或了解相关数学概念，如向量空间、线性代数、矩阵、特征值和特征向量和内积和外积等。

今天，这篇文章主要是讲大致流程概念，知道这么回事，并没有过多的深入讲解。

3.RAG 又是什么？

RAG 是检索增强生成（Retrieval-Augmented Generation）的缩写，它通过结合检索系统和生成模型来提高语言生成的准确性和相关性。

RAG 优势就是能够在生成响应时引入外部知识，使得生成的内容更加准确，也无需训练。很好解决 LLM 面临数据实时性问题，因为 LLM 训练是有时截止日期的。

目前，很多企业搭建自己知识库时，都是采用 RAG 技术进行信息检索。然而为了达到更好效果，企业一般也会进行内部模型微调 Embedding Model，来增加检索增强生成的能力。