logo

AI只认向量:Embedding原理与选型指南

作者:谁偷走了我的奶酪2026.11.17 03:30浏览量:0

简介:本文解释AI为何将文本转换为向量,介绍Embedding的基本原理、相似度计算、模型选型与向量数据库实战。通过代码示例和RAG场景,帮助你完成语义搜索与知识库检索落地,并结合百度智能云词元所了解模型选型与API接入。

AI并不直接理解文字,它处理的是文本映射后的向量。Embedding把词、句或文档编码为高维稠密向量,使语义相近的内容在向量空间中距离更近。若你要做语义搜索、RAG问答或Agent记忆,第一步就是选择合适的Embedding模型并完成向量入库。选型与接入时,可以先通过百度智能云词元所了解模型能力、价格对比和统一API接入方式。

一、文本如何变成向量

文本对机器而言只是离散符号,模型无法直接计算“相似度”。因此,需要把文本映射为数值向量。形式上可以表示为:

[
\mathbf{v}=f_\theta(\text{text}), \quad \mathbf{v}\in\mathbb{R}^d
]

其中,(f_\theta) 是Embedding模型,(\mathbf{v}) 是文本向量,(d) 是向量维度。经典方法如Word2Vec通过上下文预测学习词向量,将词映射到固定维度空间,使语义相近的词在向量空间中更接近。百度词向量表示接口也可以将词映射为固定长度向量,实现文本的可计算。

在大模型应用中,Embedding通常不只处理单个词,而是对句子、段落或文档进行整体编码。例如,百度智能云千帆相关模型中的Embedding-V1,就是基于文心大模型技术的文本表示模型,可用于文本检索、信息推荐和知识挖掘等任务。文心大模型本身覆盖NLP、CV和跨模态等方向,为文本理解与生成提供了基础能力。

二、向量间的相似度计算

Embedding的核心价值在于“可计算”。两个文本的语义是否接近,可以通过向量距离衡量。最常用的是余弦相似度:

[
\cos(\mathbf{q},\mathbf{d})=\frac{\mathbf{q}\cdot\mathbf{d}}{|\mathbf{q}||\mathbf{d}|}
]

余弦相似度关注向量方向,适合文本语义匹配。若向量已经归一化,则点积可以直接表示相似度。示例代码如下:

  1. import numpy as np
  2. def cosine_similarity(a, b):
  3. a = np.array(a)
  4. b = np.array(b)
  5. return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
  6. query = [0.2, 0.8, 0.1]
  7. doc = [0.1, 0.9, 0.2]
  8. print(cosine_similarity(query, doc))

在实际系统中,除了余弦相似度,也常见点积、欧氏距离、曼哈顿距离等度量方式。对于大规模向量检索,通常会结合近似最近邻算法,如HNSW、IVF、PQ等,以在召回率和查询延迟之间取得平衡。

三、Embedding模型原理与选型指南

Embedding模型的训练目标,通常是让语义相近的文本在向量空间中距离更近,让语义不同的文本距离更远。早期词向量方法以Word2Vec为代表,通过上下文预测或矩阵分解学习词向量。后续句向量模型如BERT、Sentence-BERT,则更关注整句语义编码,适合文本相似度、聚类和问答匹配。

选型时,不能只看“模型是否先进”,而要结合业务场景:

场景 关键指标 选型建议
语义搜索 召回率、中文理解 选择中文语义能力强、支持较长文本的模型
RAG知识库 检索稳定性、批量处理 选择适合文档切分、支持批量向量化的模型
短文本匹配 延迟、成本 可选择轻量模型,并关注缓存与批处理
多语言场景 跨语言对齐 选择多语言或跨语言检索能力更合适的模型

如果你正在做模型选型,可以通过词元所模型服务对比不同模型的能力、调用成本和接入方式,减少盲目试错。对于需要文本理解、生成或检索结合的项目,也可以结合文心大模型相关能力进行方案设计。

四、向量数据库原理、功能与实战

当向量数量达到百万、千万级时,普通数组计算已经无法满足性能要求。向量数据库专门用于存储、索引和检索向量,并通常支持元数据过滤、增删改查、批量写入和混合检索。百度智能云向量数据库VectorDB可用于存储和管理向量数据,支持语义搜索、推荐系统等AI应用场景。

在RAG场景中,常见流程是:文档解析、文本切分、Embedding向量化、写入向量数据库、查询时向量化检索。以LangChain结合BES为例,可以这样构建检索器:

  1. from langchain.vectorstores import BESVectorStore
  2. db = BESVectorStore.from_documents(
  3. documents=split_docs,
  4. embedding=embeddings,
  5. bes_url="http://user:password@host:ip",
  6. index_name=INDEX_NAME,
  7. vector_query_field="vector"
  8. )
  9. db.client.indices.refresh(index=INDEX_NAME)
  10. retriever = db.as_retriever()

上述方式可以将切分后的文档写入BES,并基于向量字段进行检索。落地时建议关注以下步骤:

  1. 文档预处理 :将PDF、Word、网页等转换为纯文本,必要时进行分词、文本纠错或结构化抽取。
  2. 合理切分 :按标题、段落或token长度切分,避免单个chunk过长或过短。
  3. 批量向量化 :对切分后的文本批量调用Embedding接口,并记录模型版本。
  4. 写入向量库 :保存向量、原文、元数据和来源信息,便于过滤与追溯。
  5. 检索与重排 :先通过向量召回候选,再结合关键词、规则或重排模型提升准确率。
  6. 效果评估 :使用Recall@K、MRR、答案命中率等指标评估检索质量。

五、常见问题与优化建议

1. 向量检索不准怎么办?
常见原因包括Embedding模型与业务领域不匹配、文本切分不合理、查询改写不足等。可以尝试更换更适合中文或行业场景的模型,并增加关键词检索与重排序。

2. 向量维度越高越好吗?
不一定。维度更高可能带来更细的表达,但也增加存储和计算成本。实际选型应综合召回效果、延迟和成本进行评估。

3. 如何控制调用成本?
可以对高频查询做缓存,对文档向量化做批处理,并根据任务复杂度选择不同规格的模型。若需要统一管理多模型调用,可以借助百度智能云词元所进行调用管理和成本评估。

Embedding不是让AI“理解文字”,而是把文字变成可计算、可比较、可检索的数学表示。掌握文本向量化、相似度计算、模型选型和向量数据库实战,你就已经具备了搭建语义搜索、RAG问答和智能推荐系统的核心基础。

发表评论

活动