Embedding 与 Rerank:语义搜索的两个环节
向量表示帮助找到候选资料,重排模型帮助调整候选结果顺序。

阅读重点
- 分别测试召回与排序
- 保留无答案问题
- 核对文档日期与权限
向量表示的用途
Embedding 将输入内容转换为数值表示,用于衡量语义关系和建立搜索索引。它并不直接写出答案。
资料如何切分、哪些字段进入索引、文档是否及时更新,都会影响检索结果。相似度高也不一定意味着资料符合当前问题的全部条件。
重排发生的位置
Rerank 通常在初步检索之后,对候选资料重新排序。它可以帮助将更相关的条目排在前面,但不能自动找回没有进入候选集合的文档。
候选数量、查询表达和文档质量会影响最终效果,因此需要分别测试召回与排序。
用实际问题验证
建立包含正确答案、相似但不适用资料和无答案问题的测试集合。首先检查正确资料是否被召回,再检查它的位置是否足够靠前。
对于日期、地区和版本明确的问题,语义相关之外还要验证这些条件。
与生成模型衔接
生成模型应读取筛选后的证据并给出可核查来源。检索失败时应允许说明资料不足,而不是要求输出完整答案。
系统评价要覆盖索引更新、检索、重排与回答,单个模型分数不能替代整个流程的质量。
相关工具与模型
读者常问
Embedding 会直接回答问题吗?
通常不会,它提供数值表示供检索等流程使用。
重排能解决所有检索遗漏吗?
不能,它主要处理已经进入候选集合的资料。


