【进阶RAG】带你深入了解Rerank模型的原理与使用

作者: 果粒奶优有果粒分类: 计算机技术 发布时间: 2024-05-05 22:06:01 浏览:2319 次

【进阶RAG】带你深入了解Rerank模型的原理与使用

天境的江阿牛:
假设没有事先对文档库进行向量化,用embedding并不会节约时间。那么理论上是不是只需要用rerank直接筛选top n就可以了?

【回复】回复 @天境的江阿牛 :主要还是速度问题?
【回复】回复 @TarnishedSama :道理当然懂,但有些时候不是能实现embedding的……比如通过google search拿到的东西,这种情况下,是不是rerank更好呢?
【回复】比如你1w条数据 你如果每轮都rerank不是慢死 但是你先embedding后后续你可能只要和检索出的100条去做rerank
jansennnn:
up llamaindex finetune embedding 记得更一下[吃瓜]

【回复】回复 @jansennnn :在Mac上用llama-index加载embedding模型会报错,Github好几个同样报错的issue,没人处理。
【回复】回复 @天境的江阿牛 : bug还好吧,就是他全都是针对英文做的,对中文数据不太适配
【回复】llama index bug好多……感觉这个库要废了[笑哭]
Hjjlbj:
代码好像没有更新啊[大哭][大哭][大哭]

【回复】回复 @果粒奶优有果粒 :好的
【回复】忘记了......晚上我更新吧

AI 人工智能 Embedding Langchain 知识检索增强 reranker RAG OpenAI 大模型 nlp

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!