本地部署知识库系统04_接入本地模型推理平台

作者: 西佩特分类: 软件应用 发布时间: 2024-04-15 20:25:44 浏览:2177 次

本地部署知识库系统04_接入本地模型推理平台

优比莲:
为什么我的模型 model="Publisher/Repository", 然后怎么都配不通,提示:undefined 无效的令牌

带大白的呀:
老师,能不能把lm studio中模型说出的话导出到GSV里面合成人声,我是小白求教

kiss小吴丶:
修改config.json用的什么软件呐,我打不开这个文件

【回复】回复 @西佩特 :哥,能推荐一个嘛?
【回复】文本编辑软件都可以打开的。
ppl2022:
做了几种本地知识库,回答的都不准确

【回复】跟向量方式,大模型都有关系吧,具体还得慢慢自己调
【回复】我用了llama3和qwen本地部署,还不如上传到kimi准确。qwen搜不到知识库的东西,得自己分割标识,都不如关键词搜索。llama3不用自己怎么分割,但是这个老六居然造假,乱编数据,无中生有。
余悸gjf:
有没有部署前端的教程,就是页面自己重构

Always小科:
弱弱问下,可以出期教程,怎么接入微信用户做聊天机器人么?

Cassie_xc:
fastgpt4.7.1有语音输入了,求教程,有开关没法用

【回复】可以使用,需要支持ASR及TTS的模型
【回复】回复 @Cassie_xc : 语音输入需要模型支持,qwen1.5 32b的模型不支持语音。要想语音,可以:1.用支持语音的api,比如openai,或者自己部署whisper。
【回复】回复 @西佩特 : 义父,终于有人可以理我了,该怎么操作呢?求求了,是改config里的什么吗? 或者哪个模型支持tts?
学为乐:
可以付费指导下fastgpt本地部署吗?我自己摸索有些不明白的地方,两个星期了没跑通[笑哭]

【回复】你卡在哪了,up主的教程挺完整的了。
【回复】的确是有点难度,我也花了好几天去搞,看了各种视频,各种尝试,但摸清了就很简单,部署这个项目,配置信息齐全直接拉取就可以运行了,配制好的话,部署一套完整的,只需要docker-compose down -v docker-compose pull docker-compose up -d就基本可以用了,各项都连通,包括重排模型都可以设置好,直接拉取,直接用。前提是你要熟悉配置信息,重排还是这几天看了UP的视频,然后把端口改成6300才成功,之前6008无法运行,真是气死人了
【回复】回复 @NickYip : 已经顺利用LM Studio跑通了[呲牙]
wangjlle:
你好,我有时候电脑重启之后应用知识库和渠道所有东西都没有了全部要重新新建是什么情况呢,感谢

虎纹大大鲨鱼:
up有在生活中用这个么?帮助大么?个人之前用过感觉没啥大用[笑哭]

【回复】重点不是在折腾的过程吗?[脱单doge]

教程 本地部署 FastGPT RAG 私有化 部署 docker 知识库 LLM ONEAPI

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

更多相关阅读