【 Ollama + Open webui 】 这应该是目前最有前途的大语言LLM模型的本地部署方法了。提升工作效率必备！_ Llama2 _ Gemma _

科技狂热粉:
前前后后夜以继日弄了两天，尝试了anythingllm搭配lllama3和千问7b，尝试了webui搭配这俩，还尝试了maxkb，总结：本地部署这种小模型搭配知识库非常鸡肋，不足以成为生产力。而且，各个应用存在各种各样的问题，各种各样的坑。不搭配知识库，这些模型只能满足很基本的问答，真正要解决问题根本解决不了，过程中尝试千问阿里官网模型比这些好用太多，可以协助解决问题，但是文档内容解析问答依旧鸡肋，最好用的还是gpt4，别问为什么，因为花钱了。 总结：都是垃圾，千万别弄，浪费时间。

【回复】10B一下只能做翻译或者简单的知识问答，20B才会说话，30B稍微有条理，70B偶尔能给你点惊喜，120B比较接近在线模型但是本地基本已经卡到像是在写信一样等待了。我是7950X3D+7900XTX+2*48g内存。跑Q4KM.GGUF的模型，你可以试试跑大模型的Q2KS量化，也比小模型的完整版强
【回复】那么，请教一下，我有 大概 300 个，合计超过 3 万页的技术文档，想自己搭建一个知识库，方便用自然语言查询，最便宜的方案是啥，可以花钱和梯子
【回复】基本接近的只能是anytingLLM结合LMstudio和ollama，LM加载大模型，ollama加载embed模型，去对文档（小稳当，大了不行，我的垃圾机器跑三体小说的就不行）做向量化处理变更成向量知识库，记得选DB库，只有这样才能稍微准确一点。当然比起chatgpt这种巨人还是差很远，做个什么简单的客服，还是没有问题。
微光失色if:
一个主机开启ollama，我用 OLLAMA_HOST=0.0.0.0:11434 ollama serve开的。另一个主机按照官网：docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://127.0.0.1:11434/ -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main；还是访问不到另一个主机的ollama

【回复】你的docker主机run配置要写你的ollama主机IP，即http://127.0.0.1:11434 换成 http://ollamaIP:11434
【回复】不在一个主机内怎么能用localhost，换成那个主机的ip试试？
【回复】回复 @FelixO_o :我也报这个。我后面用内网穿透弄的。估计是ollama那边没后弄出来
清羽柳:
基本接近的只能是anytingLLM结合LMstudio和ollama，LM加载大模型，ollama加载embed模型，去对文档（小稳当，大了不行，我的垃圾机器跑三体小说的就不行）做向量化处理变更成向量知识库，记得选DB库，只有这样才能稍微准确一点。当然比起chatgpt这种巨人还是差很远，做个什么简单的客服，还是没有问题。

【回复】回复 @辛苦毕业的小罗 : RAG的教材很多，实验下来chatollama做前端比较好，后台跑大模型基座用LMstudio，ollama加载embedding向量模型，对自己文本文档向量化切片存储（因为我的垃圾机器居然可以用这种跑完三体完整版pdf生成向量知识库）
【回复】回复 @辛苦毕业的小罗 : 微调大模型，要搜集很多素材，在按切片输入输出格式以json文件喂给大模型，很麻烦，我们这种业余的就算了
【回复】您好，请问您能出一期相关的教程吗？或者给一下现有教程的网址吗？我很想学习构建语义数据库，非常感谢。
Cooooof:
大佬，按照步骤设置了环境变量，为什么模型没有下载到指定文件夹？

【回复】地址改成X:\ollama\models试一下，自己创建这两个文件夹，然后指定这个路径应该就行了
bili_13903767024:
我用linux部署的ollama 下载了模式，但是docker 部署了open-webui 找不到ollama下载的模型是怎么回事儿？

【回复】那个ollama base url路径要修改，cmd里面用ipconfig/all看wsl的IP地址，加上：11434才能被open webui访问到
动动是大魔王:
三连支持了，up请问我32g内存，1060显卡8g，用那个模型好。

【回复】1060 也出魔改8g的卡了吗？
【回复】phi3，别的跑不太动[doge]
New-J:
为什么我下载docker后，点开进入后显示Docker Engine stopped？

Glowzz:
open webui不能显示到底引用了文档里面的哪些片段，看起来不是很靠谱

【回复】回复 @bili_13903767024 : 端口或host没填对，连接ollama server的地址改为http://host.docker.internal:11434
【回复】我用docker 部署了open webui，怎么不显示我在ollama下载的模型呢，并且提示连接不上ollama服务
【回复】回复 @沧海戏蜉蝣 : 显卡驱动？你确定不能拉动GPU占用率那个选择条？
看着你装啥:
docker desktop没有下载路径了，有上传百度网盘的分享一下吗？

佐小不然:
大佬，为什么总提示这个，怎么解决的啊？

【回复】回复 @duolaxiaozi :大佬，我开了魔法，还是不行，咋办啊[大哭]
【回复】回复 @duolaxiaozi :哦，开启魔法试一下，谢谢大佬
monbai:
不如搜索引擎吧，想象力有限，准确度差

DDaiSpring:
怎么设置gpu运行，nvidia container那里有点看不懂

夫子AIGC:
为啥设置完大模型位置没有到咱设置的位置