(TrueNAS自爆指南)想用TrueNAS实现RDMA?那就用Ksmbd

作者: 总想搞点奇怪的分类: 计算机技术 发布时间: 2024-01-08 11:20:02 浏览:6507 次

(TrueNAS自爆指南)想用TrueNAS实现RDMA?那就用Ksmbd

-老湿基-:
[吃瓜]truenas社区基本一致认为truenas是个存储应用,开箱即用,不应该做任何命令行操作或自定义配置。我当时想用ffmpeg,但是缺了一个so库,s发了个帖子,结果社区一致反对我[笑哭]批评我打开apt可执行权限。

【回复】回复 @总想搞点奇怪的 : 你别说,当年我遇到freeBSD驱动问题,跑社区去问有没有办法想linux那样可以查系统的驱动版本号,结果全是在回复我:不需要查,freeBSD是一个完整系统,驱动都是好的,把我整无语了,后来直接给intel发email人家直接第二天就给网站上的开源驱动更新了,我又好了, 真是笑死。[笑哭]
【回复】不如说背后的iX过于保守,经典zfs下大容量ecc论。当然这种思考模式的背后是以数据安全为最高优先级。
夹了B海盗:
你没搞明白linux包的依赖关系,你装ksmdb,会卸载samba包,这俩包是冲突的,然后truenas很多的功能包又依赖samba包,samba被卸了,这些依赖samba包也会被卸,然后你的truenas就没了

【回复】你想用ksmdb,可以下载remove的那几个包的源码包,去掉他们truenas-samba这个安装依赖,就可以在卸载truenas-samba后保证其他包不被卸载,但是这样truenas界面的samba功能肯定也是不能用了
【回复】回复 @夹了B海盗 : provides是dpkg的一个功能啊。冒充某个包
【回复】回复 @julyclyde : 啊?啥意思,没明白
Qiawabor:
看了标题,我TRUEnas都装完了,点进来给我看这个?[笑哭][笑哭]

c4p1:
ksmbd 评论 我是把 PVE+ZFS 用作 NAS 宿主系统的用户,用这个方案用一个目的就是为了 ksmbd,然而即使到了 PVE 8.1,Linux Kernel 6.5 下 ksmbd 依然存在各种问题。即使是用 dkms 安装最新的 ksmbd 也还是有问题。 列举一些注意事项和问题: 1. 不能使用 Mellanox OFED 驱动,必须使用 Linux 内核驱动,否则会导致 RDMA 不兼容而无法启动 ksmbd 2. 要禁止 client 使用 SMB 1,否则目录 list 操作会很慢,比如 iOS 上的 VLC 有这个问题 3. 部分软件无法访问 ksmbd share 目录,例如傲梅轻松备份 4. 为了 debug 问题 3,开 debug 日志会导致 kernel panic。但这个问题只在 ZFS 为底层文件系统上出现,尝试用 Arch 虚拟机用最新内核时无法复现。尝试过在 PVE 上开 kdump 来抓 kernel stack trace,可能因为使用 ZFS 的原因,无法成功抓到,最终作罢 5. Windows 11 专业版不支持 SMB Direct,即使在可选功能中有这个选项,我被这个误导过,wireshark 挂包加改代码,最后发现必须要专业工作站版就支持了 如果忽略问题 3,那大多数时候还是能正常使用的。但最后我还是放弃了,先用回 samba,开 io_uring。我的应用简单用 samba 性能也完全足够了,弄 RDMA 更多为了探索。

【回复】我想问下,关于5,用Windows和linux-ksmbd成功创建过SMB-Direct吗?
利用纸:
哎,看来要彻底放弃truenas用rdma了[笑哭],继续用winserver吧

【回复】Win server现在越来越适合做nas了
【回复】回复 @八一吉运 :最好不要开hyperv,开了之后会大幅度降低硬盘4k性能[笑哭]
【回复】SMB Direct好用就只有WinServer,除非你说你不用SMB了。 如果既要RDMA,又要TrueNAS,要不你Hyper- V里装一个,然后iSCSI挂回WinServer呗。
s-nnh:
我就用命令行,然后不知道怎么回事,系统就崩了,好在数据没事,后来还是全盘迁移到win server,感觉truenas还是更适合用在配置好就不再碰它的生产环境当一个纯粹的存储,不那么适合个人玩家

芝士炸只因:
感觉是truenas的问题,我ubuntu/debian安装ksmbd没这问题[doge]

Hsssssss-:
期待一期在Linux下成功开启smb direct的视频

AndyA8:
我只有一台小主机但是得用软路由,还得用NAS装个啥系统哇?不想PVE怕炸光用trueNAS能实现吗?

【回复】回复 @AUKCL :另外,即便是玩all in one,我也不推荐将软路由集成进去,这不是性能的问题,网络这一块影响巨大,一旦在调试的时候玩崩了,影响家人用网,你不能几分钟之内恢复的话,绝对会被抱怨,想想爸妈看电视看一半就断了[doge] 或者你的软路由仅作为旁路由使用,且主路由的网关不要指向旁路由,需要使用旁路由的设备全部手动修改网关,虽然麻烦点,但一定不会影响家人[OK]
【回复】说实话truenas的虚拟机也好,docker也好,都不好用,他作为独立的存储服务器是非常好用的,但要玩all in one还是不可能和esxi、pve这类专门的虚拟化系统竞争,all in one容易炸的根本原因是半桶水,配置不完善,没有考虑好突发情况下的应急机制,比如断电之后重启,各个服务之间的依赖顺序,如果用UPS搭配脚本的话,可以做的非常的稳定
【回复】回复 @总想搞点奇怪的 :看来也是经历过的,哈哈哈[吃瓜]
電気御手:
如果非要用开源方案我更倾向ovm,不挑发行版,依赖关系写的也比较好切到ksmbd,还给我最喜欢的snapraid写了webui的插件(我不需要阵列,我只需要校验),大不了多装一个kvm,然后把存储用virtio串起来,哪怕是truenas scale的虚拟机限制也太多了

【回复】omv确实比较轻量化,还有arm版
HarukaKaede:
[吃瓜]我都是make&&make install&&modprobe ksmbd

图山鸽献图:
感觉在包管理上pve也半斤八两,虽然默认能用apt,但是偶尔就会遇到个会把pve干掉的包[笑哭]

宇佐见新子-Shinko:
从Ture nas CORE转到SCALE问题一大堆,尤其是网卡,网卡没什么事,有时候用着用着网卡灯就不亮了,网卡就用不了了,后台无法访问了,这真的神奇,我主板是X99

NAS TrueNAS RoCEv2 存储 linux RDMA 全闪 debian 万兆 数码大杂烩

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!

更多相关阅读