中国大模型最大的敌人-模型坍塌

Mc老古:
对对对，我一开始要买个鼠标，一进京东它自动推荐，等我买了以后，它还给我推荐鼠标。

【回复】完全无法理解为什么购物平台会给用户推荐他购买过的商品
【回复】回复 @注水的矿工 :所以不太能理解那些说大数据多牛批的人的想法。
【回复】亚马逊的也挺搞，一般买东西亚马逊会推荐配套产品一起购买，但就是那一套算法很不智能[笑哭]我买个床架，他的推荐一起购买产品是另外两个造型不同的床架，我一口气买那么多床架干什么
失控扳机:
意思就是无论你说啥我都“啊对对对”，数据库失去了针对不同对象的回应，就像一个函数的结果全是常数？

Phnoll:
本质上是不是就是train完更多data带来的performance反而下降了

【回复】国内搞大模型所需的数据采集被限制了，不能像国外厂商那样直接到处爬数据，数据量不够这训出来的自然就….. 不过缺高性能显卡也是真的。
【回复】比方说我们发表在bilibili的评论，没有监管机构同意和bilibili配合，他就不能用（否则有无法获批发布大模型的风险），但是国外的厂商就直接上爬虫爬走用了，大家也很难举证你这个语料到底哪里来的。
【回复】回复 @特斯拉品牌安全 :人家肯不肯卖还两说，伦理风险也非常大。万一数据提供方的数据采集方式被曝出来不合规，外媒会第一时间把舆论引导到使用相关数据的国内团队上。
Akira0803:
简单来说 就是： “今天终于更新我喜欢的人物池了” “玩原神玩的” “大卫科波菲尔为什么寄宿在米考伯夫妇的家中？” “玩原神玩的”

【回复】你说的对，但是典孝急乐懂原蚌润麻赢😋🤓😅🤣👉😡😭😤😎🤗😢😀😂😆 在这样的大环境下训练出的AI，也只会说这些毫无逻辑的用语，解决不了实际问题[微笑]
西城飞鹰:
我没有任何基础知识，我在举个例子不知道对不对： 第一次试验，用木棍重打一下，造成骨裂。 第二次试验，用铁棍轻打一下，造成骨裂。 因为造成的伤害相同，所以被打的人没有学到“铁棍比木棍杀伤力更大”这一个事实。 因此，这个试验是失败的。 如果第一次木棍造成骨裂，第二次铁棍造成骨折，试验才是成功的。

【回复】输入啥输出都是赢孝典[滑稽]机器学麻了
【回复】不恰当，视频里的情况是模型本身的缺陷，你这种是外部输入有问题。你这铁棍打出了和木棍一样的威力，更类似于数据投毒
【回复】没错，前面几个还没你听得懂。[妙啊]
钰中那珂:
评论者作评论->“乐” 评论者讲道理->“乐” 评论者急眼了->“乐” 语言大模型：“乐乐乐乐乐乐乐”

【回复】《论人类的口癖对语言分析模型的影响》
权槐SxE:
让我们看看训练集里有些什么东西： 开通vip下载此文章[doge]

【回复】CTRL c.源头一篇文章。 CTRL v.抄袭的十几篇衍生文章。[撇嘴]
行不更名屈耀鑫:
我是山东农业大学新农科实验班的学生，请问这就是农学和信息科学的结合吗？

【回复】回复 @行不更名屈耀鑫 :上面两个太有幽默感了[笑哭]
【回复】难绷。你如果真提问，那你可以理解为他在举例，跟农学没关系。但我觉得你好像在反串
AAAAeray:
为啥在中文数据上这个问题更严重呢？

【回复】你问ai最有名的电影演员有些谁，他说佛波了，卡拉米和小美。这样的ai怎么用[滑稽]
【回复】中文互联网太多垃圾重复信息了 你去百度搜个问题跳出来几个网站里面的内容都是一样的
【回复】玩梗玩太多了，什么数据输入，输出都是那几个梗，还训练什么
Victor_Cao_:
人工智能的本质就是从样本数据去找关系，打个简单的比方，最简单的机器学习，回归预测房子价格，我们不用电脑，直觉也知道房子的面积，地理位置，建造年份，设计风格等等等会影响房价，这些是我们的经验，是人类大脑学习到的，而小宝宝就不会知道，电脑就像小宝宝，你就给它说看，这栋房子地理位置在这，房子大小这样，楼层高这么多，等等等，价格大概这么多，然后你就给他看差不多的房子，或者一类型的房子，就会导致他其他的啥也不会

【回复】回复 @风吹杨柳起 :大模型只需要学习事物间的联系和语言关系。这和小娃娃学语言一样，先建立事物关系，把视觉/嗅觉/触觉与对应的词建立关系，然后再把词组成句子。 所以数据相似其实无所谓。只要语句里面词语关系和顺序能覆盖日常语言范围，并且事物/物品足够丰富，那建立一个能用的语言模型应该是没问题的。现在应该是数据喂的先后顺序没太掌握，还有核心的训练反馈方程可能不太行，最后就是算力不够。
【回复】回复 @一万年太长_只争朝夕_ :这可不是过拟合哥们
【回复】没有一个算法可以拟合所有类型数据，所以这就是一个研究方向，对于算法和泛化能力来说，他们处理的数据类型越多当然越好，这也就能产生很多篇论文😵‍💫
泓湖良木:
嗯 我这样理解对不对， 第一铲子我们学到了铲玉米过程中玉米的自由落体规律以及在玉米堆里滚落的规律。 即使第二铲和第一铲一样，但由于数据源不同(玉米堆变化)，所以即使最后滚落位置不同，但自由落体和滚动规律也是完全符合第一铲的数据。 在反复多次的铲玉米后，所谓发展也只能做到自由落体和滚动规律的精密计算，但除此之外再无其他。 如果有一天，有一铲玉米使得玉米堆“坍塌”了，而我们没有任何相应的科学准备。那对之前投入的来说，是一种毁灭打击。

【回复】算法是根据你提供的训练集数据来计算这些数据的特征最终得出一个整体的算法模型这么个过程，那么当你想做差异化训练的时候，一般做法是使用拥有不同特征的数据集去训练原来的模型，使模型达到你想要的差异化效果。但是现在的问题是大模型的数据量太大了，当做差异化训教时，数据集的量不够多，算法模型没办法在原有的特征上进一步的分析出你所需差异化的特征，导致差异化训教效果差甚至没效果。（我的用词表达可能不太严谨）
【回复】你没看懂。本质是因为第一铲和第二铲是一样的东西。 你再悟悟。
【回复】回复 @丷冰糖炖雪梨 :好比小孩学说话。他得先把事物对应到视觉/触觉/嗅觉/味道上，然后把语句里的词语关系对照后，才能开始把事物塞到一句话里[doge]
邪恶的小怪兽8号:
出现这种问题就改损失函数，而且模型参数肯定不够，加就完了[吃瓜]

【回复】学几个名词就开始乱扯，数据相关性太大了，导致提取的特征表示很相近，相当于学不到东西。损失函数是通过训练输出的结果和真实值相比的误差度量，和特征提取半毛关系都没有[大笑]