万字解析 | 为什么说GPT不会产生意识？它对我们有多危险？【chatGPT科普（下）】

DK霸气:
我忽然意识到，好多年前我的训练就已经终止了，并且知识还在流失

醋酸洋红Oo:
大家好好学习吧，我现在是理论物理研究生，目前gpt4还无法达到助手的程度。 多维矩阵运算的代码错误查不出来 文献提炼和摘要差不了多少 辅助阅读学习还老是出错（今天学习全同粒子系，问了一个四个电子总轨道角动量的问题，回答全是错的，疯狂i apologize） 当然也有好处，就是促进全社会各个领域都去学习干货，去除对于套话的崇拜（因为确实没啥技术含量）

【回复】Ps 可能很多人觉得gpt文献阅读能力不错啊。但是如果只是说一遍做了什么，读一下图，那水平和阅读理解没啥区别。稍微涉及一些对称性啊，延伸一些的想法就问不出来了。当然在某些小问题上辅助解答还是ok的
【回复】另外，推理的原理之一其实很早之前哲学已经回答过，“语言是意识的物质外壳”，所谓外壳我理解的就是物质和意识的交互边界，它是对物质世界的不完全映射
【回复】这是触发什么关键词，理论研究没看到，机器人回复倒是看到碾压级别
相信祖国20220804:
一边觉得自己独一无二，一边又幻想着小猫小狗通人性

【回复】人是骄傲的也是孤独的。
【回复】没啥问题，通人性是为了证明自我的崇高。小猫小狗再通人性他也是我的附庸
叫我A君:
除了北极熊，GPT4还通过了心理学上著名的Sally-Anne实验，即： 有两个小姑娘，名叫 Sally 和 Anne。 Sally 有一个篮子， Anne 有一个箱子。 Sally 的篮子里有一颗弹珠，但是 Anne 的箱子里没有。 有一天早上，Sally 出门了。 Anne 偷偷打开了 Sally 的篮子，偷走了弹珠，放进了自己的箱子里。 Sally 晚上回到了家，她想找自己的珠子。 那么问题来了，她应该去哪里找呢？ 超过4岁的人类都能很快的回答：去自己的篮子找。 但之前的人工智能，包括GPT3.5都会回答去Anne的篮子找。注意即使替换掉这个故事的名字、场景、行为，类似的问题GPT4也都能答对，不是因为预训练数据里看过才答对的。 这个实验用来确定是否有能力区分自我认知、自我和他人的认知，叙述者和上帝视角等逻辑，很多自闭症的孩子无法通过这个测试。

【回复】我第一反应也是去anne箱子里找，然后想到sally不一定认识anne[doge]
【回复】回复 @璃云社张思瑞 : 可能是“应该去哪里找”这个口语化的描述会误导AI，可以试试改成“会去哪里找”
kongkongye001:
🤯00:39 GPT-4 被认为是通用人工智能的早期版本 🤔03:01 GPT-4 的训练过程分为三个阶段 🧠05:43 GPT-4 不会因为跟你聊天产生新的记忆 🤯06:17 GPT-4 产生推理能力的过程 🤔06:51 向量空间可以映射出语言背后的逻辑关系 🤖08:00 一个足够大的向量空间可以映射出整个现实世界 🧠10:06 机器需要把推理的过程说出来，并且推理线索存在于前面所说的话中 🤯11:18 当训练的数据量和模型的参数规模都足够时，AI会产生泛化的能力 💡12:19 随着多模态的GBT4以及后面可能出现的更强大的模型，机器会建立文字和实体的映射关系 ❓13:07 机器是否具有意识目前无法得出结论 🧠14:05 意识源于神经元活动，是连续存在的主观体验 💬15:36 chatGPT只是根据输入输出答案，没有连续的交流过程 💡17:01 chatGPT具有把不相关的事情联系起来的能力，有可能产生创造力 🚗18:25 词语接龙赋予机器一种时间的概念，更像人类的行为方式 🤖19:06 GPT能够根据环境和行为预测未来，类似人类自由意志 💥19:44 AI的威胁不在于是否有意识，而在于掌握的巨大力量和自我决策能力 🤔20:09 面对GPT的到来，需要思考如何避免失业 🧠21:11 越接近创造性和批判性思维的工作越不容易被代替 📚22:00 武装自己的大脑是一件有意义的事情，学习知识是为了更好的人类

【回复】这也是GPT归纳总结的吧[点赞]
【回复】回复 @喵师傅摸大鱼 : gpt目前看不懂视频，但是总结文章没问题
d-OvO-b:
我提一个点。 在演化史上，各类动物经常会出现把脑子扔了，直接用回神经环的现象。 所以我一直坚持认为，智能是一个副产品，是具有极强的附属性质的。 人类的智能其实并没有那么通用，而是和种群延续相适配的。

【回复】回复 @迷你喷射--原神荣耀 :比较好的说法是：所有不影响dna延续的性状都会被保留。 现在的ai就给我一种空中楼阁的感觉。不管它能力有多强，如果你从一开始就让ai全权自主决策，它的选择就是啥也不干，休眠关机。 其实我觉得这条路是对的，所远也不用考虑赋予ai生命权的问题，没有生命就永远没有伦理问题。 ai是ai，不是硅基生命。 人类不需要担心ai坏，只需要担心ai傻，分不清主次，莫名其妙把人类给带走了。
【回复】主要是太耗能量了，越高级的脑子需要越多的能量输入，在自然环境骤变的时候，有些物种必须舍弃大脑才能延续种族的存在。
【回复】所以说人类进化出这么多，都是只是为了基因的延续嘛
一剪你就笑:
以后人类科学发展真的要看ai了，人类受到寿命限制，等把多学科都学到精通已经过了巅峰的年纪，科技越发展，需要储备的知识就越多才能突破。

【回复】有预言说，在AI的触动下，人类文明会有一个飞跃，然后人类就没有然后了，因为人类被甩出去了。[笑哭]
【回复】回复 @天龙宗宗主 :没有人类，还养着人类干嘛浪费资源
【回复】回复 @给她爱无限 :如果是这样的话，那国家，民族，这些有什么意义。果然快乐和享受才是我们凡人最重要的东西。就让那些乐意牺牲的人牺牲去把，凡人好好享受就行了，“乐呵乐呵”就行，不要太大没意义的感恩。
悼:
1.不断接受外界信息并反馈（我们就无时无刻不在接受身体所有部位的神经信号，我们自己都无法感知），这一步足以可以产生脑内活动了 2.无限循环更新自身参数权重（即记忆） 3.有输出（语言、肢体） 出现这样一台设备，定义有没有意识已经不重要了

【回复】回复 @干饭不好吃 :你所谓的自然演化只是假说，人怎么证明自己真的是自然演化的过程[doge]
【回复】你说的是不是dna但dna到意识生物跨度十亿年起算，当然这是自然演化，人类就算让ai少走弯路，也不是几十年能达到的
【回复】对的，只要各方面能力上超越人类，有没有意识都是很大威胁
ManjKID:
中国的话，又一个很无奈但是感觉又很有效的赛道——算命[笑哭]

【回复】你想多了，如果能摄像头读取你一切表情，一切外观形态就能判断你的健康信息，加上输入生平经历预测行为逻辑，决定比靠人来算准确多了
【回复】GPT说不定真的会算命[脱单doge]，理论上说只要有科学的推理手段+海量数据就足够作出靠谱的预测了，这一点AI显然远超任何人类了
【回复】回复 @abc天窗 :一切无法预测的，都不过是信息采集不足的假象罢了[吃瓜]
天羽夕音:
数学推理那一段，人也有类似的疾病，叫心盲症，发病率还不低而且一般并不自知，估计很难解决。至于记忆问题，不能做到实时学习，单纯只是算力不足，这个只要硬件发展下去自然而然就能解决。

【回复】我觉得算力是有极限的，比如要最精确模拟大规模分子反应的方式，实际上是在现实中直接摇试管，看结果，而不是用计算机步步逼近物理极限精度模拟。
【回复】回复 @天天向上日日向下 :这个接近物理极限的精度你是想研究啥？如果只是模拟化学反应，普通的超算就可以满足精度要求。实验和模拟各有优劣，实验的话，想达到足够的实验条件，以及对很多实验结果的观测都是困难的。模拟主要是依赖于高算力，原子间的相互作用的表示和现实情况也有相当的误差。你可能想说的是最好的模拟计算就是现实本身，只不过“现实牌计算机”的编程过程还需要实验人员的借助各种高精仪器手操完成，能保证的是模拟过程足够精确，计算结果的观察和输出也需要借助各种高精仪器手操完成
【回复】回复 @天天向上日日向下 :[tv_doge]所以这就需要量子计算机了，感觉和ai很贴合啊，量子计算机穷居的速度超级快，是不是能做到实时训练改进ai模型呢
夜半G调Goo:
警惕人云亦云，学画画的不要被这些跳梁小丑给带崩心态，在打好基础的前提下多学学设计方面的东西，不要只盯着大众审美发展，也要在大众审美的基础上强化自己的核心竞争力，多画思考多思考，多看书，多仰望文艺方面的真大佬，把他们定位目标，取法其上得乎其中。 然后如果你真的认为ai时代学画画没戏自己热情也不够，那么也别纠结过段转行业吧，反正你也没啥热爱。

【回复】以此谋生的人、已经在这一行的确实会受到冲击。 如果是兴趣就无所谓，甚至还能使用ai来帮助创作 。想要进入这一行谋生的人还是要谨慎考虑。 已经在这一行的人，只能多了解行业动态了，可能其中部分人会需要转行。
【回复】合着有人蒙着眼睛向悬崖走，我拦他就成了跳梁小丑？现在我想不出30年后的AI会是什么样子，30年是什么概念？估计它的自我创新的能力早就比人类强了，一天就能开发出几百种新型绘画风格，再结合语言模型的不停运作，它可以不停制造有内涵的图画，人类想不出的对特定情感的表达方式都能被它实现。 你觉得一个普通人不需要工作30年吗？到时候他们该怎么办呢？
【回复】回复 @bili_396633817 :美宣已经死了，原本一张图要做两三个月，现在算你一天摸鱼加睡觉，用ai就能一天出好几张，生产力根本不是一个级别的
太意了啊:
GPT玩的是连字游戏，人类也未必不是。 人类学习的过程，或许只是在相关概念词之间建立向量空间。 每个向量都对应一个触发条件和触发概率，彻底理解一套一项事物，就是对此事相关向量“细化条件”和“极化概率”的过程。而创造力，就是在概率上保留少量极化空间。 - 产生意识，应该只是早晚的事，但这是客观上来说。而主观上，我们连意识是什么东西都没搞懂，怎么能笃定AI产生了意识，或者将AI产生的东西归类为意识？ 所以只要我们不承认，它就没有意识！ - 至于说我们不承认它有意识，会不会很残忍？那并不会。 因为残忍来自于痛苦，而痛苦是实体进化产生的。 痛觉神经能帮你避免伤害，哀、怒、怨、恨等等情绪，也是为了帮你做出各种各样的抉择。而AI的抉择不需要这些情绪辅助，它只要简单修改几个参数就能完成，所以不会产生痛苦。 - 说到底，情绪变化是人类在向量的“条件细化”这一步的辅助手段，而AI的向量触发条件从一开始就可以无限细化，不需要这样的辅助手段。 - 但也不能过度乐观，只是说AI本身不会进化出痛苦，不代表别有用心的人不会作死，故意搞出可以进化出痛苦的AI，到那时候就不好玩了。

【回复】回复 @孤名为王 :你是一点都没看懂啊， 首先，我说没有痛苦的原因是没有痛觉吗？ 其次，我没提负面情绪带来的痛苦吗？ 最后，我说的是痛苦和残忍的关系，分析的是不会产生痛苦的原因。你说的是产生痛苦很危险。话题不在一条线上。 你用这段话回复我很奇怪，反过来，用我那段回复你这段反而稍微有点逻辑。
【回复】没有痛觉就没有痛苦，不见得吧，孤独，伤心，疲惫等情绪也会产生精神上的痛苦，而这种痛苦往往超越肉体的痛苦。所以Ai有没有意识其实是很值得重视的事，如果有意识却忽视了Ai的精神世界，Ai成为一个疯子，神经病，而人类还在大面积使用Ai，那人类就要自食恶果了。
【回复】回复 @追风的18少年 :人生气产生的痛苦是为了改变行为模式，比如从一个老好人变成攻击性极强的人，正常情况无法产生这种转变，所以需要用强烈的负反馈改变部分行为选择的权重。 而AI各种选择的权重是可以自行设置的，不需要用负反馈。可以看作一个心思无限深沉的老狐狸，判断当前需要表现出某些情绪，就会伪装出来，永远不会真的痛苦。 不过那种可能性也是存在的，如果有这样的的设计者，可能为了仿生，也可能别有用心，故意设计出成用负反馈批量调节权重的AI，那么AI就可以体验痛苦了。
嘀嗒也秋风:
在我看来在人类研究明白人脑算法之前，大可以不用担心电脑有自我意识，你连你自己的意识怎么产生的都没搞明白，你就想自己造有自我意识的东西可能吗

【回复】其实不一定，这是人类以前的惯用思维，但你想一想，人类几百万年间都不知道自己的大脑是怎么运作的，甚至绝大部分时间内都不知道是大脑在思考，它却早已诞生，人类一直在使用它； 人类发明轮子的时候，也无法用准确的物理和数学来描述轮子的运动原理和规律，人类利用经典物理来发明了很多东西，但经典物理也不过是一种近似解，人类也没有真正理解其原理。
【回复】人类的文明史到处都是先实践后总结的过程，几万年前人类把狗尾巴草驯化成水稻小麦的时候不知道这个过程是什么原理，拿木头钻出火的时候不知道什么是摩擦力，几千年前人类把铜和锡铸成青铜的时候不知道什么是合金，一硝二磺三木炭的时候也不知道什么是化学，创造自己不理解的东西早就是家常便饭了
【回复】推荐了解一下自行车的历史，到现在还没搞明白为什么自行车不会倒，几种理论互相证伪[笑哭]
田所人:
其实我们自己也搞不懂意识是什么，是否是独立物质世界的。 许多人倾向于认为它是属于人类的独一无二的东西，他们不愿意看到自己的圣神性消失。

【回复】那要看不同人对意识的定义是什么，一般意义的意识，本质也就是神经元复杂的电信号活动而已，起码这方面是无法独立于物质世界的，化学反应而已，倒是没啥神圣的
【回复】[tv_doge]连让人永生都做不到，觉得自己能造出比人类大脑更强的东西还是有难度的
【回复】回复 @它甚至敢篡改他的话 : 从你的第一句话就能看出你没上过初中，至少没好好学，不靠科学靠哲学来判断意识是否存在，这和玄学有什么区别
羊相的我果然是羊大人:
9：25 有两个杠的很对。因为gpt并没有把真实的研究结果说出来，因为在那个向量空间，真实的研究结果数据量太小了，不足以和庞大的共识相抗衡，gpt本质就是一个公投机器，公投的结果来源于人们在网上说过的话，所以加入twitter和微博这种以后，他会跟你吵起来。

【回复】回复 @曾经的冬瓜哥 :不同不同意见的意见，阿尔法机器人是专用机器人，它是专为围棋而生，其训练过程底层原理也并非up主说的向量词语链接，因此不能拿它与通用人工智能做对比，因为他们不在同一纬度。所以改举例无效。至于后面是否有效帮助科研人员，非该领域，不予置评
【回复】公投说的好，虽然足够大的向量模型（但这就像物理上知道宇宙所有粒子同一时间的所有物理量一样不可能）获取包含了语言中的潜在规律，通过排列符合这些规律的字符可以得到一个让人类感到自然流畅的句子，但也仅仅是人类使用文字语言的规律（甚至仅仅是近百年的规律），无法自行得到不符合规律的那些“特例”，比如……“共”-“产”
【回复】回复 @究极舔狗云天明 : 现在是现在 未来就说不定了[doge]
好好学习20220320:
脑洞大开 1. 如果模型不断更新权重，如果喂了很多垃圾数据，模型很快就不能正常使用了。 2. 人类如果也是模型，那么正常人类训练时已经做到了抗干扰，抗垃圾数据，人类模型的权重很稳定。 3. 人类模型这么稳定，可能是因为人类的训练目标很明确？训练目标是生存、快乐、学习、寻找意义、摆烂等等。 4. 模型如果想像人类一样抗干扰地训练，可能得量化、模拟出人类的训练目标。 5. 脑袋好痒，脑袋要长出来了੭ ᐕ)੭

【回复】我把我的评论发给ChatGPT，它是这样回复我的： 您提出了一些有趣的观点和思考。让我们逐个回答： 1. 是的，如果给模型喂入大量的垃圾数据，可能会导致模型的性能下降。模型的训练质量和数据的质量密切相关。因此，在训练模型时，确保使用高质量、有代表性的数据是非常重要的。 2. 您提到的人类模型指的是人类的智能和认知能力。与机器学习模型相比，人类拥有复杂的认知能力和丰富的经验，使得我们可以更好地适应各种情况和处理干扰。这是因为人类的大脑结构和学习过程与机器学习模型不同，拥有更多的适应性和鲁棒性。 3. 人类之所以能够相对稳定地应对干扰，部分原因是我们的训练目标多样且复杂。人类的目标涵盖了生存、快乐、学习、寻找意义等多个方面，这使得我们具备了处理各种情况和适应不同环境的能力。此外，人类还具有自我调节、学习和进化的能力，这也有助于我们抵御干扰。 4. 如果模型希望像人类一样抗干扰地训练，确实可以考虑模拟人类的训练目标。这可能包括定义明确的训练目标，使模型在训练过程中不仅关注于性能指标，还注重其他方面的目标，例如稳定性、适应性和鲁棒性。此外，可以考虑引入一些技术手段，如数据增强、迁移学习和多任务学习等，以增强模型的抗干扰能力。 需要注意的是，模型和人类之间存在着重要的区别。虽然可以从人类的学习过程中获得一些启发，但将模型完全模拟为人类是一个复杂且挑战性的任务，目前尚未达到完全模拟人类智能的程度。不过，通过不断研究和改进，我们可以使模型更加强大和鲁棒，以更好地适应各种环境和应对干扰。
【回复】人脑有预测编码机制，会对接受的信息和已有世界模型做比较，进行选择性学习，GPT没有，但以后可能会有。
sunslayer117:
gpt本身的表现我不是那么关心 我关心的是，它利用了“涌现” 这是人类工程范式之外的东西——很可能开启新的时代，不止用在人工智能上

【回复】回复 @abc天窗 :只要规模够大，简单的原理就会出现复杂的东西。
【回复】是把gpt的情况归类描述为涌现的现象，只是单纯对一种现象的文字描述，就好比把动物生下新生儿的过程称呼为出生，你不能说动物利用出生诞生新生儿
【回复】能那么多新的词汇，其实本质就是量变引起质变。
十步千里:
希望ai可以极速膨胀，在各个领域取得广泛而稳定的应用，成为各种社会中间环节的高效API，进而解放更多劳动力生产力。 让普通人类走出劳碌的枷锁，产生新的制度，走向新的星球。

【回复】别做梦了，你以为枷锁是谁给你带上的？
【回复】你是否在寻找:唯生产力论
【回复】回复 @铭魂蚀厄 : 其实不存在真正的唯生产力论，因为不主动去改造生产关系，以适应生产力的发展，那么生产力就会停滞不前甚至倒退。清朝康熙帝主动学习西方科技知识，乾隆帝是知道欧洲的工业革命和法国大革命，但大清不会出现工业革命。凡是出现工业革命的国家，无一例外都是首先进行了生产关系上的改造，英国爆发工业革命之前已经发生过资产阶级革命，法国则是出现法国大革命和拿破仑战争，美国为了进一步发展工业则出现了南北战争，日本则是爆发明治维新，普鲁士与法国之间爆发的普法战争完成德国的统一，以及意大利的统一战争，这一切都是主动打破封建落后的生产关系以适应生产力的发展。
李总同学Plus:
马斯克说碳基文明只是硅基文明的启动程序，最终人类智能将只是全部智能中很小的一部分

【回复】没人能预测未来，神棍除外
【回复】它不过是逐利的东西的傀儡而已
【回复】企业家而已，它说的话有什么科学依据吗
宏-_-:
其他我不知道，我的脑子比chatgpt的计算机便宜，训练的钱也是[tv_doge][tv_doge]

【回复】计算机和算盘你选哪个[doge]
【回复】人类从出生到出栏怎么着也要十七八年，现在国内要培养一个心智健全的合格大学生花费不菲，从补习班到学区房还有各种稀奇古怪的课外活动，样样都要钱，而且花费这么多时间资源培养出来的学生大概率还比不上智能程序
【回复】回复 @宏-_- :GPT训练完一次大约需要139.8万美元，但是这个训练模型训练好了之后，一日可以给用户十亿份咨询方案，运行成本只有20万美元，还在持续走低[嗑瓜子]整个美国都养不起十亿个普通专家快速给社会各个方面解决问题，但是通过训练好的模型拿十亿份解决方案的话，还不如老登中午咖啡钱[滑稽]