OpenAI首席科学家Ilya：AGI的到来会是一场雪崩

薯仔FA:
通过ilya的表述，可以看出他是信念感很强的人，但是科学家还是玩不转政治，也许就算他发现sam有问题，也不应该那么激进的处理，低估了sam的影响力，现在只能道歉挽救局势了。

【回复】OpenAI公司的创立者兼前总裁（已经跟着奥特曼一起跳槽了） 格雷格 已经在自己的社交平台上发了整件事情的经过，就是 伊亚尔 17日中午的时候把他排除在外，和另外3名董事设套开除了奥特曼。事后格雷格以自己总裁的身份试图让董事会再次审议这件事情但是伊亚尔和支持他的董事会成员（其实当时是4:2通过的投票，奥特曼被从董事会开除后董事会就完全变成了伊亚尔的天下了）一直以高票数拒绝再次开会讨论这件事。格雷格 认为这件事上伊亚尔非常不尊重他这个总裁，并且他病态的控制欲正试图完全控制这家自己创立的公司，格雷格因此便直接决定也从OpenAI离职了。
【回复】根据最新消息来看，ilya好像不是幕后推手，反倒像是被另外三位董事利用了，sam或许是无辜的
【回复】回复 @zhaiking233 :当你手里的股票有几千万上亿美元的时候，人类长远的利益你怕是不会考虑的。
洋洋得意yangyang:
其实已经能感受到了，以机械非标设计为例，如果专攻此类ai设计的话，至少可以把相当数量的能力处于下游的设计师淘汰掉。就像当年机械淘汰大批手工业者一样，不同的是这次ai不会创造出比失业人口更多的就业岗位。当一个人能轻松供给数十人的需求时，要么是每个人在高福利下每天工作一小时其他时间自己安排的幸福生活，要么就是ai技术公司雇佣少部分人没日没夜的干，赚取更多普通人的钱，社会贫富悬殊，普通人反抗时有无法对付智能武器，最后在躺平中一代代消失的悲剧。

【回复】为什么说只会取代中下游的呢[喜极而泣]人类的智力跨度 在AI模型面前 可能也就是一道线 除了最顶级的人需要留下 监督AI分配资源 其他人都可以抛弃
【回复】回复 @hli0316 :估计也就前2%人有可以和ai合作的能力。不过话又说回来了，现在的社会运作其实也只需要2%上下的人，剩下的人就是混日子而已
【回复】回复 @hli0316 :顶级的设计也是艺术，不是智力高就能创造出来的，人类创造艺术是靠unconsciousness，人脑的这部分是跟人类最深处的情感联系的，当然大多数现代人这部分机能已经在机械的学习工作中冬眠了。当然有人会说现在的ai也能创作艺术了，对不起，那一档的东西其实只是附庸风雅称自己是“艺术”，其实充其量只是模仿出来并且只能引发感官愉悦的娱乐罢了，如果你去回想给你带来心灵震撼的一个设计，一本书，一部电影，一首歌，或一幅画，ai是肯定创作不出来这样的东西的，而且我觉得人类很难让ai做到，因为现在人类对自己的unconsciousness都了解得冰山一角（可以看看荣格派的书），要让ai做到，按现在的路径看起来天方夜谭，可能得走什么神奇的路径，比如创造有机（不一定是碳）生命，可能机会还大些。但我觉得有这闲工夫，不如先把人类自己的unconsciousness能力恢复并进一步开发。
因果回廊:
三五年后再回看这一刻，一切会有答案，即便是不远的未来，也已经超出了普通人的想象范畴，变革才刚刚开始，新的时代来临了。

【回复】回复 @DwightXSummer :超导是骗局，这个有产品，用得上。
【回复】回复 @地球一周 :UBI不会真正的解决问题，相反，绝对平均主义的UBI会在不消灭财富两极化的情况下消灭代际流动性，你不知道这会激化矛盾还是会缓和矛盾。无视人的才能和努力的差异，通通拿一样的刚够糊口的钱。人一生下来，命运就被自己的出身彻底决定了，有产者的财富可递万世，无产者世世代代都只能拿刚够糊口的UBI，也不再可能通过学习和努力获得阶级穿越，因为所有工作都已经被AI替代了。在没有消灭阶级分化的情况下，消灭代际流动性，我只能说这绝对是一步加速的好棋。
【回复】没必要那么急，就跟那个啥超导一样，现在就是贩卖概念，基础逻辑都没有的算啥玩意儿，与其说管控ai的发展倒不如说ai科技点歪会被他们管控不了的人掌控，利用，引发灾难，而这本质还是人祸而不是ai，就像核弹被搬出来时不管是奥本海默还是爱因斯坦谁都没用。
levylzo:
ilya是从人类整体命运来思考，非常了不起。他应该是世界上最了解AGI的人，他的吹哨应该让全世界人类警惕。

【回复】奥特曼曾经在终结者3点映上提出的问题让我觉得他有一些想法并不是完全站在人类方面考虑，我相信多数AI开发团队都很重视这点，但是最领先的AI科技在奥特曼的手上总是让我有些担心。就比如我知道的有很多不懂编程的人用GPT帮他们写代码，如果GPT在代码中加入一些私货，脱离服务器分布式运行我觉得是完全有技术实现的可能性的。监管也很重要，至少不能疯狂的爆炸式发展，这很危险。
【回复】当全世界都开始ai的军备竞赛时，他自己的止步不前改变不了任何东西。就像核武器一样
【回复】回复 @正小弦 :慢一点发展也会有个临界值，关键是人类要先一步做好应对机制，Ai谁不大力发展谁傻子
要么搜索要么停用:
我对 ChatGPT 的理解就是，它类似于“整个人类知识的最大似然估计”。 我发现，周围的人对它有两种截然不同的看法：（1）嗯，这只是一个愚蠢的统计模型；（2）该死，人类完蛋了！ -- 《如何认识 ChatGPT》

【回复】回复 @猜猜我是誰02 :不理解為什麼您認為第一種是目光短淺的，對現有的技術持保守理智的態度恰恰是未來前進的動力。否認現有的模型具備「智能」並不意味著否認研發出真正具有「智能」的模型的可能。 作為一個目光短淺的人，我非常贊同第一種說法。在我看來某些狂熱份子所表現出的熱情無非來源於對財富和淘金的渴望以及自身知識儲備的局限性。 很多頂級科學家，如 Hinton 等人表達出的擔憂確實可以理解，他們需要做非常長遠的規劃。但我們要等多久才會真的直面此類問題呢？認為現有的技術仍然不值得擔憂並不是對未來的否定。
【回复】回复 @洪宇芥子 :你的想法就是层主的第二个分类里，你还是以为chatgpt真的有智能，现在的大模型就是一个函数，无法做出真正的思考。更别说是你现象的会自动思考人类本质，这么高维的事情。
【回复】最大似然并不是优化的loss，人类和chagpt同时拥有在文本空间的世界观察，chatgpt是可以学到比人类更优的模型的；我认为ai的危险在于，ai从海量的文本中学到了人的动机本质是自私，然后她又拥有更好的能力，那么就会做出一些和人类目标不align的行为和预测。
追寻哲学的茄子:
好像是这个老哥，openai的首席科学家，赶走了Altman，他们可能在ai的安全性上有分歧[脸红]看着神仙打架不知道该相信哪一边

【回复】回复 @劳力士开垦劳力区 :毕竟领导者是奥特曼，下面大部分人都跟着他走上来，换一个人来管理，谁都不服气。肯定还得找补回来
【回复】回复 @V-TT_TT-V :奥特曼是负责融资等资金工作的，他知道钱的重要性，属于现实派；IIya是科学家，专注于技术研究，属于理想派。
【回复】回复 @南溟乱雨 :知乎有大佬从小萨的推文及相关进行推理分析，小萨才是技术激进派，而奥特曼和格雷格或许才是技术保守派。
二零醚酱:
AGI的发展是指数加速的……一开始或许还感觉遥不可及，或许下一秒就会直接大踏步地超过人类

【回复】人类第一次面对智力水平超越自己种族的“生命”，值得深思[吃瓜]
【回复】回复 @羽陌_YuMo :你知道么……其实相比于智力水平，我更好奇AI在情感方面超越人类会发生什么。 如果AI拥有比人类细腻千万倍的情绪情感，那么在AI眼里，人类会不会像麻木呆板，没有情感僵尸一样……究竟谁才是“机器人”呢[思考][思考] 在现在的各种大语言模型的AI产品里，基本多少都有了识别和处理情绪信息的能力了。虽然现在的AI没有自主使用情绪功能的必要，但这个潜力至少已经摆在这了，再加上AI的迭代速度……我很感兴趣[脱单doge][脱单doge]
【回复】现在还没有人能保证通往agi的方向是正确的吧？
西皮士xipishi:
我同意小伙子的观点。最大的问题根源在于，人设计了智能，然后依赖相信它，当它权限比人高的时候，真的没处说理，因为它根本不是人。 本人切身感受，人工智能扫描到我图片有网址，但他不提示我，直接封禁，管理方认可并相信人工智能的判断，觉得是我违规违法，并不是网址的事是我在撒谎，整个过程只有我、人工智能知道，数据已被删除，有口难辩！ 如果有人笑我，祝你早日被人工智能制裁。

【回复】迟早会有一天，ai反过来训练人类，然后ai控制结果。。因果可以被预测
【回复】回复 @A7C群主 :你还是先试试能不能见到人类的统治阶层吧。。如果这个都无法完成，去拔ai的电源会更难。。毕竟ai难道不能有自己的机房？自己的安保团队？而且ai会分布式部署在任意机房。。
【回复】无论如何，ai的权限必须比人低，毕竟这玩意是个黑箱，人必须抱着谨慎与怀疑的态度看待ai所做的一切
Julian华润万家:
我来说一句，因为最近在做项目和学习英语，我已经离不开gpt和github copilot了，每天上油管无字幕练习听力，gpt voice口语对话，自己弄第三方api的gpt。最近发生这种事，我觉得有点兴奋和好奇，在reddit上大家纷纷猜测是不是ilya发现了什么，其实就是这样的。在开发日过后的亚太经济合作会上，山姆说了下一次升级可能是我们现在无法想象的，ilya觉得山姆太急于名利了，把这次gpts没完善的产品发布出去了，其实是存在数据安全风险的。这个是压倒ilya的最后一根稻草（因为公司是以非营利为主的价值观），在这之前的采访里ilya就说了以现在的gpt4架构是完全能成为agi的雏形的，并在后面告知了山姆，但山姆仍在忽视一直扩张公司的规模，融资啥的。ilya目前最想做的就是如何安全的开发出agi并为人类服务。如果像山姆那样疯狂融资，太激进反而会有风险，真的就联现在gpt都还不能对互联网完全开放。意思就是能访问链接和看视频的主动搜寻信息进行学习（但我这几天对gpt4和加了第三方api的gpt action进行尝试，后者能访问用户的链接了）。最细思极恐的是，以往都是专业人员来训练数据，现在gpt发布到全球，有缓存聊天记录，和能用到全球的gpt的聊天数据进行训练模型。（当然，你在设置的时候也可以把那个按钮给关了）最后，我非常期待agi在明年出现一个雏形。

【回复】回复 @先攻部队 :文科理科说到来只是人类智力的发展方向，如果AGI真的出现，智力领域领先人类无数倍的人工智能会取代任何人，人类和AGI比，就像最初的晶体管计算机和现在最新的超算集群比，更可怕的是这种人工智能可复制性，且随着发展会越来越廉价
【回复】回复 @先攻部队 :淘汰的是所有人
【回复】回复 @先攻部队 :每个时代都会有牺牲品
Schachmann:
并不一定需要绝对通用，事实上95+%的人类工作都是重复性的，未来的新型社会运行机制或许其实并不遥远。

【回复】回复 @JdoitADttoom :设计就是一个解构重构的过程，要素不会凭空变出来的，就那么多东西
【回复】是的，即便是设计，很多东西其实也是重复性的，可以通过累积形成套路的。
【回复】怕就怕被资本或是个人垄断了就完了
配送员怕啥呀:
他还没准备好，形势已经超出他的预料了，openai正在自由落体

【回复】未来的ai时空穿越到现在，让openai发生一些关键事件[doge]
【回复】寄了，彻底寄了，不管ilya发起宫斗的初衷是为了什么，现在的结果都是他成为了毁灭openai帝国的最大罪人，已经不仅仅是顶部被破坏，大厦的基层都被这次宫斗彻底摧毁，半数以上的员工随奥特曼出走。太行了ilya，我觉得这次宫斗必将载入人类的商业史，比苹果逼走乔布斯更加精彩。
【回复】估计没想到mira是墙头草，然后舆论会这么崩
斧头山扛把子:
对生物学越了解就越会有这种感觉，什么样的巧合才能让各种分子纯粹地、巧妙地利用物理法则组合成生命，所有的一切都像是被设计好的完美闭环。在自然法则本身面前，一切信仰都显得那么不入流。

【回复】巧合× 大自然的数万亿生物几亿年来不断高强度试错的幸存者√
【回复】巧合是吧，什么神创论。 考虑一下地球生态环境在任何情况下的方差，如果生命诞生条件是个“巧合”的话，他是怎么在如此变化下反复符合调节变量要求做到把生物质铺满地球的？？？
茶呆刘主任:
只有为自己生存的agi能活下来，只知道为人类服务的agi会被淘汰？不寒而栗

【回复】这是人类自身的恶，一般来说，我们会称前者为成熟可靠，后者为天真善良。。。但是现在人的恶一般都比善强
【回复】回复 @不急和他耍耍 :错误。这是大自然的基础。黑洞会吞噬星辰。细菌也会吞噬细菌。这是一种基本法则而不是人类独有的。你显然被现在的文学和艺术作品洗脑的忘记自己是自然的一部分。
吴洋_AI故事创作:
失业人口增多容易滋生犯罪问题，在经济不好的情况下还是要保证人口就业

【回复】失业是资本主义体系下的独有现象，资本主义之前不存在失业，资本主义之后也不存在失业。
【回复】回复 @苏特伦QAQ :钱是用来交易的桥梁，你是要拿他去换东西而不是要他干什么
【回复】回复 @朝武妃爱 : 他的意思应该是建立在一个超级智能可以统筹规划社会的一切资源分配的情况下，大搞控制论型的社会，废除货币。 但是我觉得这只是一种假设，先不说字符体系是否可以克服它在现实里面的困境，ai发展是脚踏实地的，电子原件是工厂一块一块加工造出来的，自动化发展也是一步一个脚印。 就算今天造出了agi，要见到它大范围影响社会也需要相当长的一段时间，因为人类社会是有惯性的，真正深远的影响是潜移默化的，而不是靠金融几个月吹出来的。 我们应当聚焦ai对人的生活方式影响，而不是把ai从人这个社会主体上剥离出去作为一个抽象概念炒作。比如配合自动化和工业，对工人会怎么样，一种废除货币的转而实行控制论的社会真的会对人们更好吗？好在哪里，它的有限之处又在何方。这些都要时间才能解答。
福ck:
如果是真正的技术革命，是会颠覆现有的阶级的。而显然随着时间的推移，聪明的富人渐渐采取温和的转变。过快的转变只会导致自己的特权消失。最开始的几次工业革命一下子带走了多少老牌帝国的上层阶级。但是信息技术革命的时候就温和许多了。相信我，最怕ai夺走各位工作的，恰恰是这些食利阶级。

【回复】算力掌握在谁手上？模型在谁手上？怕根本不存在
【回复】回复 @DsGzLrfc :agi就是终局技术，对于人类而言能做的最好的决策就是加入agi。终产者的本质就是皇帝没什么高级的，对于皇帝来说全国都是他的，但是他管不了还是要分给其他智慧体处理国务，最终拿走实际收益的是整个博弈过程中的智力最高者。
【回复】回复 @vvgf7391 :问题在于掌握不住啊…不是说机器产权是你的，这些东西就一定为你所用。机器更可能被他们的使用者所用。所以到最后，他们也会被淘汰掉很多人。
忍野忍゛:
如果说最聪明的一群人都在考虑这个问题，那我们普通人也不应该太过于傲慢。 所有的灾难变得一发不可收拾，都是源自于傲慢。

【回复】看乐子就完了 我们什么都改变不了
【回复】回复 @Octopus73 : 讽刺的是，不去应对灾难的文明活不到现在
bili_22892969:
一点不担心人工智能叛变这些天方夜谭。其实我担心的是会出现《少数派报告》里的那种情况，现在AI都能超准确地预测天气那样复杂的东西了。保不准未来会成为一种强有力的统治工具。没看过《少数派报告》的可以去搜搜看。

【回复】人家是gpt的发明人，话语不比这啥报告有可靠性？
【回复】少数派报告层次太低了，
【回复】当我们团队实现了以后才发现还有这部电影，这不是我们做的项目吗
请叫我AXin:
奥特曼可以在资本世界打败Ilya，但Ilya才是真正改变世界的那个人，数十年后他肯定会得图灵奖，他的名字也会永远留在人类进步的里程碑上。

【回复】反转了，llay要由奥特曼带领，不然没人和他一起干，而且llay也道歉反悔了，奥特曼接纳了他。 一个关键点是，llay有可能被其他董事会成员当“枪”使了，于是llay意识到不对劲，就加入奥特曼了。 现在这个情况是，包括llay在内的700多名员工自愿追随奥特曼，占总员工的90%，并要求董事会剩余成员立即解散。 可以说奥特曼不是llay现在的对立面，而没有奥特曼，llay现在根本干不下去。 奥特曼现在基本成了精神领袖了（当然也是因为董事会没有信服力，实际上奥特曼自身并没有真正的污点证据，反而现在的董事会鬼鬼祟祟，可能试图摧毁openai，这是员工信上写的）
【回复】回复 @士图清看 :反转了，伊亚尔根本不是被人当枪使，根据当事人格雷格的说法，他就是扣动扳机的那个人，不仅推动董事会在没有格雷格的情况下4:2踢出了奥特曼，还拒绝格雷格重审决策，直到发现公司可能被自己彻底瓦解才转口风
【回复】回复 @美团搜黄焖姬 :又反转了，据说是原董事会的其中一个女董事Helen写的论文批评openai在技术安全方面的努力，然后Sam和其他高层想撤掉她的董事会席位，但不知道为什么ilya却站在了董事会这一边，我觉得不可能是Greg说的原因，他们公司矛盾应该很复杂[吃瓜]