说人话解释Mamba技术原理 Transformers 又被超越了

无名天剑:
有一个问题，如果他更好，为什么大佬们还是在用transfer

【回复】因为Transformer的生态很完善，再加之flash attention等加速让Transformer也没有那么慢，再加上mamba其实也有局限性。另外flash attention和mamba是同一个老师搞的[doge]风险对冲了属实是
【回复】因为他才出生几个月，大佬上一篇文章估计都没写完[脱单doge]
【回复】mamba要真的有吹的那么神，jamba就不需要添加transformer层来提升性能了。直接全mamba不香么
Ailego:
人话 X 懂的人能看懂，不懂的还是看不懂 √

慎独的低气压:
你的观察非常准确。在技术发展的过程中，确实存在着一个“提升阈值”的概念，尤其是在快速发展的领域，如人工智能和机器学习。以下是一些相关的考虑因素： 1. **边际效益递减**：随着技术的进步，从每一代新技术中获得的额外效益可能会逐渐减少。这是因为最初的改进往往相对容易实现，而随着技术的发展，进一步的优化可能需要更多的创新和努力。 2. **性能饱和**：在某些应用中，现有技术可能已经足够好，以至于新技术带来的提升不足以证明其成本和复杂性的增加是合理的。例如，对于某些特定的任务，现有的机器学习模型可能已经达到了性能的“天花板”。 3. **创新的加速度**：为了保持技术进步的动力，新的技术或算法需要以至少等于或高于前一代技术的速率提供改进。如果新技术的改进速率跟不上，那么它们可能会被市场淘汰。 4. **成本效益分析**：新技术的采用不仅取决于性能的提升，还取决于成本效益比。如果新技术的实施成本过高，或者提升的性能不足以证明额外成本的合理性，那么它可能不会被广泛采用。 5. **用户习惯和惯性**：用户和组织可能对现有的工具和流程有强烈的习惯和依赖，改变这些习惯需要时间和努力。如果新技术的好处不是立即明显，那么用户可能会坚持使用他们熟悉和舒适的旧技术。 6. **生态系统和兼容性**：现有的技术通常已经建立了强大的生态系统，包括工具、库、社区和专业知识。新技术需要与这些现有的系统兼容或提供迁移路径，否则可能会面临采用障碍。 7. **风险和稳定性**：企业和组织可能对采用未经充分测试的新技术持谨慎态度，特别是如果这些技术涉及关键业务流程或有高可靠性要求。 8. **市场和社会因素**：技术的成功不仅取决于其技术优势，还受到市场动态、法规、社会接受度和伦理考量的影响。 因此，虽然Mamba等新技术可能在理论上提供了一些改进，但它们需要克服上述挑战，才能在实践中得到广泛采用。技术的发展是一个复杂的过程，涉及多方面的考量，包括技术、经济、社会和市场因素。