什么是transformer？【知多少】

_-JIA-_-:
什么是Transformer? RNN只能受限于 N to N 1 to N N to 1 我们找到了sequence to sequence 一个拥...

木棉-mumian:
RNN -> LSTM GRU ->Attention->Self Attention

【回复】回复 @吉吉锅锅爱地球 : 是的，但是整体框架差不多（跨越程度不多，不如前后的区别大）
烤肉烤肉-:
[捂脸]有次看文献的时候一个《变形金刚》确实把我搞懵逼了

【回复】刚学的时候被《盗梦空间》搞懵逼过
【回复】回复 @张小苟的日常 :go deeper？
小叶柏杉:
这么好的知识，为什么关注和播放量这么少，这个已经很科普了。[tv_疑问]

【回复】大概是因为外行没兴趣，内行都知道[笑哭]
【回复】回复 @辛夷欸 :好吧，我承认，内行太科普，外行太深奥
【回复】回复 @辛夷欸 :特别适合俺这种菜鸡[吃瓜]
不详鱼鳞:
评论里get知识： RNN -> LSTM GRU ->Attention->Self Attention RNN（Recurrent Neural ...

Co卷毛:
多个传感器的时序数据 如何用transformer集成呢？

【回复】输入的时候就cat到一起。不过传感器的话如果序列太长transformer就很难处理了，可以换成wavenet之类的专门处理波形的架构
不会走A的黑铁寒冰:
我第一次看到老师叫师兄们看下关于"transformer"的论文，我就纳闷了，变形金刚还有论文？[捂眼][捂眼]