【学习笔记】自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源 像素层 ...

是 否 +2 论坛币

k人 参与回答

经管之家送您一份

应届毕业生专属福利!

求职就业群

赵安豆老师微信：zhaoandou666

经管之家联合CDA

送您一个全额奖学金名额~ !

立即领取

感谢您参与论坛问题回答

经管之家送您两个论坛币！

+2 论坛币

自注意力可以替代CNN，能表达任何卷积滤波层丨代码已开源

像素层面上，CNN能做的，自注意力(self-attention)也都能做。统御NLP界的注意力机制，不仅被迁移到了计算机视觉中，最新的研究还证明了：CNN卷积层可抽取的特征，自注意力层同样可以。

这项工作来自洛桑理工学院的博士生Jean-Baptiste Cordonnier，致力于无监督知识提取、图神经网络、自然语言处理和分布式优化的研究。研究表明：只要有足够的头(head)和使用相对位置编码，自注意力可以表达任何CNN卷积滤波层。

论文中选ICLR 2020，在Twitter上也受到了广泛的关注。论文地址：https://arxiv.org/abs/1911.03584

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

分享0 收藏0 回帖

关键词：学习笔记 注意力 CNN 习笔记 Attention

赞

赞