在近期類神經網路的架構設計、SWISH與SE(挤压激励)是蠻常看見的兩個小技巧。前者是在设计空间中搜出來的激活函数，後者則是讓卷积網路可以更容易獲取或交換全局上下文的方法。但這兩者與常用的Reu之間其實有某種隱晦的關聯未被明確探討.
ACON(ActiveOrNot)是今年(2021年年)發表於CVPR的論文，這篇論文乍看是提出了一個效果超群的激活功能(分別讓MobileNet-0.25與Resnet-152在ImageNet的TOP-1 Accuracy上提升了6.7%與1.8%)。雖然其實細看論文、ACON已經簡直不是一般對Activate Function的理解(更像是結合SE)、但整篇論文更亮眼的在於對RELU、SWISH與SENET之間關連的分析，相當值得一讀。
原创文章，作者：fendouai，如若转载，请注明出处：https://panchuang.net/2021/07/23/acon%e8%88%87tfnet%ef%bc%9a%e5%88%86%e6%9e%90relu%e8%88%87%e8%bf%91%e6%9c%9fswish%e3%80%81senet%e7%99%bc%e5%b1%95%e7%9a%84%e9%97%9c%e9%80%a3%e6%80%a7/
fendouai 