Swish: a Self-Gated Activation Function https://arxiv.org/abs/1710.05941 ReLUの代わりになる活性化関数Swishの提案。 Swishの形はシンプル。 $$ f(x) = x \cdot σ (x) $$ ReLUとの違いは，non-monotonicityとsmoothnessだと思う． 小さい負の入力はReLU…