Backprop as Functor: A compositional perspective on supervised learning https://arxiv.org/abs/1711.10455
誤差逆伝播を、パラメータ付き関数の圏ParaFnから、逆伝播伝播と更新の演算を加えた関数の圏Learnへの関手として捉えるぜ、という論文。
誤差関数って学習時にネットワークの最後にちょっとつけるだけで、個々のレイヤの誤差逆伝搬と更新の際には誤差関数を意識しないけど、この論文だと誤差関数が関手の定義を介してすべてのレイヤの誤差逆伝搬と更新に関わっていて、 非常に不思議な感じ。
この論文の定義が普通の誤差逆伝搬に対応するためには、誤差関数などに対する条件が何か必要だと思うのだけど、それが書かれておらず、もやもやする……
