今更ながら Conal Elliott の Beautiful differentiation の論文とブログエントリを読んでいる。 http://conal.net/papers/beautiful-differentiation/
きっかけは、Deep Learning Tutorials http://deeplearning.net/tutorial/ で自動微分にTheano http://deeplearning.net/software/theano を使っているという話をしているときに、自動微分って記号微分のことなんじゃないの、と聞かれて咄嗟に答えられなかったこと。で、そういえば、Conal Elliott が以前に自動微分についてブログに書いていたなぁというのを思い出して、読んだのだった。 ブログエントリだけじゃなくて、ちゃんと論文の形にもなっていたのね。
ちょっと Functional Pearl っぽい感じもするけれど、多変数の場合の扱いとかもスッキリしていて面白い。
そういえば、kinaba さんも以前に自動微分について書いていて http://www.kmonos.net/wlog/123.html#_2257111201 、今見たらこの論文も参照されていた。 あと、以前に Conal Elliott の ブログ記事を読んだときは、面白いけれど応用での嬉しさがあまりピンとこなかったけれど、Courseraの Machine Learning のコース https://www.coursera.org/course/ml で色々勉強した今だと、機械学習系の応用での嬉しさは割と分かりやすい。 #ml