Distributional Smoothing with Virtual Adversarial Training https://arxiv.org/abs/1507.00677 : Goodfellowらの adversarial training は、サンプル近傍で正解ラベルに対するスコアを出来るだけ下げるよう摂動した結果を使って正則化をするものだったが、 その代わりにサンプルでのモデル分布と摂動後のモデル分布のKL-ダイバージェンスが最も大きくなるよう摂動を加えた結果を使って、正則化を行うというもの。 なので、教師無しや半教師ありの場合でも適用できる。 計算上の工夫はあまり理解できていないけれど、面白いなぁ。