最近の所感
この記事はSFC-RG Advent Calendar 2017の19日目です。
統計分野で何かを語りたかったのですが、面白いことが書けそうにないのでポエムと最近読んでる本おいておく
最近
ＮＮとかやってても面白みがなくなってきたので９月から統計を研究してるグループに入った。信ぴょう性も引用もないけど少しだけわかってきたこと書こうと思う。
①ニューラルネットと統計（ポエム）
正直９月までベイズ推論も詳しく知らずに機械学習の論文読んでた。PRML下巻の知識もない状態だった。
それでも最近のＮＮ系の論文は読めていたので統計ってどこに位置して何に必要なんだかよくわかっていなかった。でもちょっとだけわかった。今のところの私の理解を初学者向けに少しだけ書いておきたい。
統計がやりたいことはモデルの推定なんだと思う。モデルになんかしら仮定を与えてデータ点からそれを推定していく。モデルを推定するというのはそもそもパラメータを推定することだった。ベイズってなんだかずっとわかっていなかったけれどよくよく考えたら少なくともＭＬＰシリーズにある書籍のすべてはベイズ推論なんだと思った。
そのなかでも最近少し面白いと思ったのが、ノンパラメトリックの概念である。モデルに仮定を置かずデータ点からモデルを適当に推定するというものである。これはGANに近いような気がする。でもGANの論文にはノンパラのことなんて一切述べられていない。そもそもGANはモデルそのものを求めるわけではない。低次元のベクトルからより高次元な真のモデルへの写像を考えることがGANである。
統計は束縛の強いモデルの仮定のおかげで教師無しで分類できたりするのが面白いだけな気がする。分布がガウス分布の混合であると仮定した人はすごいと思う。人間もそうやってる気がする。ところで最適化ってなんだろうって最近考えていた。統計もＮＮより強い束縛を置いたうえでパラメータをデータに最適化している。最近STANという道具を使い始めた。モデルのパラメータを普通なら変分ベイズだったりギブスサンプリングだったり結構な数学的操作を必要とするものを全自動で行ってくれる。NUTSとかADVIというアルゴリズムが使われてるらしい。たしかにこれは最適化だった。ＥＭアルゴリズムも最適化の理論に含まれるのだから最適化だ。
まだ何もまとまってない。情報幾何論をしっかりと学習していつかまとめていきたい。
ところで統計の勉強をしてるけどやっぱりＤＮＮはすごい特にＣＮＮはすごい。特徴量抽出は統計屋ができることではなかったと思う。ＣＮＮは関数系そのものが強力な仮定であるということがどっかの論文に書いてあった。本当はＮＮは隠れ層１層で一部の関数クラス、大体欲しい関数がすべて近似できるはずである。しかし関数の形そのものがどのように最適化されていくかというのを表現している気がする。ＣＮＮのようなモジュールは無限次元の多様体の一部のドメインを表現しやすくしている、そちらに向かって最適化しやすくしているとイメージしている。たしかにそう考えるとＣＮＮそのものが強力な事前知識というのにも納得がいく。
すべての関数を近似できる関数系というのはＮＮ以外にもあるはずである。それらが無限次元の時、目的に向かってどのように最適化されていくかというのは面白い気がする。収束のしやすさという面は考えたらそこにも出てくるのか？面白い。
モデルをイメージするときGANを考えることが多い。アニメ画像を生成するにしても、人間が描くイラストは一つのモデル多様体上に置くことができるのだろうか。最近人間の創作物のすべては低次元から高次元への写像というより、画像よりももっと高位な概念の次元から画像というかなり低次元な空間への写像な気がしてきた。
ところでアンサンブルという概念はすごい奇妙であると思う。あれは真の分布が存在することを前提としていないのでその意味で根本的な仮定から統計を崩している気がする。考えたらＮＮというのはあまりノイズという概念を考えておらず、真の分布という概念がない気がする。分布という概念そのものがない気がする。だから元をたどれば最適化の概念が好きな人たちがこっちに来ている気がする。だからこそGANは真の分布の概念が出てくるので面白い。ある意味でＮＮは汎用度が高すぎる状態からいかにして何かしらの最適化をするかというのに焦点が当てられている。
難しい。まだまだ何も理解していない。
②最近読んでる本
ベイズ統計の理論と方法（渡辺澄夫）
情報幾何学の新展開
統計的学習理論
この３つを今期はしっかりと理解したい。すべてを理解したい。
またなんか面白いことあったら描く
