Deep Learning の今後の予想まとめ (2018年版)

はじめに

2017年は敵対的学習が非常に注目された一年だったと思います．GANと略される(ガンではなく，ギャンと呼ぶらしいです)技術で，識別器と同時に学習をしていくことで，お互いが成長していく技術です．

それでは今年一年はどのような技術が注目されているのでしょうか．
気になったのでまとめてみました．

Meta-Learning will be the new SGD

Meta-Learning (メタ学習)に関しては [2] の記事に詳しく書かれていました．

ある決まったバイアス，すなわち仮説空間の中から，事例に応じて，適切な仮説を獲得する普通の学習器をベース学習器という．その上位で，学習対象のタスクやドメインに応じて，学習器のバイアスを決定するためのメタ知識を獲得するのがメタ学習 (meta learning)．
via メタ学習 - 機械学習の「朱鷺の杜Wiki」

メタ知識はある特化した領域に「依存しない」知識であり，様々な活動領域に応用可能な知識である，と書かれています．これを学習によって得るとはどういうことなのでしょうか．

via analytics-news.jp

メタ知識は、体系的問題の知識や領域に依存しない知識であり、様々な活動領域に応用可能な知識である。メタ知識は知識工学やナレッジマネジメントなどの知識を扱う学問の基本的概念であり、局所的な概念化や専門用語から抽象された統合されたオブジェクト/実体と見なされる。
via メタ知識 - Wikipedia

メタ知識と学習

メタ知識は，普通の学習で対象としているものと比べて，もっと 広い領域を含むものです．

例をあげて説明してみましょう．

例えば，りんごとみかんを区別する機械を作りたいと思ったとします．データをたくさん集めて学習を行い，区別するものができたとします．

しかし，この区別する能力を，別の果物に応用しようとしたら無理です．なぜなら，この機械は りんごとみかんを区別することに特化した機械だからです．

人間はそれとは異なります．

もし，別の果物でも「この形状とこの形状が全く違うから別のものかな．だってりんごとみかんが違うもん」という推測ができます．

このように，広い領域で応用可能な学習をメタ学習と言うようです．

もともと教育の分野で使われることが多かった言葉ですが，それを機械の学習にも使えるのではないか・・・と考えられたわけですね！

メタ学習を機械学習に応用

このメタ学習がnew SGD method によってより精度が向上するであろう，というのが，[1] の文献で記載されていることです． SGD というのは Stochastic Gradient Descent 確率的勾配降下法と呼ばれる方法で，連続最適化の際の勾配法の乱択アルゴリズムです．つまり学習の仕方，更新の仕方です．

この手法が研究者によって発展し，メタ学習がより発展する，というのが2018年の予想となっています．