2016年9月29日 更新

「パターン認識と機械学習」理解のための数学〜スパースモデリングとは〜

今回は機械学習の理論でよく耳にする、スパースモデリングについてご紹介します。

6,045 view お気に入り 0
今、ビッグデータとともに機械学習の分野が急速に注目されています。そこで無くてはならないのがスパースモデリングの内容です。今回はそれをまとめてみました。
 (1854)

1. スパースモデリングとは

「スパース」とは「少量」という意味です。現在はコンピュータや計算機の発達により大量のデータを得ることができるようになりました。ここから背後に隠されたルールや法則を導き出すことが目標となります。しかし、あまりにも高次元のデータであるため、データ解析が困難であるという問題点があります。そこで、「高次元のデータを説明するための変数が少量である」、つまり「次元を減らす」ということをすることで、背後に隠されたルールを見つけようとするわけです。これがスパースモデリングです。

2. スパースモデリングの応用例

具体的な例について述べるため、脳の計測についてお話します。この内容は以下のURLの内容を参考にしました。東京大学岡田研究室HP(http://mns.k.u-tokyo.ac.jp/index.php
『脳内で外界の情報がどのように表現され符号化されているかを探ることは,脳科学の重要な問題の一つです.スパース符号化とは,外界の情報が神経細胞のまばらな(疎な)発火パターンで表現されているという仮説であり,現在では脳の多くの領野でスパース符号化が用いられていることが示されています』
つまり、脳内のどこで発火しているかについてスパースであるという仮定をおいて、脳内の発火パターンを分析しようとしているわけです。

3. 最小二乗法とスパースモデリング

上でスパースモデリングは高次元の場合に非常に重要であることを述べました。ではそのスパースモデリングをどのように実装するのでしょうか。

以下では最小二乗法と比較して説明していきたいと思います。
3.1 最小二乗法とは

最小二乗法については以下の記事をご覧ください。
「パターン認識と機械学習」理解のための数学〜最小二乗法とはpart1〜

要約すると下の図の差分の総和が最も小さくなるような直線(ないし平面)を決めようというものです。
最小二乗法の図

最小二乗法の図

この方法には弱点があります。それは「外れ値に非常に鋭敏に影響を受けてしまう」ということです。これを機械学習の用語で過学習と呼びます。
 (1866)

3.2 最小二乗法とスパースモデリングとの関係

これを防ぐ方法として正則化項を導入するという方法があります。
最小二乗法では以下のような二乗和誤差関数を最小にするというのが目的でした。
23 件

関連する記事 こんな記事も人気です♪

kaggleの医療系コンペまとめ

kaggleの医療系コンペまとめ

kaggleのコンペで実際に機械学習が活用されている事例を知ることで医療のAI活用の幅を広げられればと思います。
Takumi Ihara | 354 view
Python × TensorFlow ② ~TensorFlow を扱う上で必要な知識「定数・変数」~

Python × TensorFlow ② ~TensorFlow を扱う上で必要な知識「定数・変数」~

TensorFlow を扱う上で必要な以下3つの知識のうち「定数と変数」について解説していきたいと思います.
井上 大輝 | 713 view
kaggle-mercariチャレンジに挑戦した。

kaggle-mercariチャレンジに挑戦した。

kaggleの初めてのkernelコンペでした。kernelコンペの洗礼を受けました。
Takumi Ihara | 704 view

この記事のキーワード

この記事のキュレーター

三好 裕之 三好 裕之