2016年9月28日 更新

Microsoftとカーネギーメロン大学が質問回答式の人工知能システムを開発

マイクロソフトの研究チームは、カーネギーメロン大学との共同研究で、人工知能のシステムを新しく開発した。機械に画像の抽象的な特徴を解析させ、その画像に関する質問に対して回答する訓練ができるようになった。

78 view お気に入り 0
マイクロソフトの研究チームは、カーネギーメロン大学との共同研究で、人工知能のシステムを新しく開発した。機械に画像の抽象的な特徴を解析させ、その画像に関する質問に対して回答する訓練ができるようになった。

今回開発されたシステムでは、コンピュータビジョン(ロボットの目)とディープラーニング、画像分析と適切な回答を解析するための自然言語処理技術を使う。質問に対する回答の推論は、複数のレイヤー(SANs:stacked attention networks)を通して行われる。
arXiv.org

arXiv.org

まず、画像情報をニューラルネットワークで処理することで、与えられた質問の意味や前提となる状況を理解する(第1レイヤー)。
次に画像の中で回答に必要なものをふくむ領域に視点をフォーカスする。
これは写真に写り込んだ無関係な情報を排除するプロセスでもあり、抽出された情報から「最も適切と思われる」回答を導き出すことができる(第2レイヤー)。
 (1212)

たとえばトップ画像の写真について「自転車のカゴの中にいるのは何ですか?」という質問があったとする。
第1レイヤーでは、自転車やカゴといった"物体"と「カゴの中」という"概念"を認識。そして第2レイヤーでカゴの中身に焦点を当てて、「その中にあるのは何か」を分析する。この場合、質問への回答は「イヌ」となる。

今回紹介した研究は画風アルゴリズムで紹介したConvolution Neural Network(CNN)が用いられている。今後、Neural Networkを用いたディープラーニングの研究は更に進んでいくだろう。
 (1214)

<参考資料>
System trains machines to look at images the way people do – and answer questions about them(Microsoft Blog)
Stacked Attention Networks for Image Question Answering(Arxiv.org)
7 件

関連する記事 こんな記事も人気です♪

Deep learningで画像認識⑦〜Kerasで畳み込みニューラルネットワーク vol.3〜

Deep learningで画像認識⑦〜Kerasで畳み込みニューラルネットワーク vol.3〜

Kerasと呼ばれるDeep Learingのライブラリを使って、白血球の顕微鏡画像を分類してみます。
木田智士 | 242 view
Deep learningで画像認識⑥〜Kerasで畳み込みニューラルネットワーク vol.2〜

Deep learningで画像認識⑥〜Kerasで畳み込みニューラルネットワーク vol.2〜

Kerasと呼ばれるDeep Learingのライブラリを使って、文字認識を行ってみます。
木田智士 | 404 view
Deep learningで画像認識⑤〜Kerasで畳み込みニューラルネットワーク vol.1〜

Deep learningで画像認識⑤〜Kerasで畳み込みニューラルネットワーク vol.1〜

Kerasと呼ばれるDeep Learingのライブラリを使って、簡単に畳み込みニューラルネットワークを実装してみます。
木田智士 | 655 view
医療×人工知能の最前線を追え‼ 「人工知能エンジニアMeetUp!#4〜AI医療画像診断支援 & RSNA報告会〜 」のまとめ。Part 2

医療×人工知能の最前線を追え‼ 「人工知能エンジニアMeetUp!#4〜AI医療画像診断支援 & RSNA報告会〜 」のまとめ。Part 2

今回の記事は、前回投稿したLPixel主催MeetUp記事のPart2です!医師である龍さんと講演後の懇親会の様子を振り返ってみようと思います。 この記事はLpixelインターンの北村が担当しています。
北村 旭 | 593 view
Deep learningで画像認識④〜畳み込みニューラルネットワークの構成〜

Deep learningで画像認識④〜畳み込みニューラルネットワークの構成〜

畳み込みニューラルネットワークは、画像データに特化した特徴量の抽出と分類が可能です。今回は、畳み込みニューラルネットワークの構成についての内容です。
木田智士 | 1,548 view

この記事のキーワード

この記事のキュレーター

エルピクセル編集部 エルピクセル編集部