ochiaiの備忘録

読んだ本や、パソコン関係の話などまとまり無く

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

第2回NIPS読み会・関西『Unsupervised Learning for Physical Interaction through Video Prediction』

nips読み会・関西で発表してきました。
スライド中の動画は動かないので、以下のサイトと並べて読んで下さい。
https://www.sites.google.com/site/robotprediction/


スポンサーサイト

論文読んだ:Deep Predictive Coding Networks(Deep PredNet)

Deep Predictive Coding Network(Deep PredNet)とは


ニューラルネットの一種
開発元:CoxLab(http://www.coxlab.org/)
論文:Deep Predictive Coding Networks for Fideo Prediction and Unsupervised Learning

できること:


時系列予測。
論文中では動画を受け取り、次に来るフレームの画像を予測、生成している。

何がすごいか(ochiai主観):


○画像から直接次のフレームを予測している
○次のフレームの画像を生成できる
○大脳新皮質の構造に似ている(階層構造)
○高い階層に抽象的な特徴が自動生成される
○教師なし学習

Deep PredNetの構造


DeepPredNet_architecture.png
Deep PredNetの構造。右の図は一層分だけ拡大したもの。

DeepPredNet_formula.png
更新式

DeepPredNet_algorithm.png
状態更新のアルゴリズム。トップダウンの信号をすべて更新した後、ボトムアップの信号を更新する。

個々の構成要素はConvlutional NetやLSTMなど近年のDeepLeaningブームでおなじみになったものばかり。それらをうまく組み合わせて、予測と観測を調和させている。
Convoolutional LSTMだけ初耳だったので、調べてみた。

Convolutional LSTMとは


重み(W)と状態変数(小文字)との内積をConvolutionに変更したLSTM。また、状態変数はベクトルからテンソルに変わる。

LSTMの更新式
LSTM_formula.png

Convolutional LSTMの更新式
ConvLSTM_formula.png

ただし、*は畳み込み、oは要素ごとの積

参考文献:Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting

実験


論文中では、以下の画像に対してフレーム予測を行っている。

実験1:回転する顔の3Dモデルの映像


DeepPredNet_facePredict.png
奇数列が正解画像、偶数列が1フレーム前までの画像から予測、生成した画像。

画像生成の他に、リッジ回帰によって各層の発火頻度から回転方向などの値を推定できるか確認している。上位(深い)層の情報を使ったほうがより精度よく回転方向を推定出来た。このことから、上位層は回転方向などの抽象的な情報を表現していることが分かる。

画像の作成方法


FaceGenというソフトを使用して作成。このソフトは人の顔の3Dスキャンデータの主成分を抽出し、パラメータから顔の3Dデータを作れるようにしたもの。以下のリンクから無料版をダウンロードできる(無料版は額にLogoが入る)
FaceGen(http://facegen.com/modeller_demo.htm)

使用した画像


○白黒画像
○64x64pixcel
○ランダムな初期方向
○ランダムな方向に一定速度で回転

学習パラメータ


○loss:画像が入力されるレイヤーの誤差ニューロン(式(3)のE)の発火頻度を2~10フレームにわたって合計
○レイヤー数:5
○Convolutionのフィルターサイズはすべて3x3
○フィルター数は下層から順に(1、32、64、128、256)
○最適化アルゴリズム:adam
○ライブラリ:theano、Keras

実験2:車載カメラの映像


DeepPredNet_loadPredictStep.png
奇数列が正解画像、偶数列が1フレーム前までの画像から予測、生成した画像。一番下(赤線の下)はフレーム順をシャッフルしてDeep PredNetに見せたもの。

DeepPredNet_loadPredictLong.png
予測した次のフレームを入力として受け取り、複数フレームの予測を行った結果。


画像のソース


以下のデータセットを使用。このデータセットからデータをダウンロードし、解凍するとフレームごとに画像として分割された動画が手に入る。動画はすべて車載カメラからの映像。
KITTI dataset(http://www.cvlibs.net/datasets/kitti/raw_data.php)

使用した画像


128x160pixcelに切り取り(元は1392x512pixcel)

学習パラメータ


○レイヤー数:4
○Convolutionのフィルターサイズはすべて3x3
○フィルター数は下層から順に(3、48、96、192)
○他は恐らく実験1と同じ

感想


予測誤差の扱い方がこのモデルのコアとなるアイディアだと思う。通常のDeepLearninでは発火頻度そのものを上位のレイヤーに渡すが、このモデルでは予測誤差を上位層に渡している。下位層で予測しきれなかった部分を上位層が担当することで抽象的な情報(広い範囲と長い時間を見ないと分からない情報)を抽出しているのだと思う。

また、誤差の表現方法についても、プラス部分とマイナス部分に分割し、入力されたテンソルの2倍のサイズのテンソルを使って表現している。マイナスの部分は符号を反転させプラスにしている。
これは試行錯誤の結果なのか、発火頻度として解釈したときマイナスはありえないためかよくわからない。わざわざこうしているということは、精度に影響があるのではないかと思われる。


Landscape in a Cube(LinC)



立方体内面に三次元空間を投影する方法を考案しました。
特にプログラミングなどは行っておらず、Blenderでレンダリングした画像を切り貼りすることで作成可能です。

動画中で使った立方体の展開図を公開します。展開図を印刷して組み立てることで、動画中で使っている立方体と同じものを作ることができます。


The City


Landscape in a Cube(LinC)ss

The_City.png

materials:
The City

Apollo 11


Landscape in a Cube(LinC)Apollo11


Apollo11.png

materials:
Apollo 11 Landing Site
Apollo Lunar Module
Realistic Planet Earth

記憶力増強チップ

失った記憶力を取り戻したり、増強したりできるチップが開発されました。
攻殻機動隊が現実に - 脳に埋めたチップによって記憶を複製することに成功 | DDN JAPAN / (DIGITAL DJ Network)

USC: Restoring Memory, Repairing Damaged Brains -- LOS ANGELES, June 17, 2011 /PRNewswire-USNewswire/ --

A cortical neural prosthesis for restoring and enhancing memory (論文)


2004年くらいに話題になった、この研究が成功したようです。
記憶障害を救う、シリコンチップの人工海馬 « WIRED.jp Archives

記憶の複製とはすごい! と思ったのですが
冷静に読んでみると
『攻殻機動隊が現実に - 脳に埋めたチップによって記憶を複製することに成功』と
『USC: Restoring Memory, Repairing Damaged Brains』とで
内容が微妙に違う気がしました。

英語記事をざっと訳してみます。
結論だけ知りたい方は「まとめると、…」の部分までとばして読んでください
(オリジナルの論文を訳せたら一番いいんですが、私には無理です(^_^;)。)

During the learning process, the hippocampus converts short-term memory into long-term memory, the researchers prior work has shown.
学習プロセスにおいて、海馬が短期記憶を長期記憶に変換することが、過去の研究から分かっている

"No hippocampus," says Berger, "no long-term memory, but still short-term memory." CA3 and CA1 interact to create long-term memory, prior research has shown.
「海馬がない場合、長期記憶はなくなるが短期記憶は残る」とバーガーは言う
CA3とCA1の相互作用が長期記憶を作ると過去の研究で分かっている

the experimenters blocked the normal neural interactions between the two areas using pharmacological agents. The previously trained rats then no longer displayed the long-term learned behavior.
実験ではこの二つのエリアの神経接続を薬で阻害する。事前に訓練されたラットは長期記憶が出来なくなる。

"The rats still showed that they knew 'when you press left first, then press right next time, and vice-versa,'" Berger said. "And they still knew in general to press levers for water, but they could only remember whether they had pressed left or right for 5-10 seconds."
「ラットはまだ『最初に左を押したら次は右を押す、逆もまた同じ』という事を知っている。そして彼らはまだ水を得るにはとりあえずレバーを押せばいいということは知っている、しかし前回は右を押したのか左を押したのかを5~10秒間しか記憶できない」とバーガーは言う。

Using a model created by the prosthetics research team led by Berger, the teams then went further and developed an artificial hippocampal system that could duplicate the pattern of interaction between CA3-CA1 interactions.
人工器官研究チームによって作られたモデルを使い、CA3とCA1の間の接続を模倣する人工海馬システムを創りだした。

Long-term memory capability returned to the pharmacologically blocked rats when the team activated the electronic device programmed to duplicate the memory-encoding function.
記憶のエンコード機能を模倣させるようプログラムされた電子機器を起動すると、薬で長期記憶が抑制されたラットに長期記憶能力が戻ってきた。

electrodes were implanted in animals with a normal, functioning hippocampus, the device could actually strengthen the memory being generated internally in the brain and enhance the memory capability of normal rats.
電極は海馬が正常に働く動物にも埋め込まれた。この装置はたしかに脳の中に生成される記憶を強化し、正常なマウスの記憶能力を増強した。

まとめると
1. 薬を使い過去の記憶を思い出すことはできるが、新しく何かを記憶することはできない状態のマウスを用意した。
(博士の愛した数式やメメントみたいな状態)
2. 人工海馬を埋めこむと、この記憶障害が治った。
3. 人工海馬は信号の変換をしているだけで、記憶データそのものはラットの脳に保存されている
4. 健康なマウスにこれをつなぐと記憶力が増強された
という感じです。

記憶は脳内に保存しているので
ハードディスクの内容を脳に直接ダウンロードというのは無理そうです。
でも、この装置を脳につないでいる間は、見たものすべてが記憶できる
という使い方なら可能だと思います。
おそらく装置を外しても記憶は脳内に残るはずです。

『攻殻機動隊が現実に - 脳に埋めたチップによって記憶を複製することに成功』には
・記憶の複製
・記憶の「オン」「オフ」
・記憶の再インストール
・記憶能力の向上

が出来るようになったと書いているのですが
『記憶の複製』と『記憶の「オン」「オフ」』は英文記事には載っていないように見えます。
そもそも、記憶を外部に取り出しているわけではないので
複製やオン・オフは不可能ではないか思います。
オリジナルの論文にはそういう話も出てくるんでしょうか?

辞書を引き引き訳していたのですが
一度引いた単語を忘れて、なんども引き直してしまいました。
記憶能力の向上だけでもいいので
早く実用化して欲しいです(> <)。

Home

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。