FC2ブログ

CNN vs RNN

CNNが2012年、画像認識で脅威的な成果をあげ、Deep Learningが一躍注目を浴びたのは、ご存じのとおり。

そののち、動画像の認識にて、RNNという技術が生まれました。これはニューラルネットにフィードバックを入れるものです。理由はわかりますが、なんか面倒くさそうだな、と思っていました。

そうしたところに、最近、Facebook AI Researchが、言語処理の分野ではありますが、RNNを凌駕する成果を、CNNであげました。正確には、そう主張する論文を出した。

CNN対RNN、ちょっと目が離せなくなりました。個人的にはCNNのほうが、やりやすそう。
スポンサーサイト

重要な行列

線形代数における行列、いろいろと種類がありますが、私見では応用上重要なのは、以下の二つです。

1)対称行列(⊂正方行列)
共分散行列、ヘッセ行列、慣性テンソルなど、エンジニアリングで登場する正方行列のほとんどが対称行列です。対称行列は、直交行列で対角化できるなど、きわめてよい性質がありますので、これをきちんと理解することが重要。

2)非正方行列
これは、最小二乗法で出てくる、いわゆる計画行列(design matrix)。行数はデータ数、列数はパラメタ数。これを基本とした、行列&ベクトル表記による最小二乗法の習得が重要です。

コンテンツ東京2017

本日(2017年6月28日)、'コンテンツ東京2017'に行ってまいります。

お目当ては、第3回先端コンテンツテクノロジー展ですが、第1回AI・人工知能EXPOというのもあります。あれ、これは昨年からありませんでしたっけ?おそらくですが、昨年のものは前座ということで、今年から正式なのでしょうね。こちらもまいります。

台北の足裏マッサージ

先日の台北訪問(2017年5月31日~6月3日)、知人の河西さんから、「足裏マッサージ」を薦められました。スポーツをやる人には特に、ということです。私は日ごろはサッカーとランニングをやります。

そうは言っても、なかなか縁のないまま最終日となり、松山空港へ。ゲートで待っていると、なんとすぐそばに、「足裏マッサージ」のお店が!セキュリティチェック後のところなので、さすがにおかしなお店ではないはず。

所用時間は30分です。フライトまで1時間くらいあるので、これしかないと思い、すぐに入りました。

実は、有料のマッサージ自体、生まれて初めての体験です。河西さんから聞いていたように、少し痛めの感じですが、これが心地よい。たいへん満足いたしました。足が軽くなった。

この効果があったのか、一週間後のハーフマラソンでは、久しぶりに二時間を切れました!

連立一次方程式の解法再構築

線形代数の教科書に記載されている、「連立一次方程式の解法」に異議あり!

通常は、以下のように書かれます。

1)方程式が未知数より多いとき→解なし(不能)
2)方程式と未知数が一致するとき→一意に解が求まる
3)方程式が未知数より少ないとき→解無数(不定)

これはおかしいです。なぜならば、

1)は最小二乗法のことですし、実際にはこの場合が最も多いはずです。実用上極めて重要なものが、解なしとは...。
2)は理論的にはきれいですが、実際にはこのような状況は少ないかも。
3)はいまはやりのスパースです。本によってはℓ2制約を付けるものがあり、これはこれでラグランジュ乗数のよい練習になるのですが、そうして得られた解はスパースではないので、ちょっと不満。

なので、個人的に再構築中です。本も書きますよ!(ウソ)

新たなネコ

「めい」の急逝により、我が家は多大なダメージを負いました(関連記事はこちら↓)。

http://kanouy.blog9.fc2.com/blog-entry-1749.html
http://kanouy.blog9.fc2.com/blog-entry-1737.html

然るに、若いムスメは立ち直りが早く(看護師ということもある?)、また飼いたいと言い出してきた。

連れもそれに最後は同調(私はふたりが合意する限りにおいて承諾)、最近我が家に、二匹の子猫がまいりました(2017年6月18日)。生後二か月くらいです。もともと処分対象ネコで、ボランティアさんから引き取りました。オスとメスです。

というわけで、ネコ生活第二期がやってまいりました。

3D&VR展 (7)

本日(2017年6月22日)は、3D&VR展の中日です。今週は忙しいので、行けないかと思っていましたが、今日、合間を縫ってまいります。

私はVRには、1987年から関わっているので(VRという言葉は1989年に登場したとされているので、この記述は正確ではない)、今年で30年です。当時といまとでは隔世の感があります。関わっている人も、大きく変わりましたね。でも、コンセプトは同じ。

イラストで学ぶ機械学習 (15)

「イラストで学ぶ機械学習」、第14章は、「クラスタリング」です。

14.1 K平均クラスタリング、はウォーミングアップ。これはさすがにわかっているはず。

14.2 カーネルK平均クラスタリング、14.3 スペクトル・クラスタリング、難しいですが、なんとか頑張って、最後の14.4 調整パラメータの自動決定、へ。私はこの話、てっきりクラスタ数を決めるものとばかり思って読んでいました。だって、159ページのグラフの横軸はkですからね。

あれ、待てよ、クラスタ数はcでした。ではこのkとはなんぞや?これが不思議なことに、「k最近傍類似度」というのがいきなり登場。むむ、これはなんでしょう...敷居が高いです。

続きを読む

今後のマラソン予定 (28)

マラソン予定のアップデートです!

1)横浜マラソン2017(フル、神奈川、2017年10月29日)←連れと
2)第33回NAHAマラソン(フル、沖縄、2017年12月3日)←連れと

1)は、予想外に「一般枠」で当選しました。支払いも済ませました。周囲のひともかなり当選しているようですが、倍率はどれくらいなんでしょう?
2)はエントリ済み(既報)。結果は8月8日にわかります。

老眼鏡 (3)

老眼鏡を作ってから、三年が経ちました。手放せない...スポーツをしているとき以外は必携です!

私がこれを必要とするときは、活字を読むときです。スポーツ時に活字を読むことはありませんから、ここでは必要なし。(活字を読まない)通常のときも、不要です(遠くは見える)。さて、この切り替えをどうするか。

これまでは、不要なときは、いちいちケースに入れていました。そして、必要なときに取り出す。

ただ、これはかなり不便です。たとえばコンビニでレシートを確認するようなとき。いちいち取り出すのはコスパが悪いです。

このようなことに悩んでいたのですが、最近試しているのは、使わないときは、メガネをアタマの上に上げておくこと。これはコスパがよいです。結構な強風でも外れないこともわかりました。

唯一の問題としては、なんだコイツは、という目で見られるときがあることです。恐らくですが、サングラスをしている人がよくやることに起因するのではないでしょうか。まあ、そのような目を気にする歳ではありませんが...

第8回南魚沼グルメマラソン顛末記

先日(2017年6月11日)、第8回南魚沼グルメマラソン(ハーフ)に連れと参加してきました。三年ぶり三回め。過去の記事はこちらです(↓)。

http://kanouy.blog9.fc2.com/blog-entry-1117.html
http://kanouy.blog9.fc2.com/blog-entry-878.html

前泊は、過去二回と同じく、六日町の温泉宿「湯元館」。ここを知ってしまうと、もう他には泊まれない?

前日が強風&雨。最悪の天気でしたが、当日はウソのように晴れました。それに気をよくして、タイムも久しぶりに二時間を切れました。

この大会、ランは前座です(スタート時の掛け声は「いただきます」)。そのあとの食事がメインイベント。説明不能なので、ぜひご参加ください。過去二回は、体調の問題もあり、満足に食べられませんでしたが、今回は、コシヒカリ二杯、ビールも二杯。イクラにもありつけ(すぐに売り切れ)、満足度100%!

余裕があったので、恒例の、松任谷正隆氏によるコンサートも最後まで堪能いたしました。お薦めの大会のひとつです。

イラストで学ぶ機械学習 (14)

「イラストで学ぶ機械学習」、第13章は、「教師なし次元圧縮」です。

13.2 主成分分析、さすがにわかっていると思っていたのですが、なにやら難しいです。139ページ最初の式(なぜ式番号がないのか?)は、以下です。

Σ|TTTxi - xi|2 = -tr(TCTT) + tr(C) --- (1)

むむ、なぜこうなるのか、すぐには解らなかったのですが、最近習得した、トレース計算を試してみました。すると、

式(1) = Σ(TTTxi - xi)T(TTTxi - xi) = Σ(xiTTTT - xiT)(TTTxi - xi) = Σ(xiTTTTxi -2xiTTTTxi + xiTxi) = Σ(-xiTTTTxi + xiTxi) --- (2)

途中で、以下の条件を使いました。

TTT = I --- (3)

ここまでは、たんに展開しただけです。ここで、トレースを入れます(実数なので、トレースを入れても変わらないというワザ)。

式(2) = Σtr(-xiTTTTxi + xiTxi) = -Σ(tr(TxixiTTT)) + Σ(tr(xiTxi)) = -tr(TΣ(xixiT)TT) + tr(Σ(xixiT)) --- (4)

となり、式(4)は式(1)と同じになりました。

行列のトレース

行列のトレース(Tr)、使い方がよくわからない。苦手です。定義はもちろん解りますが、応用が利かないのです。

そうしたところに、Bengio+のDL本に、以下の式が書かれてありました。

|A|2 = Tr(AAT) --- (1)

44ページ、同書では式(2.49)です。

式(1)のAは行列ですが、ベクトルにも適用できますから(ベクトルは行列なので)、たとえば、

|x|2 = xTx = Tr(xTx) = Tr(xxT) --- (2)

のように変形ができます。最後の項はシグマを取ると、共分散行列になります。ちょっと見通しがよくなってきた?

Deep Learning (6)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) Hardcover – November 18, 2016.

amazon.comから到着いたしました!

パラパラとめくったところでは、数学的にはそれほど難しくなさそうです。活字が多い印象ですね。

イントロに、誰向けの本かが書かれてあります。それによると、1)学生、または2)機械学習を知らないソフトウェア技術者、ということです。

台北の地下鉄事情

台北の地下鉄事情です。調査期間は、2017年5月31~6月3日の四日。

まず驚かせたのが、プラットフォーム上でのマナーの良さ。みなさん、きちんと列に並びます。日本人が列を作るのは有名ですが、いまの日本は少し乱れていますね。台北のほうが断然きれいです。

私は列が嫌いなので、少し離れたところにいて、最後に乗り込みます。

車内も騒がしくないです。たまに携帯で話をしている人がいますが、これを止めようという広告をみました。日本と似ている。

参加したComputexにて、地下鉄のフリーチケット(ICカード)をもらったので、初日に松山空港から会場までをトークンを購入した(25台湾ドル)以外は、無料。最初はこのICカード、改札のどこにタッチしてよいか迷いました。それらしいところがたくさんあるし、改札によって違うんです。迷っている人も、何人か散見。

今後のマラソン予定 (27)

マラソン予定のアップデートです!

1)第8回南魚沼グルメマラソン(ハーフ、新潟、2017年6月11日)←連れと
2)横浜マラソン2017(フル、神奈川、2017年10月29日)←連れと
3)第33回NAHAマラソン(フル、沖縄、2017年12月3日)←連れと

1)は3年ぶり3回目(既報)。
2)は「地元優先枠」は落選(想定内)。「一般枠」にて待機中。
3)はエントリいたしました。

Sparse and Redundant Representations (2)

Sparse and Redundant Representations: From Theory to Applications in Signal and Image Processing 2010th Edition.

第3章に、ℓ0ノルムを最小化する解法がふたつ載っていたので、少し調べました。

最初のものは、いわゆるgreedyなヤツ。この原理は簡単です。目的とするベクトルに最も近い(=cos類似度が高い)、列ベクトルを採用すればよろしい。そして、ふたつのベクトルの差をとり、これを繰り返します。なにも知識がなくて、なにかやれ、と言われればこうするはず。

二番目のものは、もっと高級です。ℓ2ノルム最小化問題は、ラグランジュ乗数を使って解析的に求まるので、これを用いて、ℓ0ノルム最小化問題に近づけてやる、というものです。背景となる理論がいまいちよくわからないのですが、計算は簡単なので、解は求まります。

La La Land (2)

'La La Land'の音楽が気に入ったので、soundtrackを買いました。iTunesにて。1,600円。

Justin Hurwitzという人によるものですが、知りませんでした。よい曲を書きますね。

'Mia & Sebastian's Theme'はもちろんですが、'City of Stars'(ミアとセバスチャンのデュオ)、'Engagement Party'、がすばらしいです。'Audition'は、圧巻。

ピアノ譜をネットでいくつか取り寄せました。練習します!

イラストで学ぶ機械学習 (13)

「イラストで学ぶ機械学習」、第12章は、「異常検出」です。

12.1 局所異常因子、12.2 サポートベクトル異常検出、はさっと流し、12.3 密度比に基づく異常検出にチャレンジ。

133ページまでは、すんなりわかったのですが、134ページのアルゴリズムでつまずきました。(a)は、133ページの最大化する関数をαで微分すると、こうなるので、これはよいです。でも、(b)(c)(d)がよくわかりません。

(b)(c)(d)は、133ページの制約条件を、αが満たすように計算しているはずですが、30分くらい考えてもわからないので、(b)の式を、bで内積を取ってみました。つまり、

(α + (1 - bTα)b/(bTb), b) --- (1)

すると、式(1)はイチになりました。なんだ、これは133ページの制約式を満たすように作った式ですね。

これでわかりました。(c)はαから負の要素をなくし、(d)で再度、制約式を満たすようにしているということです。

134ページの女性キャラが、可愛い顔して、とんでもないことを言っています。本書はすばらしいのですが、イラストに騙されてはいけない。

しかし、12.3の手法は面白いです。異常検出に関わることがあれば、この手法を試そうと思います。計算は簡単です。

台湾 (4)

先週の話ですが、台北三日目(2017年6月2日)は、Computex南港ホールへ。

ここは大手がブースを構えます。台湾のPCメーカといえば、AcerとASUSでしょうか。ホールの中心は、このあたりが占めています。

Microsoftのブースでは、Windows 10の機能を紹介していました。HoloLensも出ていた。

フロアがもうひとつあり、こちらはゲーム系。高性能GPUを積んだマシンが、ずらずらと置かれています。対戦ゲームのステージ(eSports)もありました。

プレゼンの人の言語は、中国語か英語です。ひとりで両方やる人も多いです。日本語もたまに聞こえますが、これは日本人同士の会話。

この日の台湾は大雨でした。テレビのニュースでは、雨による被害情報ばかり流れます。ビデオ映像が多用されますが、これは一般の人が撮ったものと思われます。天気予報の警報で、「超大豪雨」という地域があったので、これは!と驚き、ではこれがどれくらい凄いのかに興味が移りました。果たして、「大豪雨」「豪雨」という単語が、そのあとに続きました。

「豪雨」でも、当初の意味としては、もの凄いわけですが、これが普通の大雨のように使われてるようです。いわゆる言葉のインフレ現象。

台湾 (3)

昨日(2017年6月1日)、Computexを視察いたしました。

IDEC(横浜企業経営支援財団)の方と、開場前に待ち合わせ。午前中は通訳の方も同行されます。ここぞとばかり、さまざまなブースで訊きまくりました。主に、InnoVEXという、ベンチャー系を回ったのですが、活気がありますね。

午後は、スタートアップ企業のピッチ・ファイナル。約100社からふるいにかけられた精鋭8社がプレゼンします。全員がすばらしいパフォーマンスをされました。面白いのが、審査員がその場で質問をすることです。そのやりとりはモニタに映され、聴衆すべてに知れますから、審査員もたいへんです(しょうもない質問はできない)。14時から始まったプレゼンは17時に終了。少し間をおいて、受賞者が発表されました。大いに盛り上がりました。仕切ったのは、女優さんのように美人で、英語堪能のかた。台湾、恐るべし!

本日は、南港ホールを回る予定です。

台湾 (2)

台湾、というか、台北ですが、昨日(2017年5月31日)、滞りなく到着いたしました。

羽田空港から松山空港へ。13:30到着(現地時刻)。日本との時差は1時間です。

目的は、Computexです。バッジに、メトロ乗り放題の特典が付いているので、トークン25台湾ドルで、空港から直接会場へ。バッジをもらいました。会場はWiFiも使えるし、環境は文句なしです。

少し視察しましたが、スーツケースがあるので、適当に引き上げ、ホテルにチェックインしました。台北駅すぐそばの便利なところです。

本日から、本格的に視察いたします!本日は、IDEC(横浜企業経営支援財団、お誘いくださったところ)の方と一緒です。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM・SIGGRAPH(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/URCF(特別会員)

----------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード