FC2ブログ

Deep Learning (28)

Ian Goodfellow , Yoshua Bengio , Aaron Courville
Deep Learning (Adaptive Computation and Machine Learning series) November 18, 2016.

某所にて、同書の説明会を行いました。予定としては一時間程度。

しかるに、パートⅢの時間がなくなりました。さらに、もうこの部分も徐々に古くなっています。いまや、生成モデルと言えば、GAN(Generative Adversarial Networks)になっています。特に、MCMCの人気がなくなった。

したがって、ここは端折りまして、最新の論文を解説しました。この結果にはご参加いただいたかたも結構驚かれ、これからはfakeの情報であふれるのではないか、などという議論となりました。

実際のところ、GANは、realかfakeか識別できないように学習するわけですから、そのような帰結ができるわけです。考えようによてはかなり恐ろしい。
スポンサーサイト

トピックモデルによる統計的潜在意味解析 (10)

佐藤一誠先生著、「トピックモデルによる統計的潜在意味解析(2015)」、の輪読会ですが、次回は私が担当です。担当範囲は以下。

3.3.6 LDAの変分ベイズ法 (2)
3.3.7 LDAの変分ベイズ法 (3)
3.3.8 LDAの周辺化変分ベイズ法

一応、資料はほぼ作成しました。直前にやれるようなシロモノではありません。難書です。

やはり、いろいろと疑問点があります。誤植と思われる個所も何ヵ所か発見しました。ウェブにアップされている正誤表には記載されていないものです。

そこで前回です。75ページ上段の式の符号が四か所間違っているので、それを指摘したところ、どうも噛み合いません。それもそのはず、最新版(4刷)では修正されていたのです。私のは2刷です。1刷→2刷の誤植表はネットで取れたのですが~

とはいえ、最新版に買いかえる気もないです。こういうときのために輪読会はある。

トピックモデルによる統計的潜在意味解析 (9)

佐藤一誠先生著、「トピックモデルによる統計的潜在意味解析(2015)」、輪読会の報告です。三回目の参加でした(全体では五回目)。

今回は、以下の内容でした。

3.3.3 変分ベイズ法 (2)
3.3.4 LDAの変分ベイズ法(準備)
3.3.5 LDAの変分ベイズ法 (1)

プレゼンターさんがきれいにまとめてくれまして、たいへん参考になりました。こういうのが楽しい。

次回ですが、私がプレゼンします。担当は以下です。すべてキビシイですが、最後の3.3.8が難関です。

3.3.6 LDAの変分ベイズ法 (2)
3.3.7 LDAの変分ベイズ法 (3)
3.3.8 LDAの周辺化変分ベイズ法

Image-to-Image Translation

最近、以下の論文を読む機会がありました。

"Image-to-Image Translation with Conditional Adversarial Networks"
Berkeley AI Research (BAIR) Laboratory, UC Berkeley

arXivです。2018年となっているものの、番号から推察すると、初版は2016年のものだと思われます。

さまざまな画像変換(生成)を、GAN(Generative Adversarial Networks)を用いて行ったものです。結果はすごいです。画像変換をされているかた、必見です。

画像変換では、元画像で条件付きを行うことが必須なわけですが、面白いのは、L1制約を入れると、条件付きでなくても、だいたい同じような結果が得られるということ(条件付きのほうが多少はよい)。これは、L1制約というのは、結局のところ、元画像との差分をロスとしますから、条件付きと同じような結果が得られるということです。納得。

宅配便コンビニ受け取りの謎 (2)

アマゾンからの宅配便を、自宅近くのコンビニで受け取ることにしました。以前は失敗しました。

http://kanouy.blog9.fc2.com/blog-entry-1756.html

あれから二年経っています。今回は問題ないでしょう。

さて、荷物がコンビニに到着とのメールがありました。ここまでは順調です。しかるに、そのあと数時間で認証のためのメールが届く、と書かれてありましたが、これが届きません。

コンビニ到着が土曜日の昼なので、週末だからかな?、などと思いつつ、日曜日夜にコンビニに行き、事情を話しました。到着しているはずなので、荷物を受け取れないか、というネゴです。しかるに、認証コードがないとダメだということです。これはシステム上やむを得ない。

月曜日、配送業者(日本郵便)に電話しました。しかるに、配送側からすると、コンビニに届けた時点でお役御免だそうです。ここからはアマゾンの責任ということです。これも理解しました。いちど郵便局に引き取ってくれれば私から出向く、などと言ったのですが、これもダメ。システム上このようなことはできないわけです。

ということで、アマゾンに連絡するしかありません。ただ、サイトを見ても、連絡の方法がわかりません。となると、残る方法はキャンセルしかありません。キャンセルして再度購入、配達場所をこれまでどおり自宅にする、ということかな...

そんなことを考えながら、何気に「迷惑メール」フォルダを見てみると、なんと認証メールがありました!(「ゴミ箱」は確認した)なんでこれだけが、「迷惑メール」に分類されるんじゃ?ともかく、コンビニで受け取れることになりました。めでたしです。

トピックモデルによる統計的潜在意味解析 (8)

佐藤一誠先生著、「トピックモデルによる統計的潜在意味解析(2015)」、輪読会の報告です。二回目の参加でした。

プレゼンターさんの手際がよく、サクサクと進みました。結果的に、3.3.2 変分ベイズ法(1)まで終了。次回は、3.3.3 変分ベイズ法(2)からです。

ディリクレ分布からのサンプリングについて質問しましたが、質問の意図がよく伝わらなかったので、欲しかった解答は得られませんでした。ディリクレ分布の確率密度はよいとして、ここからどのようにサンプリングするのかが、疑問のままです。

正規分布については、一様乱数を発生させ、正規分布の累積の逆関数から得られますが、このようなやりかたが、ディリクレ分布で可能なのでしょうか?引き続き疑問であります。

湘南工科大学非常勤講師 (16)

湘南工科大学の非常勤講師、本日(2019年1月23日)は後期の最終日です。「線形代数w/プログラミング」と「確率・統計」。

このふたつは、受講者数も、受講者の内訳もかなり違うので、まったく別の講義構成となりました。それぞれ楽しめました。

Backpropagation (2)

最近遅ればせながら、VAEやGANなどの生成モデル論文を読んでいます。

ここで思うのは、やはりbackpropagationが出てきたか、ということ。

GoodfellowらのDL本では、生成モデルの計算については、MCMCを登場させています。結局のところ、MCMCを使わなければ、潜在変数の確率密度が求められないのです。

しかるに、VAEやGANでは、これを避ける。VAEでは、潜在変数の確率密度を正規分布と仮定、平均と分散をニューラルネットに組み込みます。これはすごいアイデア。GANに至っては、教師データとモデルの分布の分類器をニューラルネットで作るという、超裏技を繰り出した。

なにやら戦国時代の様相を呈していますが、今後どのような方向に向かうのか、私にはわかりません。ただ、30年前に開発されたbackpropagationという、明確に定義された計算手法が、いまだにきちんと受け入れられているということ。やはり、きちんと定義され、きちんと計算できる、という数学的構造には普遍性があるということでしょうか。

PIANO CONCERT

昨日(2019年1月20日)、知人のSさんがピアノを弾くというので、コンサートに行ってまいりました。京王井の頭線・永福町駅からすぐの、sonoriumというところです。小さいところですが、洒落た場所です。

Sさんの出番は夜なのですが、ピアノ好きな私は、最初(小中学生の部)から聴くことにしました。15時開演、20時終了。

Sさんですが、プロの演奏会でも定番の、ショパンのバラード第1番を演奏されました。これが圧巻の演奏。音大卒の実力を生で体験いたしました。

Sさん同伴?のMさんと三人で、永福町駅チカの飲み屋さんで打ち上げをして、帰宅いたしました。たいへん充実した一日。

横井泰先生追悼

鵠沼クリニック・横井泰(よこいやすし)先生がお亡くなりになりました。2018年末のことです。1956年のお生まれです。

診療所が、小田急・本鵠沼駅前なので、自然と通うようになりました。つまり、家庭医です。往診を重視されていたため、開業時間は限られていました。私が通うときは、火曜日の夜か、土曜日の午前中でした。

横井先生は、多芸多才で、さまざまな本を出版されていました。いつだったか、インド式算数の本「19x19」をいただきました。湘南地区禁煙レストランの本も出されていました。

数年前、開業時間が短くなりました。往診の負担が大きいため、ということでしたが、そのころから、心身ともに疲労がたまってきたのでしょうか。見た目はお元気そうだったのですが。

今年2019年、クリニックは息子さんが継がれました。連れが最初に伺ったとき、横井泰先生奥様の筆による、挨拶状をいただきました。先生は、「みんなの郷」という、高齢者向け住宅を運営されており、それを継ぐため、クリニックは息子さん夫婦に任せるということでした。

急なことだったようで、挨拶状には奥様の無念さがにじみ出ていました。ご冥福をお祈りいたします。

Generative Adversarial Networks

Generative Adversarial Networks(GAN)、Goodfellowらによる、オリジナル論文(NIPS'14)を読みました。さまざまな生成モデルの中でも、いま最も研究が進んでいるものです。

読後の感想です。まず、このような仕組みをよく考えたな~と思いました。原理は単純なので、いわゆる、コロンブスの卵的発想?収束の証明があるのですが、数学的で、よくわかりませんでした。

Goodfellowによる、NIPS'16のチュートリアルもネットで取れます。これは読みやすいです。

Variational Autoencoders(VAE)もそうなのですが、いまや、MCMCは嫌われていて、これの使用を回避するのがウリとなっているようです。MCMCが登場したときは、ベイズ統計の「救世主」と言われたので、隔世の感があります。

トピックモデルによる統計的潜在意味解析 (7)

佐藤一誠先生、「トピックモデルによる統計的潜在意味解析(2015)」、数式に懲りて、もう読むことはないと思い、とある場所に置いていたのですが、知人のMathematica達人、松田さんから、同書の輪読会を教えてもらいました。すぐに参加申し込みをするということは、やはり楽しい書物ということです。

さて、輪読会当日、とある場所に出向き、同書を引き取り、その夜、ノコノコと行ってまいりました。秋葉原のコワーキングスペースです。

すでに三回目で、今回は3.学習アルゴリズムからです。ここからが本題なので、タイミングは最適。

輪読会というものへの参加は、今回が初めてだったのですが、出てみてわかったことは、非常に有意義だということ。どんな優秀な人に対しても、特定の書物の中の、特定の数式について訊いても、回答はもらえません。しかし、このような輪読会では、参加者はすでに特定の書物が興味の対象なので、その中の特定の数式について訊くと、答えてくれる人がいるわけです。貴重な2時間を過ごしました。これで千円なので安いです。

というわけで、この輪読会は、リピーターとなりました。驚くべきことに、知人のM先生に会いました。こういうのも楽しいです。

ザ・プラクティス

私が大好きだった、アメリカの法廷もの、「ザ・プラクティス」ですが、シーズン1と2しかDVD化されていません。あの傑作が、もう観られないのか...

と長らく思っていたとき、何気にYouTubeを探していたら、なんと、ありました!

数あるなかでも、私の好きなエピソードがあるのですが、それも発見しました。シーズン5のエピソード8。必見です。最後の検察側のclosingが聴きもの(聴き取れないけれど)。

版権の問題はあるのかもしれませんが、楽しみが増えました。

第8回TAMAチャレンジ顛末記

第8回TAMAチャレンジを走りました。2019年1月5日、ハーフです。

これは、さまざまな距離を走ることができます。5キロ/10キロ/15キロ/20キロ/ハーフ/30キロ/フル。前回の顛末はこちらです。

http://kanouy.blog9.fc2.com/blog-entry-2172.html

当日は快晴。気温も天気予報では3月並み。私には最高でした。

今回は、最後まできちんと走ることを目的としました。結果として、最後の1キロが最も速かったです。記録は、2時間2分でした。2時間切りはできませんでしたが、目的敢行のため、中盤でかなりセーブしたことによります。それがなければ、切れたかも。

JRE POINT

ビューカードのポイントがJRE POINTというのに変わりました。ビューカードはよく使うので、ポイントがかなりたまっています。

ではどうやって使うのか?ビューカードのときは、定期的に商品券に交換していました。それが、今回の変更で、ポイントを使うときは、JRE POINTカードというのを入手しなければなりません。

では、これはどうやって入手するのでしょうか?ビューカードが更新されるときに、JRE POINT機能付きのものになるとのことですが、それまで待つのもよろしくないので、JRの駅チカで作りました。これは簡単で、その場で申し込めばよろしい。

しかし、このJRE POINTカードで、たまっているビューカードのポイントを使うことは、すぐにはできないのです。3週間ほど待たなければなりません。申し込みは紙なので、人手でいろいろと入力しなければならないんだろうな...

3週間ほどかかるとのことでしたが、そのとおり、3週間したら、JRE POINTのウェブサイトで、入手したJRE POINTカードを登録することができ、そうすると、これまでビューカードでためていたポイントが使えるようになるのでした。

ややこしいのが、ビューカードのクレジット番号と、ビューカードに付加されるJRE POINT番号は、全く関係ないということです。すべてを終えてしまえば便利ですが、この仕組みはかなりややこしいです。システム統合のしわ寄せが集約された感じです。

トピックモデル (2)

ご無沙汰していた、「トピックモデル」ですが、某MLにて、Bleiのオリジナル論文が添付されてきました。2003年のものです。

これは読んだことがなかったので、見てみました。これによると、β、すなわち、各トピックにおける単語の生起確率(多項分布)は、推定されていません。オリジナルなので、解法にはいろいろと改良すべき点がありますね。実際、このあと進化しているのは周知のとおり。

しかし、最初にこのモデルを作ったBleiという人はすごいですね。YouTubeに本人による解説ビデオがアップされているので、観てみました。コメントで面白かったのが、"Why is Elvis teaching topic models?"というもの。Bleiはエルビスに似ているんです。

このプレゼンは、まさにプレゼンのお手本です。トピックモデルに興味ある人は、ぜひご覧いただきたいです。最初に聞き取れなかったのが、「ディリシュレ」。これはディリクレです。

ISMS

当社は、ISMS認証(ISO27001)を取得いたしました。2018年12月19日付け。

ISMSとは、Information Security Management Systemの略です。これを取得すれば、情報管理を組織的にきちんとやっているとみなされるものです。

新年のご挨拶 (9)

あけましておめでとうございます。本年(2019年)も、よろしくお願いいたします。

私の年末年始イベントは、以下のとおりでした。ランが多かったです。

29日:大阪より帰京(新大阪~小田原)。米原~岐阜羽島が雪のため少しの遅れ。
30日:掃除。窓の手入れなど、かなりきちんとやりました。私は10キロラン。連れは仕事の息子に差し入れ。
31日:掃除(風呂)。西鎌倉の青蓮寺まで走り納め10キロ。鐘もつきました(昨年と同じ)。
01日:両親入居の大船のホームへ。連れと息子、姉妹の5人で押しかける(昨年と同じ)。
02日:箱根駅伝をテレビおよび近場で観戦。そのあとランニング12キロ。U大Y先生チャレンジ対応。娘が夜に襲来。
03日:連れは仕事。私は箱根駅伝の見学がてら、ランニング16キロ。
04日:ランニング14キロ。あとは、正月ボケ防止のため、数学の勉強にあてました。娘は風のように去る。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/URCF(特別会員)

---------------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)/3DBiz研究会(個人賛助会員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード