FC2ブログ

双対問題

不等式制約つきの、凸最適問題における、双対問題の話です。身近なところでは、SVM(Support Vector Machine)に登場します。

以下のノーテーションは、「言語処理のための機械学習入門」から取りました。18ページのあたり。最近お世話になっている本です。

関数f(x)を最大化する問題を考えます。ただし、

g(x) ≧ 0 --- (1)

という制約があるとします。このとき、ラグランジュ関数を、

L(x, λ) = f(x) + λg(x) --- (2)

とすると、最適解(x*, λ*)は、以下の式を満たします。

L(x, λ*) ≦ L(x*, λ*) ≦ L(x*, λ) --- (3)

つまり、点(x*, λ*)は、関数Lの鞍点、というわけです。

でも、この証明って、なにかよくわかりません。論理は追えますが、納得感がいまいちです。ポイントは、

λg(x) = 0 --- (4)

という、いわゆるKKT条件ですね。これが理解できるかどうか、です。
スポンサーサイト

4Kは3Dを置き換えない (4)

相変わらず、4Kまたは8Kだと(つまり解像度が高いと)、立体(3D)に見える、という主張をお聞きします。しかも、その道の方がそのようにおっしゃるのが、ちょっとびっくり。

解像度がどんなに高くても、単眼である以上、厳密な意味での奥行き情報はありません。立体的に見えるというのは、映像がこれまで見たことのあるものだからです。たとえば風景などです。風景は単眼でも立体的に見えて、それが解像度が高いと(このとき必然的に画面サイズは大きい)、より立体的に見える。

風景というのは、遠方にありますから、視差情報はほとんど使いません。なので、解像度が高ければ(しかも大画面であれば)、実世界で見たものが、ほとんど再現されるわけです。なので、立体に見える。むむ、同じことを言っている...でも、ここはしつこく言いたい!

逆に言えば、これまで見たことのないもの(たとえば、数値流体の可視化)であれば、4Kでも8Kでも、立体には「決して」見えません。何かのコンテンツでお試しあれ。

言語処理のための機械学習入門 (2)

「言語処理のための機械学習入門」、1章をかなり丁寧に読みました。機械学習に必要な数学がまとめられていて、非常に参考になります。この章が全体の1/3を占めます。

章末問題も充実していて、全てに詳しい解説が付いているので、これもグッド。

ところで、1章の章末問題【14】です。最大事後確率推定(MAP推定)の問題なのですが、設定がかなり変わっていて、最初はどうやって解くのかわかりませんでした。考えたのですがわからず、解答を見てみました。

むむ、解答自体は明快なのですが、これは果たして、MAP推定なんでしょうか?私には違和感がありますが、同書をお持ちの方、いかがでしょうか?

気になったので、出版社サイトの正誤表に記載されている著者のメルアドに、質問を投げてみました。すると、すぐに非常に丁寧な回答をいただきました。内容については、文面は理解しましたが、少し検討中です。いずれにせよ、この場を借りまして、お礼申し上げます。

外積の計算

Feynmanの'Quantum Mechanics and Path Integrals'、第9章'Quantum Electrodynamics'を読んでいました。もちろん読めていません。パラパラめくっている。

ここに、ベクトルの外積を2つ組み合わせた式がでていました。具体的には、

∇×(∇×A) = ∇(∇・A) - ∇2A --- (1)

という式です。よく出てくるヤツですが、さて、これを証明したい(同書では、証明なしに、当たり前に使っている)。

∇は演算子ですが、通常のベクトルのように扱えるので、そのようにいたします。まず、∇が正規化されているとします。つまり、

|∇| = 1 --- (2)

すると、式(1)の左辺は、∇とAで張られる平面上のベクトルであり、大きさは|A|sinθです(ただしθは∇とAのなす角度)。では方向は、というと、

A - ∇(∇・A) --- (3)

の反対向きです(大きさはあっている)。これを式で表すと、

∇×(∇×A) = ∇(∇・A) - A --- (4)

となります。でも、式(4)は、式(2)が前提となっています。この前提をとるためには、

(1/∇2)∇×(∇×A) = (1/∇2)∇(∇・A) - A --- (5)

とすればよいです。式(5)の両辺に、∇2を掛けると、式(1)が得られました!

Quantum Mechanics and Path Integrals

Light Fieldを理解しようとすると、光学の知識が必要となりますね。

私が持っている知識は、せいぜいが幾何光学までですが、Light Fieldは幾何光学なので、これでよいといえばよい。でも、もう少し勉強したい。

まじめにやるのであれば、量子論から入るべきだと思います。でも、それだといつ終わるかわからない(たぶん生涯終わらない)...

そうしたところに、少し前に購入した、Feynmanの、"Quantum Mechanics and Path Integrals"という本を思い出しました。オリジナルは1965年刊行です(同年、Feynmanはノーベル物理学賞を受賞)。ただ、many typosということで、Styerという人が頑張って、たくさんの(more than 879)修正を行い、その労作が、40年後の2005年に刊行されました。これがEmended Editionです。それがさらに、Doverから2010年に発売されるに至りました。このような経緯ですから、たいへん価値が高い書物なのですが、購入価格が二千円強。安すぎる!

最初くらいは、なんとか読めそうです。

ある確率の問題 (6)

2016年8月22日付け、朝日新聞朝刊2ページに、今回のリオ五輪で柔道がメダルを12個も獲れた理由として、「データ主義の徹底」があげられていました。

これは面白そうなので、どれどれとみてみました。すると、「先に指導を取った試合は7割勝つ」とのデータ分析結果から、積極的な攻めの姿勢を促した、とのことでした。

相手が指導を受けると、当然、判定上は有利になりますから、勝率は上がることが期待されます。なので、上記の主張自体はもっともらしいです。

でも、確率の話としては、なにかおかしくないですか?この主張に合理性があることを示すには、この条件付き確率の排他的条件、つまり、先に指導を取られた(=つまり自分が指導を受けた)場合の勝率を計算しなければならないはずです。そして、この勝率が7割を下回る場合に、上記の主張に合理性があります。逆に、この確率が7割を超えるのであれば(ありえないとは思いますが)、自分が先に指導を受けたほうがよい、ということになります。

Ten Lectures on Statistical and Structural Pattern Recognition

金谷健一先生「これなら分かる最適化数学(2005)」に参考文献としてあげられていた、

- Ten Lectures on Statistical and Structural Pattern Recognition, 2002.

ですが、amazon.comより到着いたしました。

著者はウクライナとチェコの方。原書はチェコ語で、これは英語訳です。

東欧は科学の隠れた宝庫です。優れた研究がなかなか圏外に出ていきません。これは以前の政治や、言語の問題が大きいのでしょう。

というわけで(ではないけれど)、来年のGWはチェコに行ってまいります。

田園都市線の謎

田園都市線、かなり気に入ってます。渋谷方面から帰るときは、横浜経由(=東横線またはJR湘南新宿)が多いのですが、気分転換で田園都市線で中央林間まで出ることもあります。

さて、先日(2016年8月16日)、渋谷で午前中に所用があり、いつもどおり、小田急・本鵠沼駅から乗車。藤沢に着いたとき、なんとなく中央林間まで出ようという気分になりました。着いたのが、8時頃。田園都市線に乗り換え、9時前には渋谷に余裕で着くという計画。

さて、そのあとは、新聞などで報道されているように、異常なダイヤ混乱状態となり、なんと、溝の口に着いたのが、11時30分。大井町線に乗り換え、自由が丘経由で渋谷に着いたのが、12時を過ぎていました。中央林間から4時間かかりました。

溝の口に到着する前に、何かしらの迂回手段があったのでしょうが、いちおうのろのろと一駅づつ進むので、その期を逸しました。溝の口までは、あまりよい手段がないんです。順調に動いているときは快適なのですが、なにかあったときバックアップがない。ロバストではない路線ですね。

夏休み (7)

来週(2016年8月15~19日)は、当社の夏休みです。週末を入れると9連休です。私は毎日、何かしらありますが(飲み会やサッカーなど)、泊りでの遠出はいたしません。オリンピック、観ます!

本BLOGもそれに伴い、夏休みをいただきます。22日から再開予定でございます。

VRの未来

秋に某大学(関西圏)にて、「バーチャルリアリティ-昔と今、そして未来」という演題で、話をすることになりました。

この演題、私が考えたものですが、でも、昔と今はよいとして、未来をどう考えるか?

このBLOGで思いついたことをつらつらと書いていって、それで考えをまとめようと思っています。こういうときに役立つのです。

そうしたところに、日本VR学会大会(2016年9月14~16日、つくば)にて、若手パネル討論:「20年後のVR」、という企画があるようです。私はパクりませんが、参考にさせていただこうと思います。みなさん、私よりも20歳以上も若いので、発想も違うのかなと。

いちおう、10年後までは書いたんです。こちら(↓)です。

http://kanouy.blog9.fc2.com/blog-entry-1533.html

了解いたしました

なにかおかしい、とは思いつつも、メールの返事で使っていた、「了解いたしました」ですが、ネットで検索してみました。

大勢を占める意見は、「この言葉は、上から目線なので失礼である」ということでした。なるほど、これは納得します。

ただ、少数ではありますが、「そうではなく、十分丁寧である」という意見もありました。その中には、専門家の方もいらっしゃいます。再び、なるほど。

なので、どちらでもよいということになりますが、自身がこれまで少し引っかかっていたこともあり、「承知いたしました」を使うことにしました。これだと誰も文句はないはず。

Idea Makers

法政大・小池さんから、Stephen Wolfram(Mathematica開発者)が書いた、'Idea Makers'という書物を教えてもらいました。今年(2016年)の新刊です。

内容はなにかというと、Wolframが興味を持った人物の紹介を、彼の視点から分析したものです。分析というか、私的なエッセイですね。

Feynmanなど、実際に彼が会ったことのある人もいれば、Leibnizのように、当の昔に亡くなった人もいます。総勢15名。だいたいは著名な数学者・物理学者ですが、私の知らない人もいらっしゃいます。ただし、これは私が無知であるということではなく、実際に無名に近い方です(と、Wolframは書いている)。

Ramanujanも登場します。となると、やはりリーマン・ゼータ関数。Mathematicaでも、Zeta[]という関数があります。どれどれ、試しにやってみると、

Zeta[-1] = -1/12 --- (1)

ちゃんと出ました。でも、これを理解するには、quantum field theoryをやらないといかんですナ。

MIRU2016 (5)

昨日まで、MIRU2016(The 19th Meeting on Image Recognition and Understanding)に参加していました。

画像なので、Deep Learning(DL)全盛です。とくにCNN。でも、やはり反動があるのか、「DLを使っていない」というのをウリにする?研究もありました。これほどDLが流行ると、「反作用」もあるわけです。さすがにインフレーション気味かも知れません。

CNNについては、基本は応用研究です(こういうのをCNNでやってみた、ということ)。なぜCNNがうまく行くかという議論はありません。そのような議論は、別のところでとなるのでしょうか。実際のところ、こういうのを解明して欲しいんですが...

個人的に興味をもっているのが、'Fully Convolutional Networks (FCN)'です。ピクセルレベルでの推定をしたい問題があるのですが、これが使えそうですね。関連する事例がいくつか散見されました。

MIRU2016 (4)

本日(2016年8月4日)は、MIRU2016(The 19th Meeting on Image Recognition and Understanding)の三日目(最終日)です。

昨日の特別講演は、「機械学習・AI時代における基礎研究」、河原林健一氏(これも国立情報学研究所)。昨年のIBIS2015で話を聴きました。多大なインパクトあり。

基本的には、IBIS2015のときのお話と、同じトーンでした(同様のインパクト)。新しいところとしては、現在の機械学習・深層学習に対して、少しご意見があるようですね。「汎用性があるのは、優秀な研究者・技術者のみ」ということです。では、汎用性がないのは?それはAI。そして優秀というのは?数学ができること。

アドリブとしては、一昨日のオーラルに言及されました。この発表というのが、ある種の処理を、「巡回的に」選択するのではなく、「確率的に」選択すると、計算が速くなる、というものでしたが、質問があり、それに理論的背景があるのか、というもの。答えは、よくわからない、でした。河原林先生は、おそらくこの理由がわかっていらっしゃる。数学者は、こういうのは右脳でわかるのだそうです。

MIRU2016 (3)

本日(2016年8月3日)は、MIRU2016(The 19th Meeting on Image Recognition and Understanding)の二日目です。

昨日の初日は、特別講演1「AIの「精度」とは何か-東ロボPから見えてきたこと」、新井紀子氏(国立情報学研究所)、が(私にとっての)目玉でした。果たして、(勝手な)期待を裏切らない、名演!

最近のどこかの講演をネットニュースで見ていたので、内容は想定の範囲だったのですが、繰り返しの言葉は、「コンピュータは意味は考えない」「コンピュータは理解しない」。そのとおりです。

私はペンローズの主張に洗脳されているので、これは正しいと思っていますが、一方では、その論理基盤は異なるような気もしますね。

ペンローズの基盤は、言わずと知れた、1989年の'The Emperor's New Mind: Concerning Computers, Minds, and The Laws of Physics'ですが、久しぶりにググってみると、今年(2016年)に同じ題名の新刊が出ています。revised版だそうです。買いたくなってきた。

MIRU2016 (2)

本日(2016年8月2日)から、MIRU2016(The 19th Meeting on Image Recognition and Understanding)に参加します。アクトシティ浜松にて。三日間べったりです。

さて、本日の目玉は、新井紀子氏の話。これを聴きに来たと言っても過言ではありません。

本場のウナギ、一度は食べたいです(ナマズではなく)。

発車のときの曲

JRの駅の話です。

遥か以前から、蒲田駅だけ、電車が発車するときの合図の曲が異なっていました。これはもちろん、「蒲田行進曲」にちなんだものです。みな納得し、すぐにあたりまえになりました。

さて、少し前のことですが、茅ヶ崎駅の曲が変わりました。これはサザンです。これもみな納得。心地よい!

ここまではよいのですが、このあたりから、多くの駅で、独自の曲がかかるようになりました。私の周辺では、小田原駅、平塚駅、戸塚駅、など。

でも、これがイマイチなんです。変えればよいというものではありません。聴いてる方に、納得感がないと。

幸い、藤沢駅は以前からのデフォルトです。この地域にちなんだ曲がないということもあるのでしょうが、いまのままでいいです。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM・SIGGRAPH(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/URCF(特別会員)

----------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード