FC2ブログ

言語処理学会第23回年次大会

完全に門外漢ですが、「言語処理学会第23回年次大会」というのに参加してきます。場所は、筑波大学・筑波キャンパス・春日エリア、会期は、2017年3月13~17日です。私は中ごろに参加の予定です。

なぜこのようなものに参加するのかというと、いま言語処理系をやっているので、その最新動向の調査が目的です。集中した時間が持てるので、新しいものの習得には、このような機会は効率がよいのです。

もちろん、言語処理学会の会員ではありません。つい最近、この学会の存在を知ったので...
スポンサーサイト

LOOCV (4)

LOOCV(Leave-one-out cross-validation)における、裏技計算、これは思いのほか、知られていないのではないでしょうか。

最近知った良書、'Python Machine Learning (2015)'ですが、これにも、LOOCVへの言及があります。良書なので、この驚くべき計算にも触れているのでは、と思われました。

しかるに、当該ページ(177ページ)を見てみると、次のように書いてありました。

A special case of k-fold cross validation is the leave-one-out (LOO) cross-validation method. In LOO, we set the number of folds equal to the number of training samples (k=n) so that only one training sample is used for testing during each iteration. This is a recommended approach for working with very small datasets.

つまり、裏技計算への言及がありません。回帰の計算は一度だけでよいので、別に小さいデータセットではなくてもよいのです。この著者ももしかしたら、知らないのではと疑います。

家ネコ「めい」 (2)

当家のネコ「めい」は、天国に行きましたが、その後、最終の検査結果を、動物病院からいただきました。

病名は、「組織球性肉腫」という、ネコには珍しい癌でした。これにかかってしまうと、ほぼ治療手段はなく、進行も早いのだそうです。死に至る病です。発病後、わずか一か月。

私は、めいからいろいろなことを学びました。たとえば、ちまたで溢れている、如何にシンプルに幸せに生きるか、というヤツ。これはめいの生き方どおりにすればよいのです。すなわち、将来を憂いてくよくよしない(めいはしなかった)、過去の決断を後悔しない(めいはしなかった)、モノを持たない(めいは、サソリのぬいぐるみとヘアゴム以外は、モノへの執着はなかった)。

もう少し一緒にいてくれるかな、と思っていましたが、それでも私の人生を、十分豊かにしてくれました。

プロジェクト管理 (2)

先日、某商社に長年勤務され、多大な成果を上げたかたのお話を聴く機会がありました。

口頭だったので、正確な記憶はありませんが、「マクロだけではなく、ミクロも見ることができなければ、仕事はできない」とおっしゃっていました。

殆どの人は、マクロかミクロか、どちらかなので、双方というのはかなり難しいのですが、そのとおりです。でも、これはどこかで聞いたことがありますね。そう、以下でございます。

Fergus O'Connell, What You Need to Know about Project Management, Capstone (2011).

同書の70ページです。Chapter 2 'Estimating'の最後、if you only remember one thing、として、

The devil is in the detail. If you don't figure out the detail in your project at the beginning, it will come back to haunt you later on.

Ferguson曲線 (2)

Ferguson曲線、某提案書に使うことにしました。以前の記事はこちらです。

http://kanouy.blog9.fc2.com/blog-entry-910.html

式は以下(再掲)。

p = [2t3 -3t2 + 1, -2t3 + 3t2, t3 -2t2 + t, t3 - t2] [P0, P1, P'0, P'1]T --- (1)

当時は、Mathematicaを持っていなかったので、WolframAlphaを使っていたようです。いまはMathematicaでプロット。使える曲線です。頼もしい。

Ferguson(ボーイング社)によるオリジナル論文は、ACMのDigital Libraryで手に入ります。1964年の成果です。

プロジェクト管理

諸事情で、プロジェクト管理をやっています。守口本社と遠隔で。なので、メールとスカイプがツールです(slackはここでは使っていない)。

現場が常時は見られないので、舵取りをするために、毎日、日報を書いてもらっています。重要なことは、毎日書く、ということ。それから、毎日書いてもらうためには、負荷がかかってはいけないので、最大限簡潔化することです。目安は、退社前の10分。

週に1~2回やるスカイプでは、こちらが話すのではなく、向うから報告をしてもらいます。こちらが言っても、それが理解されているかどうかはわかりません。なので、向うから話をさせる。わかっていなければ、話ができないので、これで理解度がわかります。それから、ロジックのおかしなところはわかりますから、これの修正をします。

遠隔なので、できることは限られますが、まずは簡潔にやっていきます。

イラストで学ぶ機械学習 (7)

「イラストで学ぶ機械学習」、第5章は、「スパース学習」です。

スパースにするには、ℓ1ノルムを制約に使いますから、パラメタでの微分ができません(ℓ1ノルムは絶対値)。これをどう処理するかがカギですが、それの計算方法が載っています。

要するに、上から二次式で抑えるわけですが、よく考えますね。面白いやりかたです。参考文献には、より高度なアルゴリズムが紹介されているようですが、私にとっては、本書で紹介されているやりかたで、十分でございます。

サイコパス

週刊文春の連載、「阿川佐和子のこの人に会いたい」に、中野信子氏が登場していたので、どれどれと見てみました。楽しい内容だったので、氏の書籍、「サイコパス(2016)」を読みました。

これは面白いです。お薦めします。サイコパスって、こういうことだったんですね。一般には迷惑な(危険な)存在なのですが、よいところも書いてあります。記述はフェアです。

思い起こせば、私の過去にも、このような方々にお会いしています。本書に書いてあるキャラ、そのものです。なので、非常に納得感があります。実は現在も、周辺にいらっしゃいますが、名誉のため、お名前は伏せておきます。ただ、本書を読めばわかるように、役に立つ人もいるのです。

私自身は、サイコパスではあり得ないのですが、疑いの目を向ける人のために、213ページ、「ケヴィン・ダットンのセルフチェックリスト」をやってみました。このテストの平均は、18~22点、サイコパスが疑われるのは、29~33点、です。しかるに、私は6点です。なので、サイコパスではまったくないのですが、これは、被サイコパスですね。

つまり、やられてしまう側?注意しないと!

DTAM (4)

すっかりご無沙汰の、'DTAM'ですが、

R. A. Newcombe, S. J. Lovegrove, A. J. Davison, "DTAM: Dense Tracking and Mapping in Real-Time", ICCV2011.

またdenseな復元に関わりそうなので、最近の潮流を眺めました。もっとも、潮流もなにも、私が興味を持った技術だけですが。

ISMAR2015(福岡)に参加したとき、'MobileFusion'というのに出くわして、凄いな~と思ったので、遅ればせながら論文を読んでみました。これにも'DTAM'が引用されていますので、それの進化形でしょうか?Pose Estimationのやり方がよくわからない...もう少し調べます。

三次元映像のフォーラム (14)

3Dフォーラムですが、次回の研究会(第119回)は、2017年3月28日(火)を予定しています。HODIC(一般社団法人日本光学会ホログラフィック・ディスプレイ研究グループ)との共催です。場所は、東京工業大学・大岡山キャンパスです。

テーマですが、「ホログラフィと3次元映像のこれまでとこれから-羽倉弘之氏のご逝去を悼んで」、となる予定です。いまプログラムを編成中です。最新の情報は、以下のURLをご覧ください。

http://home.catv-yokohama.ne.jp/55/kuwayama/2017_0328_119th_3dforum.pdf

多くの方々のご参加を、お待ちしております。

Rogue One

週末(2017年2月12日)、'Rogue One'を観に行きました。辻堂のテラモです。IMAX3Dにて(藤沢駅周辺の映画館は、すべて駆逐されましたので、映画を観るときは、テラモ(辻堂)か、ブルク(桜木町)です)。

久しぶりに3D映画を観ましたが(ホビット以来?)、目の疲れはないですね。確実に進歩しています(泉さんのおかげ?)。映画の内容については、ストーリーは単純ですが、楽しめました。エンディングで、若かりしときのキャリー・フィッシャーが!これはどうやって撮ったのでしょうか?

「スター・ウォーズ/フォースの覚醒」ですが、ちょっと間が空いたので、ストーリーを忘れてしまいました。こちらの続編は、いつやるのだろう。

第1回多摩ウィンターマラソン大会

もう何度めか分からない、数学同好会が、2017年2月10日に開催されました。私の仕事場から徒歩数分のところです。

隣に、フィアラックス社長の谷前さんが座ったので、雑談していたところ、ついにマラソンを走ることになったそうです。マラソンといっても、5キロですが。

大会はと訊くと、「第1回多摩ウィンターマラソン大会」だそうです。聞いたことのない大会ですが(第1回なので)、じゃあ私も、ということで、ランネットで見ると、ここではエントリできないようで、大会の専用サイトで。思案ののち、私も5キロでエントリしました。

でも、5キロという距離は、久しく走ったことがありません。イメージとしては短距離です。楽しみは、そのあとの飲み会です。

訂正:その後の調べで、ランネットでもエントリできることが、判明いたしました。検索に引っかからなかったのは、私が東京開催と勘違いしたからで、実際には神奈川でした。

家ネコ「めい」

当家のネコ「めい」が亡くなりました。2017年2月1日夜(2日早朝)。享年12。

2005年末に当家に来ました。捨てネコで、動物病院に拾われたのを、引き取りました。生年月日は2005年9月9日。月日は私と同じです。でも、捨てネコなので、正確にはわかりません。病院が推定で付けた日付です。

これまで元気だったのですが、昨年2016年末から、身体に腫瘍ができてきて、痩せ始めました。最初に気付いた腫瘍は、眼の渕ですが、病院の先生曰く、眼にできた腫瘍はほとんどが悪性とのこと。でも、正確に判断するためには、大学病院(日大)でCTを撮る必要がある、とのことでした。一度は予約しましたが、日に日に弱り、検査前の絶食に耐えられそうにないので、思案の末キャンセル。

動物病院へは数日に一度、検査や栄養投入に行ったのですが(連れと娘がやった)、これにもめいは疲れ果てているようでした。そこで家族で話し合い、(恩恵はあるかも知れないけれど、)無理な通院はもうやめて、寿命が来たのだと思い、見守ることにしました。めいもそれを望んでいるようでした。最後の数日はほぼ食べなくなりました。

排泄だけは、フラフラしながら、トイレに行きました(数回失禁)。最後の夜は、それまでひとりコタツの中で寝そべっていたのを、最後の気力で、一番面倒を視た、連れのフトンの上に行き、何度か小さく啼いたあと、そこで動かなくなりました。自ら死に場所を選んだようでした。

美しい最後でした。私も見習いたい。

朝の東海道線

朝の東海道線、東京方面に出向くときは、藤沢発7:47始発がおススメです。立つこと自体に問題はないのですが、混雑がイヤなので、座れれば座りたい。

さて、ある日、ちゃんと座れました。四人掛けの席をゲット。新聞を読んでいると、向かいの二人が話し始めました。見ると、双方男性です。男女のペアが(大抵は夫婦)乗っていることは珍しくありません。でも、この二人は男性です。少し気を留めると、小声で喧嘩しているんです。小声なので、理由はよくわかりませんが、片方はイヤホンをしていたので、音漏れが原因?分からないまま、片方は川崎で下車し、事なきを得ました。大声で怒鳴りあったり、取っ組み合いしたり、を想定しましたから。「お客様同士のトラブルにより、遅延してます」、という放送が頻発していますからね。

朝の東海道線は、これまでも喧嘩はあって、以前、立っている女性同士が喧嘩を始めました。かなりうるさく、車内中に声が響きます。そうしていたところ、前に座っていた男性が、「うるせぇよ」と一喝。これでやみました。お見事。

それから、向かい席に座っていた男性同士が喧嘩を始めたこともありました。何でも、膝が当たったとかそういうことなのですが、一方が、なぜ相手が悪いのかを論理的に説明しだしました。あ~このヒトは理系なんだな...このようなときの理系の理屈は、悲しいことに、まったく効果がないんです。火に油を注ぐ、逆効果ですらあることは、自ら(家庭にて)実証済みであります。

Idempotent Matrix

'Idempotent matrix'という単語を、某書籍で見ました。Idempotent matrixとは、

H2 = H --- (1)

が成り立つ行列Hである、との説明があります。むむ、これは射影(投影)行列のことではないでしょうか。そこで参照したのが、以下の書籍です。

David A. Harville, 'Matrix Algebra From a Statistician's Perspective (2008)'

統計の線型代数本として、評価の高いものです。本書の10章が、Idempotent matrices、というタイトル。ここを読めば、idempotent matrixがわかるのです。まだ読んでいないけれど。6ページのquick courseです。

Fashion, Faith, and Fantasy in the New Physics of the Universe (2)

ペンローズの最新刊、すなわち、以下の書籍が到着いたしました!

'Fashion, Faith, and Fantasy in the New Physics of the Universe'

2016年発刊の本書、2005年の、'The Road to Reality'、にちょっと雰囲気が似ていますね。amazonの書評を見ても、そのような感想を持たれる方々はいらっしゃるみたいです。これから読みます。読めないけれど。

全豪オープンテニス (2)

2017年全豪オープンテニス、決勝でフェデラーがナダルを下しました。

私は双方とも好きではありますが、やはりフェデラーに肩入れしていました。フェデラーとナダルが戦うと、ナダルが勝つという印象が強く、実際、四大大会の試合では、ナダルがここまで6連勝。最後にフェデラーが勝ったのは、なんと10年前の2007年ウィンブルドン決勝です。ちなみに、翌年2008年ウィンブルドンは、ナダルがフェデラーを下した。

この構図、昔の、ボルグとマッケンローに似ていませんか?ボルグは1980年まで、ウィンブルドンを5連覇しましたが、翌年1981年決勝でマッケンローに敗れ、ほどなく引退しました。ボルグは全米はついに勝てませんでしたが、これはマッケンローに阻まられた。これも、フェデラーとナダルの全仏と同じ(フェデラーは全仏を1度だけ勝っているが、ナダルに勝ったわけではない)。

フェデラーが最後に四大大会を勝ったのは、はるか5年前、2012年ウィンブルドンなので、まさかここで勝てるとは思っていませんでした。おめでとうございます!ナダルもがんばれ!

LOOCV (3)

これまで書いてきた、LOOCVに関する記事の内容ですが、この結果は、最近得られたものだと思っていました。

そう思った理由ですが、まず、きっかけとなった、「イラストで学ぶ機械学習」は、2013年の出版です。また、これを攻略しようとして教えてもらった、某Kさん紹介のポストは、2015年のもの。そして、このポストのターゲット本は、2013年の出版。

さらには、PRML(2006)、Murphy本(2012)、には、LOOCVに対する言及はありますが、詳しい記載はありません。このような状況証拠から、2012年以降に得られた結果ではないかと思ったわけです。

しかるに、機械学習とは全く関係ない分野の本、すなわち、

'Response Surface Methodology: Process and Product Optimization Using Designed Experiments (Wiley Series in Probability and Statistics) 4th Edition (2016)'

という書籍を、某Kさん(前述の方とは別人)から教えてもらったのですが、同書の39ページに、'PRESS Residuals'として、はっきりと紹介されています。PRESSは、'the prediction error sum of squares'の略です。呼び名はLOOCVではありませんが、同じものです。

さらに、驚くべきことに、この箇所の参考文献として、Alllenという人の、1971年と1974年のものが引用されています。つまり、LOOCVの発祥は、40年以上前のものだったというわけです。この事実、機械学習系の方々は、ご存じなのだろうか?

LOOCV (2)

続きです。以下の、式(1)と式(2)が等しいことを示すのが目的です。

nG = |H~-1Hy|2 --- (1)
Σ(y~k - yk)2 = Σ((y^k - yk) / (1 - xkTM-1xk))2 --- (2)

ノーテーションは、それぞれの引用元をご覧ください。

式(1)と式(2)の左辺は同じことです。問題は右辺ですが、式(1)のHyを計算してやると、なんと、式(2)の分子と同じとなります(実は、自明だった)。さて、残りのH~-1ですが、これは、対角行列の逆行列なので、各対角要素で、対応する分子を割るのと同じです。そして、これは式(2)の分母に等しくなります。というわけで、式(1)と式(2)が等しいことが示せました。

ちなみに、式(2)のMは、引用元では、ΦTΦのことですが、式(1)の引用元のように、(ΦTΦ + λI)であるとしても、大勢に影響はありません。

LOOCV

私の昨日の記事で、騒いでいたからではありませんが、某Kさんが、以下のポストを教えてくれました。

http://efavdb.com/leave-one-out-cross-validation/

要するに、Leave-one-out cross-validation(LOOCV)に関するポストです。まさに私が知りたかった内容です。これには、驚きました。この内容は、正しいと思われます。結論は、同ポストの式(8)。

つまりは、「イラストで学ぶ機械学習」の式(4.4)と、このポストの式(8)が、等しいことを示せればよいわけです。「イラスト...」の式(4.4)とは、以下です。

nG = |H~-1Hy|2 --- (1)

比較のために、nを左辺に持っていきました。ここでHは、以下で定義されます。

H = I - Φ(ΦTΦ + λI)-1ΦT --- (2)

H~は、Hの対角成分だけが格納された行列です。その他の詳細は、同書をご覧ください。

上記ポストの式(8)とは、以下です。

Σ(y~k - yk)2 = Σ((y^k - yk) / (1 - xkTM-1xk))2 --- (3)

Mは共分散行列です。これから、式(1)と式(3)が、同じであることを示します。というか、示したい。
プロフィール

加納裕(かのうゆたか)

Author:加納裕(かのうゆたか)


[略歴]
1983年3月東京工業大学工学部機械物理工学科卒業
1983年4月(株)図研入社
1987年1月同社退社
1987年2月(株)ソリッドレイ研究所を6名で設立、取締役
1994年3月同社退社
1994年4月(株)スリーディー入社
1996年10月同社取締役
1999年12月上海大学兼務教授
2002年10月同社代表取締役
2009年9月ものつくり大学非常勤講師~現在
2009年10月同社代表退任/退社
2010年1月ソフトキューブ(株)入社~現在(技術顧問)
2017年4月湘南工科大学非常勤講師~現在


[業界団体・学会活動]
電気学会・第三期次世代インタラクティブディスプレイ協同研究委員会(幹事)/最先端表現技術利用推進協会・アカデミック部会(旧:三次元映像のフォーラム)(副部会長)/日本バーチャルリアリティ学会ハプティクス研究委員会(委員)/ACM・SIGGRAPH(Professional Member)/情報処理学会(正会員、CVIM会員)/3Dコンソーシアム(賛助会員)/3DBiz研究会(個人賛助会員)/URCF(特別会員)

----------------

前職:立体映像産業推進協議会(幹事)/日本バーチャルリアリティ学会・論文委員会(委員)


[資格]
TOEIC805点
数学検定1級(数理技能)
中型・普自二免許
サッカー4級審判員

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード