wrong, rogue and log

Brad Efronの"Large-Scale Inference", "too much too little data problem”

久しぶりに買った本は以下の偉大なBradley Efronの本である。



Large-Scale Inference:
Empirical Bayes Methods for Estimation, Testing, and Prediction
http://www.amazon.com/dp/B004K3C37G

経験ベイズに基づいた巨大データの推定問題を扱っていて、これは以前からきちんと勉強しなければと思って放置していたものだった。以下の講義録をモノグラフにしたものらしい。

Stats 329 Large-Scale Simultaneous Inference
Winter 2009/2010
http://www-stat.stanford.edu/~omkar/329/

昨日から時間があるときにパラパラ読み始めているが、具体例が豊富でRのスクリプトやデータもEfronのサイトにおいてあってハンズオンで確かめることができる。

http://www-stat.stanford.edu/~omkar/monograph/data.html

これはおもしろすぎる。ただ、独学で付け焼刃的にベイジアンを勉強した身には、この本を読み進めるのは結構骨だ。上のStats 329の動画があればいいのに…。

あと、Tumblrの方には紹介したのだが、最近Efronがやった講演についての講演前インタビューがあって、"too much too little data problem”という言葉でとても面白いことを話している。



「今の時代は一見大量のデータに溺れているかに見えるけれど、ある特定のことに答えようと思って詳しくみると実はまだまだデータが足りないことがある。…（データに溺れることと、データが足りないことの）両方が起きてるんだ。」

なるほど！

2010 Donald Knuth's Annual Christmas Tree Lecture

2010 Donald Knuth's Annual Christmas Tree Lecture
http://bit.ly/ibbJbN

"Mathematicians have known for almost 300 years that the value of 'n factorial' (the product of the first n positive integers)is approximately equal to n/e to the nth power times the square root of 2(Pi)n, where Pi is the ratio of the circumference of a circle to its diameter. That's 'Stirling's approximation.' But it hasn't been clear why there is any connection whatever between circles and factorials;the appearance of Pi has seemed to be purely coincidental, one of the amazing accidents of nature. Recently however Johan Wästlund has found a nice explanation of this phenomenon, and the reason turns out to be connected with the theory of trees."

日本時間の今日の午前中にやった、上記のクヌース先生のウェビナーは本当に面白かった！

カタラン数



が



で近似できることを証明していき、それが/4の円の領域を面積で埋めるという図形表現に帰着するという話だった。つまり、カタラン数は木（ツリー）の分割の場合の数を表す数列としても有名だから（以下のリンクを参照のこと）、そのツリーからがでてくるというので、"Christmas Tree Lecture"で、"Why Pi?"の題名が付いている。

http://mathforum.org/advanced/robertd/catalan.html

ちなみに、WolframAlphaを使って上の近似具合をたしかめると、確かにnがデカイとかなり良い感じになっていく。

plot abs(Catalan Number n - 4^n/(Sqrt(Pi n) (n+1)))/(Catalan Number n), n>=0 - Wolfram|Alpha
http://bit.ly/h7GMjW



元ネタというか、基本的なアイディアや図形表現はJohan Wästlundの以下のペーパーから影響をうけたそう。

http://www.math.chalmers.se/~wastlund/monthly.pdf

最後は、カタラン数がを含んだ式で近似できるということは、逆にの表現をカタラン数から生成される数列で近似でき、その数列の構成をプロットしていくとランダムウォークの確率過程が再現できるという、なんとも面白い話にシビレタよ。

関係ないけれど、クヌース先生、MacBook Air使ってるんだね。もちろんプレゼン資料はTeXだった。

The Nobel Prize in Physics 2008

The Nobel Prize in Physics 2008

をを、やっと南部陽一郎大先生がノーベル物理学賞ですよ。15年くらいタイミングをはずしてるんじゃないのか？でも、すばらしい！

あと小林・益川先生も受賞ということで、すばらしい！これはニッポンに物理学ブームがおきますかね？素粒子・クォークブーム再来とか。CERNによる標準モデルの検証もありますしね。

あとは近藤先生と外村先生ですかね。

統計学を用いたシリアルキラーの判別

昨日のエントリでも紹介した"The Numbers Behind NUMB3RS"の第二章にも載っている犯罪例で、"Perfect Poison: A Female Serial Killer's Deadly Medicine"というルポライティングにもなっている、元看護婦のシリアルキラーKristen Gilbertの犯罪を、簡単な統計的検定であきらかにするのだ。

Kristen Gilbertはマサチューセッツ州の退役軍人援護医療センター("Veteran's Affairs Medical Center")に勤める看護婦だったが、彼女の担当する患者が死に至るケースが過度に多かった。これについて不審に思った病院の担当者が調べたところ、彼女の勤務している時間と勤務していない時間で死者の数について、以下のような結果がわかったのだ。


これをただ見るだけでもGilbertの勤務する時間帯とそうでない時間帯で死者のカウントを比べると、4倍近くの確率の差があることがわかる。今回はこの2*2の分割表データについて、カイ自乗検定を用いた独立性検定をRを用いて行う。

> x <- matrix(c(40,217, 34,1350), nrow=2, byrow=T)
> x
[,1] [,2]
[1,] 40 217
[2,] 34 1350
> chisq.test(x)

Pearson's Chi-squared test with Yates' continuity correction

data: x
X-squared = 83.4638, df = 1, p-value < 2.2e-16

この場合の帰無仮説は「Gilbertが勤務する場合と勤務しない場合について、死者の数に変わりはない」というものであり、その帰無仮説が2.2 10^-16という超低いp値によって棄却される。つまり、Gilbertの勤務により明らかに死者が増えていることが、統計的に有意な結果として得られるのだ。

その後、Gilbertが患者にアドレナリンを過剰投与した証拠が見つかったことで、裁判により第一級および第二級殺人罪が確定し、終身刑に服している。そして、裁判の過程でアドレナリンによる連続殺人をした動機が明らかになったのだが、その理由がビックリだ。アドレナリンの過剰投与を患者におこなえば、患者は心停止状態になる。その心停止状態に対処するために集中治療室での治療が行われるが、その集中治療室の招集を掛けるのが警備担当なのだ。で、Gilbertはその一人の警備担当に夢中になり、自分の看護技術を見せつけ関心を得たいがために、こういった犯罪を犯し続けたのだ。うーん…

こんな簡単な例をみてもわかるように、"We all should use mathematics every day."となるべきなのだ。

The Bourne Ultimatum

The Bourne Ultimatum

ロバート・ラドラム原作の、記憶をなくした元CIAの凄腕工作員ジェイソン・ボーンの自分探しの旅、第三弾であり、その完結編である（ただ、ジェイソン・ボーンシリーズは三作ではなく現在も続いている、ボーンが少し歳をとった作品があとひとつある）。映画は三作のうちこの作品が一番良くできていると思う。

モスクワ、パリ、ロンドン、マドリッド、タンジール、ニューヨークという都市を巡る旅情溢れる自分探し＋復讐＋殺人旅行である。抑制のとれたリアルなアクションシーンと敵となるCIAのチームを翻弄しておちょくるシーンの配分がちょうど良く、見ていてあまり飽きない。マット・デイモンのジェイソン・ボーンははまり役である。ショーン・コネリーのジェイムズ・ボンドと同様な効果で、マット・デイモンのジェイソン・ボーン（劇中本名：デビッド・ウェブ）も、俳優と劇中キャラが強く結びついてしまい、僕はマット・デイモンのどの役を見ても記憶をなくした元CIA工作員にしか見えなくなってしまった。関係ないけれど、初見ではいまだにマット・デイモンとマーク・ウォーバーグの外見が区別つかないんだよな。両者のキャリアは、ハーバード大卒でアカデミー脚本家賞受賞者と、高校中退の前科者のパンツモデルという風に、全く異なるにもかかわらず。

なかなか面白かった。

無料サービスと利用者の思い上がり

今週半ばくらいからエキサイトブログに不具合が起きている。立ち上げ時を除くと、数多くのブログサービスでも、IISを利用しているにもかかわらず、抜群の安定性を保ってきたエキサイトブログであるが、画像表示のレイテンシーが顕著だったり、リクエストのレスポンスがタイムアウトしたりする不具合が生じているのだ。

不具合が起きた時期がちょうどシステム増強タイミングだったり、Twitterクローンを導入したりした直後だったので、それらが原因なのだろうか。いずれにしろ、現場の開発＋オペチームは修羅場であろうことが容易に目に浮かび、少し心が痛い。今朝方にはトラックバック機能を停止したり、その他の対策をとったりするという応急措置で、レスポンスが通常に戻っているようだ。現場におかれては、心ない利用者の罵倒に急かされて拙速な対応をするのではなく、アクセスログの日次解析やサーバー間のリクエストログを解析するといった根拠に基づいた原因究明を行い、対策を講じていただければと思う次第である。気長に待っていますから。

というわけで、話題は無料サービスの利用をするユーザーの思い上がりについてである。今回の不具合でも、不具合が起きているシステムを担当するところのエキサイトのブログチームに対して、無料ユーザーであるのにも関わらず、無責任な罵詈雑言を投げつけるバカが多い。いや、有料ユーザーであっても、穏当なクレームは可であるが、意味のないアサルトはしていけないと思う。それは、実際には原因がわからないのだから、その時点で事業者を責めるのは正義でないし、罵詈雑言を言っても問題は一切解決しないからだ。

文句を言うならば、自分でサーバーを立ててブログを運用すればいい。そうすれば、個人サーバーでも運用がどんなに大変であるか、すぐわかるから。それができないなら、自分はその程度だとあきらめて、自分の能力以上のことは、必要以上に人を責めるべきではない。そのことが、バカで無くなるための一歩になるはずだから。

アダルトアマゾン

なんと日本でもアダルトアマゾンですって。

さすが、地球最大のストアなわけですよ。

他者の声実在の声

他者の声実在の声

野矢茂樹さんの「哲学的」エッセイ。前から野矢さんの論理学の教科書や著作を読むにつけ、その文章の端々や後書きから、この人はエッセイストとして優れているなあと思っていたところ、この本がでて、その確信を強くした。

一見、一貫していない断章が続いているようで、その実「他人の語り」「自分の語り」というテーマが貫いていて、その「語り」という切り口から、「考える」ということ、「分かる」ということ、「アキレスと亀のパラドックス」そして、論理学・哲学が「語られる」。その誤謬の有無は、きちんと検討しなくてはいけないが、一読したところ野矢さんの「語り」にやられてしまっているのは確かである。面白いですよ。

パーキンソンの法則

パーキンソンの法則

以前紹介したピーターの法則と双璧をなす、組織力学の諧謔的エッセーの名著。

公務員は如何にして増えるのかというテーマのもと、

　　役人の数はなすべき仕事の軽重、時には有無にかかわらず、
　　一定の割合で増加する。

というパーキンソンの法則を、「ひまつぶしは一番忙しい仕事である」という永遠の真実を背景に、「役人は部下を増やすことを望む。しかしながらライバルは望まない」と「役人は互いのために仕事を作り合う」という二つの公理から「演繹的」に導くのだー。

更には、「凡俗の法則」と名づけられた、予算委員会における次の法則：

　　議題の一項目に審議を要する時間は、その個目についての
　　支出の額に反比例する。

なども出色の出来だ。こちらは、保育園や小学校の父母会・PTAの会長・副会長なぞをやってると、本当に身にしみる。施設の改築費などの数千万円は「凡俗」には予想だにできぬ額であるため、承認には数分でけりがつくが、子供の数百円から1000円程度のおやつ代・ジュース代の採決をとるためには一時間も二時間も侃々諤々の大議論になる。もうアホかと。

その他にも組織のバカ現象を風刺にとんだ筆致で描いているので、飽きることがない。訳もとてもよい。オススメ。

このつまらない仕事を辞めたら、僕の人生は変わるのだろうか？

このつまらない仕事を辞めたら、僕の人生は変わるのだろうか？

いわゆるCalling(天職)を求めて、悩み彷徨う50人の人間の姿を、参与観察した記録。オススメ。

参与観察された50人の中は、弁護士や医者などのエリート職から坊主や看護士・警察官までと幅広い。しかし、共通しているのは著者が関わった時点において、誰もが現在の職業を自分とは何か違うものと感じていて、他に自分にあった職があるはずだと信じていることだ。著者も同様で、スタンフォード卒業（SAT/LSATのスコアがバカみたいに高い勉強エリート）、コンサル・証券と経て、なぜか現在フリーライターという経歴にいたるまでを赤裸々に描いている。

これをただのモラトリアムであると片付けるのは簡単だ。しかし、むしろ僕は自分に嘘をつけない人間がとるべき道のケーススタディであるとしたい。中でも、ドン・リンの物語とデニ・レナードの物語、そしてジョー・ベラノフの物語は大変示唆的だった。

USでは、スタッズ・ターケルの一連の書籍をはじめ、このような市井の人間のインタヴューをまとめた書籍に出色のできのものがでることが多い。この本はUS/Japanに関わらず、仕事人として常に内省的であるべきとろころの道をある程度描いた大変よい作品となっている。