- 種の危機って、こんなふうに唐突にも訪れるものなのね ＞ 豚インフルエンザ
- Lingr 終了 (5/31) のお知らせ (Lingr Blog)。
- クラウドコン
(Interop Tokyo 2009 での
クラウド コンピューティング コンペティション)
(日記3/26分,
4/15分)、参加申し込み締切。
- お申し込み、ありがとうございました。_o_
- 楽しくやりましょう。
- 渋谷へ。
- 早稲田大学 西早稲田キャンパスへ。
- 前回は 10月 3日 (日記)。
- 先日から、以前の西早稲田キャンパス (通称本部キャンパス / 本キャン) は「早稲田キャンパス」になり、以前の大久保キャンパスが「西早稲田キャンパス」になった。 東京メトロ 副都心線「西早稲田駅」が、旧大久保キャンパスと直結するくらい近いため。
- その西早稲田駅に 15:55 到着。
- しばらくキャンパスをぶらぶら。
生協カフェテリアのカツコーナー 56号館地下の生協カフェテリア 同左 生協 書籍部 63号館の新しいカフェテリア 同左 63号館 ロビー 63号館 大教室 - カツコーナーには今も小野寺さん
(日記2007年9/25分)
らしき人の姿が。
勤続 29年?
この間誰かから、いなくなった? という話を聞いた気がするのだけど。
1996年、修士 1年の頃は毎日のように食べていたここのカツ (特に和風おろしカツ)、今度食べよう。 - 57号館地下の書籍部、購買部はきれいになってた。
- カツコーナーには今も小野寺さん
(日記2007年9/25分)
らしき人の姿が。
勤続 29年?
この間誰かから、いなくなった? という話を聞いた気がするのだけど。
- 16時半から講義。 先端 IT 特別講義 I (ウェブページ) の 1コマ。 これ、他のコマにモグろうか。
- Windows で
CTRL_BREAK_EVENT, CTRL_C_EVENT
といったイベントを送信する Python プログラムを書いた。
- けど本当の目的は達せず。
- ソースコード:
- sendctrlevent.py
第一引数で指定したイベントを、第二引数で指定したプロセスグループに送る。
例: python sendctrlevent.py 1 0 (コンソールを共有する全プロセスに CTRL_BREAK_EVENT (= 1) を送る) - setup.py
py2exe (ウェブサイト) を起動するプログラム。
例: python setup.py py2exe
- sendctrlevent.py
- py2exe で実行ファイルに変換しておき、それを Java 仮想マシン (JVM) から子プロセスとして起動して、JVM に対して CTRL_BREAK_EVENT イベントを送り、全スレッドのダンプを書き出させる、という計画だった。
- UNIX 系の OS なら kill -QUIT 0 で済むところ。
- ところが、(Sun の) JVM から起動された子プロセスはコンソールを持っていない (?) ため、親である JVM にイベントを送れず。
- 残った手は JNI。 Windows 向けの C/C++ 開発環境も持っておくべきか。
- Win32 を使ったプログラミングはこれが初めてかもしれない。 LP64 とか LLP64 とか (日記2003年1/17分)、久しぶりに意識した。
- ドイツワインを頂いた。
- 頂いてばかり。
- 講義準備 + 講義。
- 終わるとホッとする。 来週まで間ができた、と。 今回については、次回は再来週。
- Debug Hacks を頂いた。
- 謝辞に Binary Hacks がががっ。
- 謝辞に Binary Hacks がががっ。
- エンジニアリングに明け暮れた土日。
- 特に
スレッドプール
への洞察が深まりまくり。
- スレッド数とキューの長さ、それぞれ、制限するかしないか。
- スレッド数を制限しないと、OS (やプロセス) の制限に到達し得る。 キューの長さを制限しないとヒープを圧迫し得る。
- 両方に制限を設ける場合、タスクを投入しようとするスレッドがブロックされることは避けられない。
- スレッドの作成とキューイングのどちらを優先するか。
- キューイング優先でキュー長無制限だと、スレッドは 1つだけにとどまり、増えない。
- 暇になったスレッドを実行終了させるか否か。
- Java の場合、非 daemon スレッドが残って、Java 仮想マシンの終了を妨げることがある。
- スレッドがすべて出払っている場合に、タスクを投入しようとしているスレッド自身で実行してしまうこともできる。しかし、投入側の処理が完全に止まってしまうため、処理によってはデッドロックの危険がある (?)。
- スレッド数とキューの長さ、それぞれ、制限するかしないか。
- どういうスレッドプールを作るべきかは、場合によって異なる。
- そんなわけで、Overlay Weaver での多ノードエミューション (日記4/22分) は、マルチプロセッサを活用しつつ、過負荷 or 時計のジャンプを検知して実験シナリオの再生速度を自動的に調整することができるようになった。
- 特に
スレッドプール
への洞察が深まりまくり。
- チュ・ジフン
(日記4/18分)
が麻薬を...
(47NEWS(1),
(2),
MSN産経ニュース,
K-PLAZA.com,
innolife.net
(1),
(2))
- 目の前に迫ったキッチン (映画, チュ・ジフン主演) の日本公開。 どうなっちゃうのか。
- カルボナーラ
(日記4/5分)
とずんだ団子
(日記2/24分)。
- あと、草餅 + 普通のあんこ。
- peer-to-peer というか構造化オーバレイなソフトウェア 2題。
- inforno
2009.04.23:
勉強がてらDHT(Kademliaっぽいもの)を実装しました
Kademlia (分散ハッシュ表の一方式) の、yet another Python 実装。 - 驟雨のカーネル探検隊（只今遭難中ｗ
2009-04-25:
ニコニコ動画のキャッシュを皆で共有するソフト「Genkidama」をリリースしまふ。
peer-to-peer なニコ動キャッシュ。 これ、やりたかった。 というか今からでもやりたい。
- inforno
2009.04.23:
勉強がてらDHT(Kademliaっぽいもの)を実装しました
- コンピュータウィルスとかマルウェアとかを可視化
(CNET Japan,
frsyukiさんのつぶやきより)。
- 左は電子メールのやりとりを可視化したもの。
右は Overlay Weaver の可視化ツール Overlay Visualizer
(日記2006年2/7分)。
- そっくり ...って、ありふれたやり方だから。 でも見映えがまったく違う。 このくらいやらないとだめか。
- Overlay Visualizer は、JRE が入ってるマシンですぐに動かして楽しめます:
Overlay Weaver: スクリーンショット・動画・デモ
動かせない場合はデモ動画 (日記3/31分) をお楽しみください。
- 左は電子メールのやりとりを可視化したもの。
右は Overlay Weaver の可視化ツール Overlay Visualizer
(日記2006年2/7分)。
- 新宿へ。
- 前回は 3月 27日 (日記)。
- cloud 研究会
(日記3/27分)。
マイクロソフト新宿本社。
- 今日の内容。
- 山本さんによる WebSphere eXtreme Scale / ObjectGrid のお話
- Gregor Hohpe さんによる Bigtable, Google App Engine のお話
- 今日の新しい ACID:
Associative, Commutative (可換), Idempotent (何度適用しても結果が同一になる性質), Distribut**ive**
これはもちろん BASE 記事の内容を踏まえてのお話。 "idempotent" は BASE 記事でもよく出てくる語だし。 - Starbucks does not use 2-phase commit either: コーヒー作りは作り直せるし (retry), 場合によっては代金は返せばいいし (compensation), キャンセルの際はコーヒーは捨てればいい (write-off)。
- 今日の内容。
- マイクロソフト新宿本社を出るあたりで、高沢さんとすれ違い。 スケジュール帳の記録によると 2002年 10月 22日以来、6年半ぶり?
- 懇親会。
沖縄料理 ぱいかじ 新宿新南口店。
- 21時半から 2時間くらい。
- AMD Phenom II X4 955、明日発売
(レビュー:
MYCOM,
4Gamer.net,
ITmedia +D PC USER,
PC Watch,
記事:
ASCII.jp,
AKIBA PC Hotline!,
MYCOM,
PC Watch)。
- 人が 940 をたくさん買った (日記4/21分) 矢先に。
- ケーキ。
- 渋谷東急に入ってる銀座ぶどうの木の抹茶ティラミス。
- ソフトサラダ。
- 葛藤: まだ食べられる? いい歳して、もしこんなことで腹をこわしたら...
- 届いた
机。
- この品はよさげ。
- Overlay Weaver での多ノード エミュレーション
(日記4/18分)、継続中。
- 30万ノードは問題なさげ。
- 40万ノードは、現状、厳しそう。 PC の処理性能が追いつかないことと、過負荷検知 / 実験シナリオ再生速度動的調整機能の出来が今一歩であることが原因。 要改善。
- 10万ノードの実験 × 9本を 2時間で済ませられる実験パラメータを特定した。 それこそ当初は、4千ノード実験 1本にも 11時間かかってた (スライド:研究開発の悩み: 大規模分散システムの場合 の 5枚目)。
- 3年間の (断続的な) 取り組みで、できる実験の規模を 2桁上げた、と。
- 0.9.1 リリース
(日記4/18分)
以来の前進:
- マルチプロセッサをある程度有効活用できるようになった。
- 2,3年ぶりに Koorde のパラメータを調整した。 慌しい実験シナリオでの動作が改善した。
- 届いた
Phenom II X4 940
(日記4/7分)。
- 合計 4 x 3 = 12 コア。
- 換装。
- 届いた
椅子とワゴン。
- よければあと何脚か?
- 2度目の返納
(日記1/22分)。
- 完全にすっきり。
- Oracle が Sun Microsystems を買収だと (Oracle and Sun)。
- b-mobile 3G
(google)。
- 購入。仕方ない。
- 10月に EMOBILE 端末を失って以来、なんとかしのいできたけど (日記1/18分)、限界。
- しかし、急いで購入した目的が学内での講義、ってのがアレだ。
- サイズ 4 KB のすごいメガデモ
(Slashdot Japan)。
- 4 KB って... にわかには信じられない。
- メガデモにまつわる思い出。
大学生の頃 (1992年〜) メガデモ鑑賞が好きだった。 ある、すごいメガデモに、プログラミング担当者のこんなメッセージが入ってた 『リリース遅れてごめん。高校 (high school) で数学の試験があったもんで。』 ...高校生かよ！とショックを受けた。
情報系の大学生だった身として考えた。 プログラミング (といくばくかの数学) の腕はこいつらの方が確実に上。 また、大学で仕込まれるものでもない。 ということは、大学で学ぶ身としては、純粋なプログラミング能力ではないところで勝負しないといけない。 - 大学って何だろう? と考えるひとつのいいきっかけだったのかもしれない。
- そうか、いまどき、実機がなくとも、動画共有サイトでメガデモ鑑賞し放題なのか。
- PlanetLab 上で運用している Overlay Weaver のノード
(日記3/9分)
が
35ヶ国の 586台に。
- これまでの最大規模は 35ヶ国 572台 (日記12/23分)。
- Overlay Weaver
(ウェブサイト,
日記12/7分)
0.9.1 リリース
(アナウンス:
英語,
日本語)。
- PC 1台で何ノードを動作させられるか、再度チャレンジ中。
去年の 5月 (日記5/24分) に 15万ノードを達成して以来のこと。 - 今のところ、PC 1台で
25万ノード
を動作させることができてる。
25万ノードで DHT (分散ハッシュ表) を構成して、25万個のデータをつっこんだ後、取得。その成功率:
所要時間は、9通りの条件について実験して、Athlon LE-1640B で 23時間半、Phenom II X4 940 (日記4/7分) で 21時間。250000 / 250000 log-Iterative-Chord-250000-15-2 250000 / 250000 log-Iterative-Koorde-250000-15-2 250000 / 250000 log-Iterative-Pastry-250000-15-2 250000 / 250000 log-Iterative-Tapestry-250000-15-2 250000 / 250000 log-Iterative-Kademlia-250000-15-2 250000 / 250000 log-Recursive-Chord-250000-15-2 250000 / 250000 log-Recursive-Koorde-250000-15-2 250000 / 250000 log-Recursive-Pastry-250000-15-2 250000 / 250000 log-Recursive-Tapestry-250000-15-2
- 分散環境エミュレーションについての次の課題は、マルチプロセッサの有効活用と安定的なエミュレーションの両立。 現状、2 とか 4プロセッサくらいはほどほどに活用できるけど、8 とか 16 あっても多分あまり活きない。
- 多ノードエミュレーションについての経験も文書にまとめておくべきなのだけど、論文として認めてもらう (→ 査読をパスする) のはおそらく困難。 っていう先入観が一番の敵なのかもしれない。
- 2 ^ 18 (≒ 25〜30万) ノードの非集中 並列/分散処理。 その方式、実験のためのソフトウェアとそのアーキテクチャ。 どこへ向かうのかもっと明に述べておいた方がいいのかも。
- PC 1台で何ノードを動作させられるか、再度チャレンジ中。
- 恵比寿 〜 自由が丘。
- おされな休日に見えて、実はアンティーク & チュ・ジフン (google) ツアー。
- 休日を休日らしく (出かけたりなんだりで) 過ごしたのは、先月 29日以来 3週間ぶり。
- 恵比寿ガーデンプレイス。
- 恵比寿ガーデンシネマ。
アンティーク (韓国映画)
(日記2/1分)
の初日。
- 楽しんだ。
- テンポ・間がよくて、飽きさせない。 「下妻物語」「嫌われ松子の一生」の中島監督を思い出した。
- ちょっとしたシーンで皆笑っていて、なんというか、ファンミーティングか何かのような空気。
- 観客の中に男性はせいぜいもう 1人?
- 自由が丘駅
(日記3/29分)
からスイーツフォレスト
(日記6/15分)
へ。
- アンティークと提携した展示がいくつか。
- クロカンブッシュ (google) と、チュ・ジフンの等身大パネルが目玉。
- ジフン (のパネル) と一緒に撮影。
- 次は、自由が丘駅を通り過ぎて
- 桜は、品種によっては少し花弁が残ってる。
- BABBO ANGELO (バッボ アンジェロ)
(google)。
- かなりの人気店らしい。
- 料理。
- 前菜の盛り合わせ, ナスとポルチーニ茸のパンのせオーブン焼き, ポルチーニ茸のリゾット, ビスマルク, ティラミス, カプチーノ
- ビスマルクは、つくばの Arzonie ITALIA (アルゾーニ イタリア) (日記2006年2/23分) 以来 3年 2ヶ月ぶり。 あれは本当においしかった。
- 前菜, ピッツァ or パスタ, デザート, 飲み物で、夜は 3,255円。 魚 or 肉料理が付くと 4,515円。
- 部屋の中の配置計画。
- 最中。
- シンプルなつくり。おいしい。
- 神保町へ
(日記1/20分)。
- 神保町三井ビル
(日記9/8分)。
- 夕食。近くのお店、五大陸。
- Aさん、Kさん、Kさん、Oさんと。
- 神保町三井ビル
(日記9/8分)。
- 予定ぎっしりの一日。
11:00 〜 13時前に退席 輪講 13時前 〜 13:10 お弁当 13:15 〜 14時半過ぎに退席 会議 15:00 〜 16時前 神保町へ移動 16:00 〜 17時半頃 インタビュー / 対談
- iPhone 上の Skype。
- 動作には問題なし。よかった。
- この広告を見てずっと気になってたこと。
- 右耳に、左耳用をはめてる。
- 工具を調達。
- これで棚をバラすぞ、と。
- クラウドコン
(Interop Tokyo 2009 での
クラウド コンピューティング コンペティション)
(日記3/26分)
についての記事:
出でよ、日本発の「クラウドを支える技術」
(日経 IT Pro)
- パンダとして踊っとります。
- 自称「若者」は御参加を、そうでない人は若者をたきつけてください。
- クラウドって何? っていうあたりは、あんまり深く考えずに。
- いろいろと不備があって申し訳ございません。
- StarBED (大きな PC クラスタ) は 5月半ばから使える予定です。
- 自由課題なので、1位, 2位, ..., N位という表彰ではなくて、○○賞、□□賞、... という表彰になると思います。
- 夕食へ。
- Twitter でのつぶやきに反応したところ、突発的に。
- S村さん, M好さん, M浦君, M田君と。
- 4月にできた研究室におじゃまして、そのまま一緒に。
- お料理。
- しゃべりまくった。
- 学科の新 2年生向けガイダンス。
- 先生方から就職活動とかいろいろ説明。
- その後の懇談会でお話した学生曰く 「TOEIC で 875点取ると英語の単位を全部もらえるらしいから、それを狙ってる」。 聞けば、某校で、中一の頃から英語の授業は全部英語で受けてきたとのこと。 有名中高の知識に乏しいもんで、そういう学校があるのか！と。
- 講義。
- 5ヶ月ぶり (日記11/17分)。
- iPhone for everybody キャンペーン
(google)
に申し込み。
- パケット定額フルの上限が 5,985円から 4,410円に。
- その代わり、2年間契約。
- 来月から適用。
- 馬車道駅
(日記1/10分)
〜 桜木町駅 〜 横浜駅
(日記1/23分)。
- みなとみらい線 馬車道駅から JR 桜木町駅まで歩き。
- 6〜7分?
- くすくす 桜木町店
(google)。
- Fじたさん、垣内さん、倉本さん、桐畑さん。
- すこしカラんでみた。
- 横浜スカイビル 1階、Bar Marceau。
- 飲みすぎた。
- みなとみらい線 馬車道駅から JR 桜木町駅まで歩き。
- 桜。
- 葉が増える様子は、萌えるという言葉がぴったり。
- ランチ。
- メモリ多めの PC が手に入ってから
(日記4/2分)
Overlay Weaver
(日記3/31分)
を用いた多ノード実験を再開してる。
- PC 1台、メモリ 8 GB でどこまで行けるか。
- これまでの最高記録は、メモリ 2 GB で動作させた 15万ノード (日記2008年5/24分)。
- 今のところ、6日から 7日にかけて 20万ノードの動作に成功してる。
- PlanetLab
(日記3/31分)
に登録されているコンピュータが 1,000 台を超えた。
- 実際に使えるのは五百数十台。
- 満開 + 少しの葉。
- 足もとには花びらが敷きつめられ。
- ケーキ。
- ○に入る文字を当ててみよう！
(日記2005年8/25分)
- 今日出したあるメールの一部。
- 帰宅したら、スカパーの機材が設置されてた。
- の坂
(ウェブサイト,
日記12/24分)。
- 恵比寿駅。 2ヶ月ぶり (日記2/1分)。
- 歓迎会。 18時半前から 22時頃まで。
- お料理。
琥珀エビス, 帆立貝柱&塩辛, 野菜の盛り合せ, 日本酒(勝駒), ホタルイカ沖漬け, 明太子わさび漬け, 桜ますのすじこ, 貝, 岩ガキ酢, 焼きやさい盛り合せ, さざえのいかわた焼き, 青森シャモ炭焼, 桜エビととうもろこし天ぷら, 宮崎和牛ハラミ炭焼, 雑炊, プリン - 写真を見て気づいたこと: なんてこった、こんなに食べたのか。
- 満開。
- 葉が出はじめた。
- Phenom II X4 940
(google)。
- quad コア。
- 1台分だけ試しに購入。
- quad コアプロセッサ, メモリ 8 GB のマシンが 4万円 (税別) という計算。
- Facebook の画像ファイル向けバックエンドストレージ Haystack
(TechCrunch Japan(1),
(2),
Niall Kennedy's Weblog)。
- ここでも "No need for POSIX"。
- メモ: 傷だらけ新興市場に "挑戦者" / 長期投資家を呼び込み、新規上場の激減に歯止め (日経ビジネス)
- Google は 2005年から
コンテナ型データセンタ
を運用していた
(CNET Japan,
Green Data Center Blog:
Google's Container Data Center Video Tour)。
- 中田さん (日経 BP) 情報。
- Google の Mountain View office で開催された Efficient Data Center Summit (google) での講演より。
- Sun, IBM, HP 各社のコンテナ型データセンタ。
Sun の発表ですら 2006年秋。
- Sun の Project Blackbox (日記2006年10/18分)
- IBM の発表 (日記2008年6/16分)
- HP POD (Performance Optimized Data Center) (日記2008年7/17分)
- コンテナ型っていうアイディアは、どこでどう生まれて、どう流れていったのか?
- 2 GB の DIMM が 44枚。
- 4枚は 4月 2日に装着済み。
- PC に挿して、例によって Memtest86。
- そろそろ、宇宙線によるビット化けとか気になってくる。
- 大学も入学式。
- 天気がよくて、気持ちのいい門出。
- 写っているのは、大学院の入学式に向かう人たち。 学部の入学式を覗いてみたいような。
- こんなにも人を魅きつけて心を浮き立たせる桜。 実はかなり危険な代物なんじゃなかろうか。
- 千石駅 〜 巣鴨駅。
- カルボナーラ
(日記3/20分)。
- PC クラスタ
(日記4/2分)
の設定作業。
- NIS サーバとクライアント、NFS サーバ、NIS マップを参照しての自動マウント等々の設定。
以前の作業メモが残っていて、ずいぶんスムースに済んだ。 - これで、恵んでもらった PC 1台 (日記12/2分) しか実験環境がない、っていう状況は脱することができそう。
- メモリ 8 GB。 自由になるマシンのこれまでの最大メモリは 2 GB だった。
- 近いうちに、HPC とか研究目的でも、自分で持つより Amazon EC2 (日記2007年11/21分) の方が合理的ってことになるんだろう。 性能評価が必要な目的にはまだ厳しいけど。
- NIS サーバとクライアント、NFS サーバ、NIS マップを参照しての自動マウント等々の設定。
- これまで組んだ
PC クラスタ。
2003年 1/17
1U サーバ2004年 12/9
Endeavor AT2002006年 6月
OptiPlex GX6202009年 4月
ML115 G5- Appro の 1U ラックマウントサーバ → エプソンダイレクト Endeavor AT200 (google) → Dell OptiPlex GX620 (google) → P ML115 G5
- だんだんチープに。 ○千万円 → 約 150万円 → 100〜200万円 → 数十万円のとっても下の方
- どれひとつとして、HPC (高性能計算) 目的ではなく。
- 1U サーバで組んだやつは、ラック 1本分は Linux クラスタ、もう 1本分は Linux / Windows デュアルブートのクラスタだった。 2003年度末、レンタル代の予算が切れて、返却。
- Endeavor AT200 は、コンパクトで、並べた際の見た目もよくてよかった。 2006年 4月、退職とともに使えなくなり。
- OptiPlex GX620 の選択は失敗。 コンパクトさで選んだものの、巨大な AC アダプタが外付けで困った。 しかもそのケーブルが本体から抜けやすい。 供給電圧が低めの状況でほどほどの処理をさせると内蔵の時計が大幅に遅れる (5分/1時間！) のも困った。 サービス提供マシンとしてだんだん切り売りされた後、2008年 10月半ば、節電のために停止。使えなくなり。
- VMware Player
(日記9/4分)
2.5.2。
- 更新。
- PC いじり。
- おととい (日記3/31分) 届いた品。
- Fedora 11 Beta のインストール中にコケる。 Fedora 10 もコケる。 何度繰り返してもコケる。 swap パーティションを作るようにしたら成功。 メモリ 512 MB (- ビデオ用領域) もあってコケるか?
- メモリを追加して Memtest86 (日記2006年4/1分) でテストしたり。 使い始めてからメモリの問題でハマるのは嫌なので。
- Fedora の system-config-network (IP アドレスとかの設定ツール) は、依然、嘘情報を設定ファイル (/etc/sysconfig/network-scripts/ifcfg-...) に書き込む。ぉぃ。
- 靴下。
- 穴。よく開く。
- ミーティングの準備。
- プロジェクタを置いてみた。
- ミーティングというか、取材 + 雑談。 2時間半くらい。
- 増井さん (pitecan.com, 日記2007年12/9分,2006年9/29分) が慶應 SFC の教授に。
- キャンパス・桜
(日記3/31分)。
- サークルの新入生勧誘が昨日から始まった。
- 桜はそろそろ満開。
- 今年の 4月 1日は特に発表することなし。
- OK ストアのシュークリーム。
- バニラビーンズも入ってこのボリュームで 100円！
- 近所に着任した三好さん、鈴村さんが御挨拶にいらした。
- <2008 at shudo.net>
を廃止した。
- 去年 (日記2008年4/1分) と同じタイミング。
