丸レク: 分散key-value storage (2/18)全体に公開
2008年02月25日00:38
丸山先生レクチャーシリーズ2007-2008
第4回「クラスタ/キャッシュ技術」
に参加してきました。

 技術フェチ日記 2008/2/18
 http://www.shudo.net/diary/2008feb.html#20080218

大変勉強になりました。
特に、IBM 技術理事 清水さんのお話は大変 inspiring でした。
あぁ IBM にはこうやってリベラルに技術の将来を考えられる人がいて、そういう人がきちんと (成果をあげて) 評価されているのだなあ、とも感じました。ファンになりました。

(以下、技術フェチ日記と同じ文章)

JBoss Cache, IBM ObjectGrid, 元 Tangosol / 現 Oracle の Coherence、どれもキャッシュ目的で DBMS の手前に配置する分散 key-value storage。

オープンソースの memcached といい Amazon Dynamo といい、この種の key-value storage が表舞台に出て来てる昨今。

このあたり、consistent hashing を基礎技術としているものが多い。構造化オーバレイのアルゴリズム Chord のベースとして、つまり peer-to-peer の技術として僕の前に現れた技術が、最近こうしてエンタープライズシステムの基礎技術として再び現れているというのが面白い。

ここ何年か研究してきた分散ハッシュ表 (DHT) も、分散 key-value storage を構成する技術。出自やもともとの方向は違えど、いろいろ共通するものがある。

DBMS と peer-to-peer、それぞれの分散 key-value storage で異なるのは、狙う
  ・スケール
  ・churn 耐性