未来のいつか/hyoshiokの日記

hyoshiokの日々思うことをあれやこれや

IPAフォーラム、Mixi

小さく産んで大きく育てる。

情報システムとしてmixi
  利用者数1500万人
  月間ページビュー136.7億
    PCよりモバイルの方が多い。
  一日に投稿される日記100万件
  21人友達と繋がる

2008年第2四半期売上28億8300万、利益10億1000万、mixiが9割担っている

利用しているOSS linux apache mysql/memcached perl
開発50名くらい
ソフトウェア開発チーム、運用チーム(10人くらい)、ファシリティ運用チーム(10人くらい?)

サーバー2000台くらい

毎日15時定時リリース
  金曜日はリリースしない
大きなものから小さなものまで
コードレビュー、QA、実機テスト
数百台のアプリケーションサーバー

  アプリケーションサーバクラスタ
  データベースサーバクラスタ
  ストレージサーバクラスタ

一基盤から基盤の一部品へ
  2台構成から国内データセンターで運用開始
  2004年春からサービス開始
    敏感なユーザーからネズミ算式に急激に増えた

  ユーザ数の急激な増加
  多数の生涯や過負荷状態
  システムの負荷対策が急務

  2005年春くらいから抜本的な対策へ

  Level 2 database cluster

  ユーザーごとに計算機資源を分配
  負荷状況に応じた分配比率の変更
  計算機資源を無停止で追加・交換
  二重化と局所化
  制限無く計算機資源を追加できる

  簡単に運用できるようにしたかった

  2005年3月末までに対応した。3週間でやった。

  日記から始めた。50万ユーザくらい。1000万ユーザをみこしたシステムにした。

Image Storage Cluster

  写真データ。一日数GB増加していた。(2005年春ころ)
  配布はコピーで対応できると思った。
  日記の特性をよく理解できていなかった。キャッシュを利用していた。

  日記の特性、投稿した瞬間アクセス増える。あとはほとんどない。キャッシュしても意味がない。

  イメクラ

  ストレージ容量を無停止で追加・交換
  安価なHDDを積んだ複数のサーバ
  位置情報はMySQL
  アップロードとダウンロードの負荷集中を回避
  制限無く記憶領域を拡張できる

システムのスケーラビリティが重要項目
  新しいサービスはあまりなかった
2007年くらいからサービスを充実

  段階的に投資できる
  少々壊れても大丈夫

  実際にやってみないとわからない

自由度・選択肢を確保する

毎日改善。自分達でどうにかする。

自分達で造る旨味
  毎日リリース
  日中の業務時間でのサーバ保守
  緊急性の緩和
  必要に応じた段階的な投資

OSSを部品として利用する

変遷する趣向への対応
確実なトラブル対応
ナレッジの蓄積
パターン化による保守コストの軽減

情報サービスの確信部分をシンプルに構築
データマイニングなどのサブシステムを必要に応じて別途アドオン
  5.6人で任意の人と繋がる

東京キャビネット
memcached

OSSは技術よりも対話
  人間がソースコードを作っている。
  人と人とのコミュニケーションとれる人が必要

大学生
  資格ではなく対外的活動をするように勧めた
  OSSなんてとんでもなく高度な作業と思いこんでいる。