2007年08月03日

Amazon S3をマウントできる無料ソリューション発見 ソフトウェアRAIDも組めるでよ

Posted by nene2001 at 07:24 / Tag(Edit): amazon s3 mount / 1 Comments: Post / View / 1 TrackBack / Google Maps このエントリーを含むはてなブックマーク

今の仕事 本当は私が開発会社と制作会社双方管理してキャンペーン全体をディレクションしなきゃいけないのだが、「サイトデザイン?そんなんおっちゃんには判りまへんがな」のノリで開発寄りのフォローだけ選り好みして制作・ディレクション系は他にも仕事あって忙しいマネージャにエイヤっと放り投げ状態。
いや、実際開発寄りの仕事も超忙しくて仕事割り振らないとこなせない、まさに「心を亡くす」状態だったのだが、今日になって制作系は仕事残りまくってるけど開発系はちょっと落ち着いた感じに。
んなもんで、ここしばらく昼休みもくそもなかったので、ちょっとくらいいいよね(いやよくないのだが俺的には全然OK)という感じで、マネージャには悪いなと思いつつ(いや全然思ってないのだが)久々にネットでネタ漁り。
そういえば社内で、仮想化サーバについて話題になってたな、Amazon Web Serviceとか最近どうなってるのかなと思っていろいろググってみた。

すると、ついに念願の、Amazon S3サービスをファイルシステムとしてマウントする、無償(今のところ?)のソリューションが見つかった。
ElasticDriveというサービスで、Webを見ると「TRY OR BUY」なんて書かれてるんだけど、そこを覗いてみると普通にシステムのソースコードだけがダウンロード可能な形で置いてある。
なんでも、「Pricing is yet to be determined.」ということらしい。
早速ダウンロードしてみて使ってみた。

使い方は単純で、pythonスクリプトなんだけど、それを走らせてやった後、NBDとか言う方法で繋いでマウントするだけ。
READMEに従うと、コンフィグファイルを設定してやった後、

> cd /opt/elasticdrive-0.1.6
> ./elasticdrive
> nbd-client bs=4096 localhost 9999 /dev/nbd0
> mke2fs -b 4096 /dev/nbd0
> mkdir /s3
> mount /dev/nbd0 /s3

とするだけなのだが、いくつか引っ掛かる点があったのでご紹介。

まず、このスクリプト、これだけ単体では動かない。
Google Codeで公開されている、botoというAmazon S3制御のためのPythonライブラリがインストールされている必要があるので、これを先にインストールしておく必要がある。
また、LinuxのカーネルがNBDという仕様に対応してコンパイルされている必要があるらしい...もしされてなければ、どうするのかまでは、うちのサーバはコンパイルされてたっぽいので追っていません。
さらにNBDに対応しているだけではダメで、

  • 最初にNBDを有効にする際には、modprobe nbdとコマンドを叩いてやる必要がある
  • nbd-clientというコマンドがない場合は、インストールしてやる必要がある

といったこともしておく必要もある。

上記さえやってやれば、設定したディスクサイズ次第だがmke2fsに結構な時間がかかるものの、問題なくS3領域をマウントできた。
私は試しに、30GBの領域をマウントしてみたが、全然問題なく動く。
このElasticDriveのすごいところは、単にディスク領域として追加できるだけではなく、物理ディスクと同容量用意してやれば、自動でミラーリングされソフトウェアRAIDとしても機能する(らしい。まだ試してない)ところ。
これで、EC2の、160GBもあってでかいけれど揮発してしまうディスク領域も、安心して使えそう?

ただ気をつけないといけないのは、S3の領域をファイルシステムとしてフォーマットするので、置いたファイルの分だけS3の利用領域として課金されるのではなく、最初に設定されたディスク容量の分だけS3の領域を最初から占有していることになる、ということ。
いかにS3の値段が安いとはいえ、30GBも完全占有していたら月700円は軽くかかる、ましてやEC2揮発領域のソフトウェアRAIDなんてことになると...である。
EC2との間であれば転送料は無料なものの、GET/PUT/LIST/DELETEにも従量課金されるので、どの程度の金額になるのかさっぱり想像がつかない。
ちょっと自腹はたいて人柱になる事になるが、今回設定した30GB上でベンチマーク取ったりいろいろ試してみて、その上でどの位金額が課金されるか試してみようと思う。

また上記のようなので当然っちゃあ当然だが、ElasticDrive上に配置したファイル等は、S3経由でWeb側から見るようなことはできない。

というような感じのElasticDriveですが、使い方によっては面白く使えそうなので、試してみてはいかがでしょうか。
私もベンチマークとかいろいろ遊べ次第、報告します。

Related query words in Google & Yahoo
Related Books from Amazon
Trackback to this entry
TrackBack URL :
Trackbacks
Kamagra
Excerpt: Thanks for the info.
Weblog: Kamagra
Tracked: 2008年11月02日 15:00
Comments

写真を送りました。:)

Posted by: 宋 at 2007年08月03日 20:36
Post a comment












Remember personal info? 
2007年08月
Su Mo Tu We Th Fr Sa
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31  

About Me

Navigation

Search
Google
Web
kokogiko.net
Archives
Recent Entries
Recent Comments
Recent Trackbacks
姫路のオモシロ寿司屋(ここギコ!)
0系こだまとひかりレールスターに乗ってきた ドクターイエローも見た
姫路のオモシロ寿司屋(ここギコ!)
位置情報ベース広告AdLocalへ一般からも入札が可能に
「定義できない」とのたまうものを自説根拠の説明の中で延々と使う不誠実(笑)(ここギコ!)
文化は変わっていくのは当たり前だからこそ、今問われているのはリアルタイムの選択
現代アイヌの政治運動は利権獲得のためのようだな。(むにゅう!の平和大好き! はてな基地)
文化は変わっていくのは当たり前だからこそ、今問われているのはリアルタイムの選択
的外れですた恥ずかしい Googleは世界標準の絵文字を作ろうとしてるわけではない、少なくとも、今のところ(ここギコ!)
絵文字標準化でのキャリア批判に思うこと
すごい職場の活性法(これが答えだ)
人員がクラスタ化できている職場と言うのはうらやましい そろそろ限界です
文化は変わっていくのは当たり前だからこそ、今問われているのはリアルタイムの選択(ここギコ!)
大和民族の定義云々について
歴史のダイナミズムの元では右翼こそ変わらなければならない(ここギコ!)
右翼はアイヌや沖縄を包摂する論理を構築すべきではないのか
右翼はアイヌや沖縄を包摂する論理を構築すべきではないのか(ここギコ!)
大和民族の定義云々について
政治と祭祀が不可分と考えるなら、全ての祭祀を引き受けるのが筋(ここギコ!)
大和民族の定義云々について
Hatena bookmarked
My del.icio.us

Banners

Syndication
Powered by
Get it!!