aws Archive

株式会社学びingの五十嵐学様より「よくわかるAmazonEC2/S3入門」を献本いただきました。

本書は、EC2, S3を中心とするAWSの導入、運用方がをボリュームよくまとまったかなりの良本です。

目次

• ■第1章　クラウドコンピューティングへの招待
  • 1-1 クラウドコンピューティングの隆盛
  • 1-2 クラウドコンピューティングとは何か
  • 1-3 サービス提供側から見るクラウドコンピューティング
  • 1-4 クラウドコンピューティングの3つの分類
  • 1-5 クラウドコンピューティングの主要プレイヤー
• ■第2章　Amazon EC2/S3で何をするのか
  • 2-1 Amazon EC2
  • 2-2 Amazon EC2
  • 2-3 Amazon S3
  • 2-4 料金体系
• ■第3章　Amazon EC2/S3導入手順詳細
  • 3-1 Amazon EC2/S3を使うまでの準備
  • 3-2 GUIツールからの操作（AWS Management Console）
  • 3-3 コマンドラインからの操作
  • 3-4 Amazon S3を利用する
• ■第4章　Amazon EC2使用方法
  • 4-1 Amazon EC2でLinuxを使う
  • 4-2 Amazon EC2でWindowsを使う
• ■第5章　Amazon EC2/S3の応用例
  • 5-1 Amazon EC2のオプション
  • 5-2 Amazon S3のオプション
  • 5-3 その他のオプション
  • 5-4 Amazon EC2/S3　ツール集
• ■第6章　AWSにおける運用管理
  • 6-1 運用上における物理サーバとAmazon EC2の違いとは
  • 6-2 サーバ種類別の考察
  • 6-3 AMIをゼロから作る
• ■第7章　Amazon EC2/S3ができること，できないこと
  • 7-1 相性が良い想定利用シーン
  • 7-2 相性が悪い想定利用シーン
  • 7-3 当社で起きた特殊な事件
  • 7-4 その他注意点
  • 7-5 Amazon EC2/S3は使えるのか？
• ■Appendix　コマンドリファレンス

AWS導入検討時は何よりまず読むべき

一通り読んでみて感じたことは、「僕がAWSを初めてまともに使った１年前にこの本があれば。。。」と、いうこと。導入にあたってのアカウントの作成方法、料金計算方法、Webインターフェースとコマンドツールの細かな説明から運用上の諸注意まで全部一通り掲載されてあって、AWS日本語公式サイトがまだ存在しない今だと、へたに検索して１つ１つ調べるよりよっぽど有益な情報を効率よく収集できます。

個人的に一番よかったのは、６章「AWSにおける運用管理」と７-3「当社でおきた特殊な事件」。AWSの実運用事例はまだまだ国内では少ないので、このあたりの実際に使ってみてはじめて分かる、目の当たりにする困難な点は情報として絶対量もまだまだ多くありません。その点で、これらの章は使った人にとっては「あるある！！」と思える点ばかりで、AWSユーザ視点での生の声が集まったかなり貴重な章と言えると思います。あと、Auto ScalingやElastic Load Balancingなんかは、まだ使ったことがなかったので、そのあたりの情報は普通にかなり参考になりました。

と、いうわけでAWSの導入を検討している人は当然のこと、AWSのサービスを断片的には使っているもののサービス間の連携についての知識が不十分だと思える人にとって、本書は必須な本だと思います。かなりオススメ！

Clouderaの提供しているAMIはバージョン１(CDH1)から３(CDH3)まであるのですが、それぞれ梱包されてあるHadoopとその上モノのHive, Pigのバージョンは異なります。

CDHは常にupdateしていて、現在の最新リリースであるCDH3も2010年5月5日現在ではテスト版扱いですが、これもじきにStable版としてリリースされることになるかと思います。

さて、そうるとClouderaのAMIを使っていて、特定のバージョンに上げたい、というのは結構自然な流れかと思います。このとき、バージョンを上げる流れとしては次のような流れになります。

1. Hadoopとその上モノであるHive, Pigなどをパッケージ管理ツールを利用して全てアンインストール。
2. パッケージ管理ツールのレポジトリを追加
3. パッケージ管理ツールを利用してHadoopをインストールし直し
4. パッケージ管理ツールを利用してHive, Pigなどをンストールし直し

要するに、全ソフトウェアのバージョンをまとめて上げるのではなく、Hadoopかまたはそれ以外の特定のソフトウェアについて、パッケージ管理ツールを利用してバージョンを上げる、ということが可能になります。このとき、Hadoopについては新たに設定項目がかなり多かったり、AMIを作りなおさないと試すことができなかったりと面倒なことが多いのですが、逆にHiveやPigなどHadoopの上モノについては、AMIを作り直すこともなく、その場でバージョンを上げることも結構簡単にできます。

たとえば、HiveのバージョンをCDH1→CDH2に上げる場合は次のような手順で可能です。

まず、既存にインストールされてあるHiveをアンインストールします。たとえばFedoraベースの　AMIの場合は、パッケージ管理ツールとしてはyumを利用することが可能です。

yum remove hadoop-hive

次に、CDH2用のyumのレポジトリを追加します。あとえばCDH2用のレポジトリを追加するときは、こんなかんじ。CDH3用のレポジトリを追加したい場合は、URLの最後をcloudera-cdh3.repoに変更ください。

cd /etc/yum.repos.d/
wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh2.repo

これで、最新のパッケージを扱える状態になりました。ここでHiveだけCDH2仕様のver0.40系にしてみましょう。

yum -y install hadoop-hive

これで、0.40.xのHiveがインストールされました。また、設定ファイル(/etc/hive/conf/hive-site.xml)は、オリジナルのものに戻ってしまっているので、適宜直しておきましょう。ぼくは以下の箇所を変更、追加しました。

• javax.jdo.option.ConnectionURL
• javax.jdo.option.ConnectionDriverName
• javax.jdo.option.ConnectionUserName
• javax.jdo.option.ConnectionUserPassword

いかがでしたでしょうか？Hiveについては、アップグレードは非常に簡単だったかと思います。同じように、PigについてもHadoopの上モノなので同様の手順でアッグレード可能になります。これなら割と気軽にバージョン上げたりパッチ当てたりなんかもできそうですね。

また、Hadoop本体のアップグレードについても、次回は挑戦してみたいと思います。

4月16, 17日に京都で「アグレッシブなクラウドの使い方」というタイトルで、会社でのクラウドの取り組みについて話してきました。

話の中身としては、僕とsasata299さんがいろんなところで話してきたクラウド系の話の総集編みたいなものになっています。あと、RDSとかPigについて話したのは今回が初になります。

発表の後のTwitterでのTLを追いかけてると、「内容がちょっと分かりづらかった」という声もちらほらあったようですが、たしかにそれは間違っていなくて、AWS系のサービスの内容とHadoopについての仕組みが一通り理解できている前提での内容でしたので、かなり難解だった方も多かったかと思います。と、いうわけで参加されていた方々は、もう一度キーワードレベルで見直していただくなりして、内容を再確認いただければ幸いです。