So-net無料ブログ作成

インフラエンジニアのためのHadoop情報 CDH2のアップデート [Hadoop]

Cloudera版のCDH2パッケージは、不定期にマイナーバージョンアップをしているようです。
ここでは、CDH2のバージョンアップ方法について書いておきます。
但し、HDFSのレイアウト変更を伴うようなメジャーバージョンのアップについては、それぞれ
の版ごとに注意事項があるはずなので、それらについてはここでは触れません。
Hadoopのアップデートで気をつけなければいけない点は、以下のとおり。
複数ノードで運用中、1台づつアップグレードすることができません。たとえマイナーバージョンアップといえども、NameNodeとDataNodeの間でバージョン番号のチェックが行われて、アップデートしたノードは古いバージョン
のクラスタに登録できないからです。
もう一点は、一度新しいバージョンでサービスを起動すると、たとえHadoopサービスを前の
バージョンに戻しても、起動しなくなります。新しいバージョンの起動時にローカルのデータ
ストアにバージョン番号が書き込まれているようです。
そういう理由で、バージョンアップはクラスタ全体を停止して、いっぺんに全てのノードを
アップデートする必要があります。
きちんと計画的に実施しましょう。
作業の前には、fsckコマンドを実施してHDFSが健全な状態であることを確認します。
$ hadoop fsck /
 :
The filesystem under path '/' is HEALTHY

Hadoopの全ノードを停止します。
停止順は、NameNode、JobTracker、DataNode、TaskTracker、SecondaryNameNodeです。
サービスの停止が確認できたら、yumコマンドでアップデートを実施します。
$ sudo yum install hadoop
   :
================================================= ======================================
 Package                    Arch        Version               Repository          Size
================================================= ======================================
Updating:
 hadoop-0.20               noarch      0.20.1+169.113-1      cloudera-cdh2       21 M
Updating for dependencies:
 hadoop-0.20-conf-pseudo    noarch      0.20.1+169.113-1      cloudera-cdh2       10 k

Transaction Summary
================================================= ======================================
Install       0 Package(s)
Upgrade       2 Package(s)

Total download size: 21 M
Is this ok [y/N]: y

無事バージョンがあがっているこを確認します。(必ず起動前に)
$ hadoop version
Hadoop 0.20.1+169.113
Subversion  -r 6c765a47a9291470d3d8814c98155115d109d715
Compiled by root on Sun Sep 12 01:29:03 EDT 2010

全てのノードでアップデートが完了したら、全ノードを起動します。
起動順は、停止順と同じです。



この広告は前回の更新から一定期間経過したブログに表示されています。更新すると自動で解除されます。

×

この広告は1年以上新しい記事の更新がないブログに表示されております。