So-net無料ブログ作成

インフラエンジニアのためのHadoop情報 Gangliaその2 [Hadoop]

Hadoopノード側のGangliaのインストールです。JMXメタデータを採取する側です。
ライブラリのインストール。
$ sudo yum install libconfuse
$ sudo yum install rrdtool

前回作ったrpmパッケージをインストール。
$ sudo rpm -ivh ganglia-3.1.7-1.i386.rpm

起動スクリプトは、監視サーバのものをコピー。
$ sudo cp gmond /etc/init.d/

設定ファイルも監視サーバのものをコピー。
$ cp gmond.conf /etc/ganglia/

起動します。
$ sudo /sbin/service gmond start

Gangliaはデフォルトではマルチキャストで監視側と通信するので、Ganglia監視サーバ
が同一セグメントにいれば、これでノード側のサーバ情報はグラフで見れるようになる
はずです。
無事動いたところで、本題のHadoopのJMXデータを拾います。
Cloudera版のHadoopは設定ファイル「hadoop-metrics.properties」の中にGangliaContext
が定義されています。今回は、ganglia-3.1.7なので、GangliaContext31を有効にします。
dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
dfs.period=10
dfs.servers=[Ganglia監視側ホストのIP]:8649
mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
mapred.period=10
mapred.servers=[Ganglia監視側ホストのIP]:8649
jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
jvm.period=10
jvm.servers=[Ganglia監視側ホストのIP]:8649

サービスを再起動します。
$ sudo /sbin/service hadoop-0.20-datanode restart
$ sudo /sbin/service hadoop-0.02-tasktracker restart

しばらくすると、gangliaの画面にJMXの情報が表示されます。

この広告は前回の更新から一定期間経過したブログに表示されています。更新すると自動で解除されます。

×

この広告は1年以上新しい記事の更新がないブログに表示されております。