So-net無料ブログ作成
  • ブログをはじめる
  • ログイン

インフラエンジニアのためのHadoop情報 SecondaryNameNode [Hadoop]

SecondaryNameNodeとは、PrimaryNameNodeから定期的にHDFSのメタデータと編集ログを取得し、編集ログをメタデータに反映処理をして、PrimaryNameNodeへ返します。また、そのたびにメタデータをバックアップ用にファイルに保存します。
クラスタを常時運用する場合は、SecdondaryNameNodeは事実上必須です。
PrimaryNameNodeと同じノードで動かすこともできますが、ある程度の規模のクラスタ環境では専用のサーバを準備しましょう。

それでは、SecondaryNameNodeを起動してみます。
Claudera版のHadoopでSecondaryNameNodeを起動するには専用のスクリプトを動かすだけです。
$ sudo /sbin/service hadoop-0.20-secondarynamenode start

起動すると、(デフォルトでは)1時間おきに、/var/lib/hadoop-0.20/cache/hadoop/dfs/namesecondary/current配下にPrimaryからメタデータが転送されます。
/var/lib/hadoop-0.20/cache/hadoop/dfs/namesecondary/previous.checkpoint配下にメタデータのバックアップファイルが作成されます。



この広告は前回の更新から一定期間経過したブログに表示されています。更新すると自動で解除されます。

×

この広告は180日以上新しい記事の更新がないブログに表示されております。