So-net無料ブログ作成

インフラエンジニアのためのHadoop情報 クラスタ構築その2 [Hadoop]

同じく、JobTrackerを担当するサーバのアドレスを参照するように設定します。

/etc/hadoop-0.20/conf.cluster/mapred-site.xmlを編集して
  mapred.job.tracker
   localhost:8021

部分を
   mapred.job.tracker
   srv1.example.com:8021

と修正します。

せっかくDataNodeを2台動かすので、レプリケーション数も増やしておきます。
/etc/hadoop-0.20/conf.cluster/hdfs-site.xmlを編集して
   dfs.replication
   1


   dfs.replication
   2

(3台以上で動かす場合レプリケーション数は3にしておきましょう)

擬似分散で動かしたことがある場合は、そのときに作られたデータをそのままにしておくと、クラスタ構成での起動時にエラーになってしまうので、削除しておきます。
$ sudo rm -rf /var/lib/hadoop-0.20/cache/hadoop/dfs/data

NameNodeとJobTrackerのサーバを起動します。(1台目)
$ sudo /sbin/service hadoop-0.20-namenode start
$ sudo /sbin/service hadoop-0.20-jobtracker start

他の2台では、DataNodeとTaskTrackerを起動します。
$ sudo /sbin/service hadoop-0.20-datanode start
$ sudo /sbin/service hadoop-0.20-tasktracker start

これで、3台(1台はNameNode)構成のHadoopクラスタが起動されました。
nice!(0)  コメント(8)  トラックバック(0) 
共通テーマ:blog

この広告は前回の更新から一定期間経過したブログに表示されています。更新すると自動で解除されます。

×

この広告は1年以上新しい記事の更新がないブログに表示されております。