Ubuntu10.04にhadoop-0.20.2のインストールを行った。
まず、/usr/local/にwgetでHadoop-0.20.2.tar.gzをダウンロードします。
ダウンロード後、解凍します。
[code]sudo tar xvzf hadoop-0.20.2.tar.gz #解凍します。[/code]
passwordを入力します。
[code]sudo mv hadoop-0.20.2 hadoop #ディレクトリ名をhadoopと変更します。[/code]
とりあえずダウンロード後、解凍までしたら、その後、
Hadoopを動かすユーザーを(hadoopとして)登録し、sshログインをパスワード無しで行えるよう設定します。
[code]sudo adduser hadoop #ユーザー/グループ登録をします。[/code]
その際、パスワードを２回入力します。
[code]sudo chown -R hadoop:hadoop /usr/local/hadoop #実行権限を付与します。
su - hadoop #hadoopユーザーでログインします。[/code]
passwordを入力します。
[code]
ssh-keygen -t rsa -P "" #パスワード無しでログインできるようにキーを発行します
cat .ssh/id_rsa.pub >> .ssh/authorized_keys #認証キーを登録します。[/code]
[code]
ssh localhost #実際にパスワード無しでログインできるか確認します。
sudo mkdir /usr/local/hadoop-datastore #保存用ディレクトリを作成
sudo chown -R hadoop:hadoop /usr/local/hadoop-datastore #権限付与します
[/code]
sudo vi /usr/local/hadoop/conf/hadoop-env.sh #hadoopのホームディレクトリの設定
[code]
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun #デフォルト設定を実際のJAVAのホームに設定
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk #記述例[/code]
[code]
# export HADOOP_HEAPSIZE=2000 #ヒープサイズを2000に設定 #を外すだけ
export HADOOP_HEAPSIZE=2000[/code]
core-site.xmlは全体の構成の設定になっています。
[code] vi core-site.xml #全体設定を行うconfigurationの間に記述[/code]
[xml toolbar"false"]
[/xml]
[xml]
#このように貼り付けます。
hadoop.tmp.dir
/usr/local/hadoop-datastore/hadoop-${user.name}
A base for other temporary directories.
fs.default.name
hdfs://localhost:54310
The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.
mapred.job.tracker
localhost:54311
The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
mapred.submit.replication
1
The replication level for submitted job files. This
should be around the square root of the number of nodes.
#ここまで[/xml]
[code]
su - hadoop #hadoopユーザーでログイン
/usr/local/hadoop/bin/hadoop namenode -format #フォーマット
10/10/16 01:17:11 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = skasuya/127.0.1.1
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.2
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/ branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
10/10/16 01:17:12 INFO namenode.FSNamesystem: fsOwner=hadoop,hadoop
10/10/16 01:17:12 INFO namenode.FSNamesystem: supergroup=supergroup
10/10/16 01:17:12 INFO namenode.FSNamesystem: isPermissionEnabled=true
10/10/16 01:17:12 INFO common.Storage: Image file of size 96 saved in 0 seconds .
10/10/16 01:17:12 INFO common.Storage: Storage directory /usr/local/hadoop-data store/hadoop-hadoop/dfs/name has been successfully formatted.
10/10/16 01:17:12 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at skasuya/127.0.1.1
************************************************************/
[/code]
な感じでOK？かな
[code]/usr/local/hadoop/bin/start-all.sh #hadoopの起動をします[/code]
jps で起動しているか確認
このように表示されればOK
[code]
/usr/local/hadoop/bin/stop-all.sh #ストップする[/code]
参考サイト：
http://d.hatena.ne.jp/kaorumori/20090201/1233468449
ありがとうございました。
