ラベル Ubuntu の投稿を表示しています。 すべての投稿を表示
ラベル Ubuntu の投稿を表示しています。 すべての投稿を表示

2010年10月16日土曜日

Ubuntu10.04にHadoop-0.20.2をインストールする

Ubuntu10.04にhadoop-0.20.2のインストールを行った。


まず、/usr/local/にwgetでHadoop-0.20.2.tar.gzをダウンロードします。
ダウンロード後、解凍します。
[code]sudo tar xvzf hadoop-0.20.2.tar.gz #解凍します。[/code]
passwordを入力します。
[code]sudo mv hadoop-0.20.2 hadoop #ディレクトリ名をhadoopと変更します。[/code]
とりあえずダウンロード後、解凍までしたら、その後、
Hadoopを動かすユーザーを(hadoopとして)登録し、sshログインをパスワード無しで行えるよう設定します。
[code]sudo adduser hadoop #ユーザー/グループ登録をします。[/code]
その際、パスワードを2回入力します。
[code]sudo chown -R hadoop:hadoop /usr/local/hadoop #実行権限を付与します。
su - hadoop #hadoopユーザーでログインします。[/code]
passwordを入力します。
[code]
ssh-keygen -t rsa -P "" #パスワード無しでログインできるようにキーを発行します
cat .ssh/id_rsa.pub >> .ssh/authorized_keys #認証キーを登録します。[/code]
[code]

ssh localhost #実際にパスワード無しでログインできるか確認します。
sudo mkdir /usr/local/hadoop-datastore #保存用ディレクトリを作成
sudo chown -R hadoop:hadoop /usr/local/hadoop-datastore #権限付与します
[/code]

sudo vi /usr/local/hadoop/conf/hadoop-env.sh #hadoopのホームディレクトリの設定
[code]
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun #デフォルト設定を実際のJAVAのホームに設定
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk #記述例[/code]

[code]
# export HADOOP_HEAPSIZE=2000 #ヒープサイズを2000に設定 #を外すだけ
export HADOOP_HEAPSIZE=2000[/code]

core-site.xmlは全体の構成の設定になっています。
[code] vi core-site.xml #全体設定を行うconfigurationの間に記述[/code]

[xml toolbar"false"]




[/xml]
[xml]
 #このように貼り付けます。

hadoop.tmp.dir
/usr/local/hadoop-datastore/hadoop-${user.name}
A base for other temporary directories.


fs.default.name
hdfs://localhost:54310
The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.



mapred.job.tracker
localhost:54311
The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.



mapred.submit.replication
1
The replication level for submitted job files. This
should be around the square root of the number of nodes.


 #ここまで[/xml]

[code]
su - hadoop #hadoopユーザーでログイン
/usr/local/hadoop/bin/hadoop namenode -format #フォーマット
10/10/16 01:17:11 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = skasuya/127.0.1.1
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 0.20.2
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/ branch-0.20 -r 911707; compiled by 'chrisdo' on Fri Feb 19 08:07:34 UTC 2010
************************************************************/
10/10/16 01:17:12 INFO namenode.FSNamesystem: fsOwner=hadoop,hadoop
10/10/16 01:17:12 INFO namenode.FSNamesystem: supergroup=supergroup
10/10/16 01:17:12 INFO namenode.FSNamesystem: isPermissionEnabled=true
10/10/16 01:17:12 INFO common.Storage: Image file of size 96 saved in 0 seconds .
10/10/16 01:17:12 INFO common.Storage: Storage directory /usr/local/hadoop-data store/hadoop-hadoop/dfs/name has been successfully formatted.
10/10/16 01:17:12 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at skasuya/127.0.1.1
************************************************************/
[/code]
な感じでOK?かな

start_stop


[code]/usr/local/hadoop/bin/start-all.sh #hadoopの起動をします[/code]

jps で起動しているか確認

このように表示されればOK
jps
[code]
/usr/local/hadoop/bin/stop-all.sh #ストップする[/code]

参考サイト:
http://d.hatena.ne.jp/kaorumori/20090201/1233468449
ありがとうございました。

2010年8月15日日曜日

Ubuntu10.04にantを入れる

ubuntuにantを入れるコマンド

[code]sudo apt-get install ant[/code]

これだけ。

ここを参照http://packages.ubuntu.com/ja/lucid/ant

2010年8月8日日曜日

ubuntu10.04にTomcatを設定する方法

今日はJavaオブジェクト指向のセミナーに行ってきた。
これからJSPやフレームワークのセミナーにも参加するので、
自宅サーバーの環境Tomcatをインストールしておくことにしたので、その経緯の備忘録。

JDKの開発環境が入っていないので、JDKのパッケージインストールと
Tomcatパッケージのインストールを行う。
javac -verionでインストールされているか確認したところデフォルトJava1.6.0_18だった。
それにしたがってTomcat6をインストールすることに決定。
JDKはネイティブなJavaじゃなくて良いのか(?)思いながらも、とりあえずUbuntuパッケージをインストールした。

手順は、jdkとTomcatの順でパッケージをインストール。
[code]
sudo apt-get install openjdk-6-jdk
sudo apt-get install tomcat6
[/code]
のコマンドでTomcatパッケージとJDK6のパッケージをインストール。
[code]sudo vi /etc/default/tomcat6[/code]
で環境設定をする画面を開く。

2010年8月1日日曜日

ubuntu10.04にLAMP設定を行う

ubuntu10.04をWebサーバーに変更してからWeb環境を構築するに当たり
インストールしておけば楽になるものを探していたら下記の3つのパッケージを
インストールすることで最小限のWebサーバーが完成しました。
とても簡単、コマンド打って、途中"Y"をEnterするだけです。
[code]
sudo apt-get install mysql-server php5-mysql
sudo apt-get install php5-cli
sudo apt-get install phpmyadmin
[/code]

test.php というファイル名で下記を記入して保存します。
[code][/code]

これでOKです
確認方法は、http://localhost/test.php できちんと表示されればOK!
またphpadminもインストールしたので、http://localhost/phpmyadmin/ できちんと表示されればOK!

2010年6月29日火曜日

Ubuntuについて調べる

「Ubuntu」の意味


Ubuntuは、アフリカの単語で「他者への思いやり」や「皆があっての私」といった意味を持ちます。Linuxディストリビューションである Ubuntuは、Ubuntuの精神をソフトウェアの世界に届けます。

Ubuntuの リリース時期とサポート期間




















































































コードネームバージョンリリース日サポート期限
Lucid Lynx10.04 LTS2010年4月29日2013年4月(デスクトップ)
2015年4月(サーバ)
Karmic Koala9.102009年10月29日2011年4月
Jaunty Jackalope9.042009年4月23日2010年10月
Intrepid Ibex8.102008年10月30日2010年4月
Hardy Heron8.04 LTS2008年4月24日2011年4月(デスクトップ)
2013年4月(サーバ)
Dapper Drake6.06 LTS2006年6月1日2009年6月(デスクトップ)
2011年6月(サーバ)
以下はサポートが終了したリリース
Gutsy Gibbon7.102007年10月18日2009年4月
Feisty Fawn7.042007年4月19日2008年10月
Edgy Eft6.102006年10月26日2008年4月
Breezy Badger5.102005年10月13日2007年4月
Hoary Hedgehog5.042005年4月8日2006年10月
Warty Warthog4.102004年10月20日2006年4月