Hadoop機の作業記録

[Atom箱の作成]から、ネットに接続されているか確認したところ、デフォルトではNIC(eth0)が認識されていなかった。
そこで[参考]を元に設定したらNIC（eth0）が認識されました。
クライアントPCからsshでログインできたのを確認後、モニターとキーボード、マウスを外します。
その後、localhostとデフォルトの名前をhdp_masterと変更しました。

[root@localhost admin]# cat /etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1               localhost.localdomain localhost
192.168.3.8 hdp_master　//←ここを追加
[root@localhost admin]# cat /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=hdp_master　//←ここを追加
GATEWAY=192.168.3.8　　//←ここを追加

その後、[javaのアップデート]を行うため、USBでmountコマンドを使用して、usbの中身にインストールしてあった最新のJava SDKを/usr/local上で解凍、展開を行います。[USBフラッシュメモリを使うには]

しかしmountしても、/mnt/usbfmには空っぽだったので、
# dmesg
をみると
SCSI device sdb: 512000 512-byte hdwr sectors (262 MB)
とか書いてあったのでsdaではなくsdbに変えたところ、
# mount -t vfat /dev/sdb1 /mnt/usbfm/　でなんなく認識されました。

[root@hdp_master home]# ls /mnt/usbfm
hadoop-0.20.1.tar.gz  jdk-6u17-linux-i586-rpm.bin  r8168-8.015.00.tar.bz2
↑
中身のなかのこれを先に解凍
[root@hdp_master usbfm]# tar zxf hadoop-0.20.1.tar.gz
[root@hdp_master usbfm]# mv hadoop-0.20.1 /home/hadoop

Javaをアップデートしたかったけど、hadoopの解凍を先に行いました。(/home直下へ)

[root@hdp_master usbfm]# ./jdk-6u17-linux-i586-rpm.bin
次にJavaの最新Verをｕｓｂｆｍ上で、解凍展開を行おうとしたら、
Please free up the required Disk Space and try again とメモリ領域が足りないということで、ディレクトリをlocalへ移動して

[root@hdp_master usbfm]# cd /usr/local
[root@hdp_master local]# ./jdk-6u17-linux-i586-rpm.bin
Do you agree to the above license terms? [yes or no]
yes
Unpacking...
Checksumming...
Extracting...

中略

For more information on what data Registration collects and
how it is managed and used, see:
http://java.sun.com/javase/registration/JDKRegistrationPrivacy.html

Press Enter to continue.....

Done.　→解凍完了！

次に環境設定を行う。

参考　http://d.hatena.ne.jp/hkano/20081014

素人思考、玄人実行

かなり前に買っていたのだけれどようやく読み終えました。
筆者の実体験に基づいて書かれているため、読んでいて爽快な気持ちになったり、追求の深さを感じられたり、迷ったり不安になったりすることは良くあることだし正常である、などをわかりやすい章で解説。再読したい本。

素人のように考え、玄人として実行する―問題解決のメタ技術 (PHP文庫)
金出 武雄
09月06日

Hadoop Based Data Mining

Hw09 Hadoop Based Data Mining Platform For The Telecom Industry
感嘆のため息が漏れました・・・
中国語で読めないところがあったので院生に聞いてみたい。

Hw09 Hadoop Based Data Mining Platform For The Telecom Industry

View more presentations from Cloudera, Inc..

TiltViewerを設置

SimpleViewerというところで公開している物は名前の通りシンプルにできているので個人的にも好きです。

そこで公開されているソースコードを使用するとFlickr上にある全世界に公開されている写真についているタグを集めて指定したタグの写真を表示させるサイトが構築できます。写真へのタグ付けはFlickrユーザーが独自に決めた物なので関連している情報と捉えるべきです。またタグは自分の好きなキーワードを指定できるので、とりあえず英語の名詞がたくさんあるだろうと予測して”wine”にしてみました。

JDBCドライバの接続確認

ＪＤＢＣドライバとMySQLの接続テスト


public class Dbconnect {
public static void main(String args[]) {
Connection conn = null;
try {
Class.forName("com.mysql.jdbc.Driver").newInstance();
conn = DriverManager.getConnection("jdbc:mysql://localhost/データベース名", "root", "パスワード入力");
System.out.println("MySQL と接続しました。");
} catch (SQLException e) {
System.out.println("MySQL との接続失敗");
System.out.println("SQLExceptionは " + e.getMessage());
System.out.println("SQLStateは " + e.getSQLState());
System.out.println("VendorError: " + e.getErrorCode());
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
if (conn != null) {
conn.close();
conn = null;
System.out.println("MySQLとの接続を切断しました");
}
} catch (Exception e) {
}
}
}
}