Amazonのクラウドを利用する際のツールの紹介ページ
http://aws.amazon.com/eclipse/
eclipse_ec2_management
http://qurl.com/vmwmd
eclipse_simpleDB
http://qurl.com/yvz51
まず自宅環境で大きなデータを操作できるようになったら、
クラウド上にて実験してみたいと思う。それまで自宅環境でスイスイ操作できるよう繰り返し練習すべきである。
2009年7月31日金曜日
2009年7月30日木曜日
IPアドレス変更によるMRTG設定変更
自サーバからメールが来たので、確認したらmrtgで調査するIPアドレスとDNSの名前が違っているので確認せよという内容だった。
これも忘れそうなので書き記す。
Subject: Cron LANG=C LC_ALL=C /usr/bin/mrtg /etc/mrtg/mrtg.cfg --lock-file
/var/lock/mrtg/mrtg_l --confcache-file /var/lib/mrtg/mrtg.ok
--
省略
--
Saturday, 25 July 2009 at 8:35: WARNING: Could not match host:'public@192.168.12.3:' ref:'Descr' key:'eth0'
SNMP Error:
no response received
SNMPv1_Session (remote host:"192.168.12.3" [192.168.12.3].161)
という内容は、mrtgでトラフィックを監視するときにサーバーのIPアドレスを入れておかなくてはならないが、先日、HUBを買い換えしたときに割り振られたIPが変更されていたのに変更していなかった為と思われる。
ファイルの箇所は
[root@nexserver mrtg]# pwd
/etc/mrtg
[root@nexserver mrtg]# vi mrtg.cfg ←（ファイル名と中の設定を変更）
Target[eth0]: \eth0:public@192.168.12.3: ←（IPアドレスを変更）
SetEnv[eth0]: MRTG_INT_IP="192.168.12.3" ←（IPアドレスを変更）
MRTG_INT_DESCR="eth0" ←（該当のイサーネット名を確認）
### CPU Load Average ###
Target[cpu]: .1.3.6.1.4.1.2021.10.1.5.1&.1.3.6.1.4.1.2021.10.1.5.2:public@192.168.12.3 ←（IPアドレスを変更）
### Memory Free ####
Target[mem]: .1.3.6.1.4.1.2021.4.6.0&.1.3.6.1.4.1.2021.4.4.0:public@192.168.12.3 ←（IPアドレスを変更）
### Disk Used ####
Target[disk]: .1.3.6.1.4.1.2021.9.1.9.1&.1.3.6.1.4.1.2021.9.1.9.1:public@192.168.12.3 ←（IPアドレスを変更）
[root@nexserver mrtg]# /sbin/ifconfig ←（サーバーのIPアドレスを表示）
eth0 Link encap:Ethernet HWaddr ××:××:××:××:××:××
inet addr:192.168.3.7 Bcast:192.168.3.255 Mask:255.255.255.0
inet6 addr: fe80::214:22ff:fea0:a058/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:334508 errors:0 dropped:0 overruns:0 frame:0
TX packets:276980 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:69429620 (66.2 MiB) TX bytes:29140834 (27.7 MiB)
Interrupt:10
ということなので、IPアドレスを書き換えてApacheを再起動する。
192.168.12.3→192.168.3.7
しばらく時間が経ってからグラフを確認する。
これも忘れそうなので書き記す。
Subject: Cron LANG=C LC_ALL=C /usr/bin/mrtg /etc/mrtg/mrtg.cfg --lock-file
/var/lock/mrtg/mrtg_l --confcache-file /var/lib/mrtg/mrtg.ok
--
省略
--
Saturday, 25 July 2009 at 8:35: WARNING: Could not match host:'public@192.168.12.3:' ref:'Descr' key:'eth0'
SNMP Error:
no response received
SNMPv1_Session (remote host:"192.168.12.3" [192.168.12.3].161)
という内容は、mrtgでトラフィックを監視するときにサーバーのIPアドレスを入れておかなくてはならないが、先日、HUBを買い換えしたときに割り振られたIPが変更されていたのに変更していなかった為と思われる。
ファイルの箇所は
[root@nexserver mrtg]# pwd
/etc/mrtg
[root@nexserver mrtg]# vi mrtg.cfg ←（ファイル名と中の設定を変更）
Target[eth0]: \eth0:public@192.168.12.3: ←（IPアドレスを変更）
SetEnv[eth0]: MRTG_INT_IP="192.168.12.3" ←（IPアドレスを変更）
MRTG_INT_DESCR="eth0" ←（該当のイサーネット名を確認）
### CPU Load Average ###
Target[cpu]: .1.3.6.1.4.1.2021.10.1.5.1&.1.3.6.1.4.1.2021.10.1.5.2:public@192.168.12.3 ←（IPアドレスを変更）
### Memory Free ####
Target[mem]: .1.3.6.1.4.1.2021.4.6.0&.1.3.6.1.4.1.2021.4.4.0:public@192.168.12.3 ←（IPアドレスを変更）
### Disk Used ####
Target[disk]: .1.3.6.1.4.1.2021.9.1.9.1&.1.3.6.1.4.1.2021.9.1.9.1:public@192.168.12.3 ←（IPアドレスを変更）
[root@nexserver mrtg]# /sbin/ifconfig ←（サーバーのIPアドレスを表示）
eth0 Link encap:Ethernet HWaddr ××:××:××:××:××:××
inet addr:192.168.3.7 Bcast:192.168.3.255 Mask:255.255.255.0
inet6 addr: fe80::214:22ff:fea0:a058/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:334508 errors:0 dropped:0 overruns:0 frame:0
TX packets:276980 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:69429620 (66.2 MiB) TX bytes:29140834 (27.7 MiB)
Interrupt:10
ということなので、IPアドレスを書き換えてApacheを再起動する。
192.168.12.3→192.168.3.7
しばらく時間が経ってからグラフを確認する。
JAVAの基本設定
ゼミの学習会で、Hadoopパッケージに含まれているJAVAと本家SUNのJAVAは全く違うところがあるそうなので
本家のJavaを利用する。とアドバイスを頂いた。
またTomcatもJavaのバージョン依存も関係してくるので基本的なことだけど忘れたら大変なので書き記しておく。
[root@nexserver ~]# javac -J-version ←(コンパイラのバージョン)
java version "1.6.0_13"
Java(TM) SE Runtime Environment (build 1.6.0_13-b03)
Java HotSpot(TM) Client VM (build 11.3-b02, mixed mode, sharing)
[root@nexserver ~]# java -version ←(Javaのバージョン)
java version "1.6.0_13"
Java(TM) SE Runtime Environment (build 1.6.0_13-b03)
Java HotSpot(TM) Client VM (build 11.3-b02, mixed mode, sharing)
コンパイラとJAVAのバージョンは同じでなくてはいけない。
違った場合は、インストールし直す。ここを見ながら。 あとここも役にたった。
[root@nexserver ~]# vi /etc/profile ← 環境変数設定ファイルを編集
以下を最終行へ追加
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
[root@nexserver ~]# source /etc/profile ← 環境変数設定を反映させる。（変更したファイル名をsourceで指定する）
本家のJavaを利用する。とアドバイスを頂いた。
またTomcatもJavaのバージョン依存も関係してくるので基本的なことだけど忘れたら大変なので書き記しておく。
[root@nexserver ~]# javac -J-version ←(コンパイラのバージョン)
java version "1.6.0_13"
Java(TM) SE Runtime Environment (build 1.6.0_13-b03)
Java HotSpot(TM) Client VM (build 11.3-b02, mixed mode, sharing)
[root@nexserver ~]# java -version ←(Javaのバージョン)
java version "1.6.0_13"
Java(TM) SE Runtime Environment (build 1.6.0_13-b03)
Java HotSpot(TM) Client VM (build 11.3-b02, mixed mode, sharing)
コンパイラとJAVAのバージョンは同じでなくてはいけない。
違った場合は、インストールし直す。ここを見ながら。 あとここも役にたった。
[root@nexserver ~]# vi /etc/profile ← 環境変数設定ファイルを編集
以下を最終行へ追加
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
[root@nexserver ~]# source /etc/profile ← 環境変数設定を反映させる。（変更したファイル名をsourceで指定する）
2009年7月29日水曜日
CIAのdb作成(1)
mysql> show tables;
+-------------------+
| Tables_in_CIA |
+-------------------+
| mysqlicious |
| scuttle_bookmark |
| scuttle_tags |
| toxi_bookmark |
| toxi_bookmark_tag |
| toxi_tags |
+-------------------+
6 rows in set (0.00 sec)
mysql> show tables;
+----------------------------+
| Tables_in_CIA |
+----------------------------+
| days |
| folder |
| folder_item |
| item |
| item_metadata |
| item_review |
| item_type |
| mysqlicious |
| scuttle_bookmark |
| scuttle_tags |
| search_terms |
| tag_summary |
| tagging_source |
| tags |
| toxi_bookmark |
| toxi_bookmark_tag |
| toxi_tags |
| user |
| user_item_rating |
| user_item_rating_statistic |
| user_item_tag |
| user_metadata |
| user_search_term |
+----------------------------+
23 rows in set (0.00 sec)
+-------------------+
| Tables_in_CIA |
+-------------------+
| mysqlicious |
| scuttle_bookmark |
| scuttle_tags |
| toxi_bookmark |
| toxi_bookmark_tag |
| toxi_tags |
+-------------------+
6 rows in set (0.00 sec)
mysql> show tables;
+----------------------------+
| Tables_in_CIA |
+----------------------------+
| days |
| folder |
| folder_item |
| item |
| item_metadata |
| item_review |
| item_type |
| mysqlicious |
| scuttle_bookmark |
| scuttle_tags |
| search_terms |
| tag_summary |
| tagging_source |
| tags |
| toxi_bookmark |
| toxi_bookmark_tag |
| toxi_tags |
| user |
| user_item_rating |
| user_item_rating_statistic |
| user_item_tag |
| user_metadata |
| user_search_term |
+----------------------------+
23 rows in set (0.00 sec)
2009年7月14日火曜日
Natural Language Processing
自然言語処理の基礎技術
・形態素解析
・・形態素解析（英語）
形態素とは語の不定形、語より小さい単位で意味を持つ最小の単位。文章の中で文法に従って形が定まっている語を”定形”と呼ぶ。文章はその語から成り立っている。語を、それを構成する形態素に分離する処理が形態素解析である。
・・形態素解析（日本語）
日本語は単語ではなく、文節が連なって文を構成しているので文節の形態素解析という。
日本語は膠着語という文法的分類に入れられる。
■コーパスからの語彙知識の獲得
1990年代までは、辞書の定義文や、人手による構文解析済みのコーパスが用いられていた。2000年代以降は言語取得の範囲拡大をし、新聞記事、Webから収集した言語テキストが用いられるようになった。
■共起知識の獲得
コーパス中の数単語程度の近さで共起する2つの単語の間の相互情報量を計算し、統計的な観点から意味のある言語現象を検出する。
■単語間の類似度の測定
「共起知識の獲得」の方法を発展させて、コーパスから主語/動詞/目的語の3項の組の類似性を測定し、相互情報量を類似度として計算した結果で、品詞の同義語を抽出する。
■推論規則・言い換えの獲得
同一の名詞を共起しやすい表現の類似度が高い多用な表現の共起の強さを相互情報量によって測定する。
■翻訳知識の獲得
相互情報量を用いた共起測定法において対訳テキストを情報源として二言語間の出現位置の相関が強いほど、その表現の組は対訳関係が強い可能性が高いといえる。
■未解析コーパス・Webからの獲得
WebのHTML言語からの箇条書きや表形式において、上位語、類義語、属性語が現れやすい。ヒューリスティックを利用して関連語を獲得する手法が提案されている。
■コーパスへの情報付与の自動化
nグラムモデルを用いた日本語形態素解析はある単語の生起のモデル化において、直前のn-1個の単語のみを考慮する培グラムモデルや直前の二単語のみを考慮するトライグラムモデルなどがある。
■意味的曖昧性解消
同意異義語の判別、訳語選択などの処理は分類器を用いて多義性をもつ語の前の文字列、形態素、係り受け関係にある形態素、同一文内の形態素、同一文書内の形態素などの情報が属性（素性）として用いられる。
■仮名漢字変換
仮名漢字変換は文節単位で行う。文節を形態素解析することにより文節内の単語の並び方が形態論的に正しい結果だけを用いることができる。またヒューリスティックな手法を適用することで多数の変換候補に対応できる。
■同音語
仮名漢字変換で最も大きな問題だが形態素解析を用いることで適切なものを区別することができ、自動選択することができる。
Data source from 自然言語処理(オーム社)
・形態素解析
・・形態素解析（英語）
形態素とは語の不定形、語より小さい単位で意味を持つ最小の単位。文章の中で文法に従って形が定まっている語を”定形”と呼ぶ。文章はその語から成り立っている。語を、それを構成する形態素に分離する処理が形態素解析である。
・・形態素解析（日本語）
日本語は単語ではなく、文節が連なって文を構成しているので文節の形態素解析という。
日本語は膠着語という文法的分類に入れられる。
■コーパスからの語彙知識の獲得
1990年代までは、辞書の定義文や、人手による構文解析済みのコーパスが用いられていた。2000年代以降は言語取得の範囲拡大をし、新聞記事、Webから収集した言語テキストが用いられるようになった。
■共起知識の獲得
コーパス中の数単語程度の近さで共起する2つの単語の間の相互情報量を計算し、統計的な観点から意味のある言語現象を検出する。
■単語間の類似度の測定
「共起知識の獲得」の方法を発展させて、コーパスから主語/動詞/目的語の3項の組の類似性を測定し、相互情報量を類似度として計算した結果で、品詞の同義語を抽出する。
■推論規則・言い換えの獲得
同一の名詞を共起しやすい表現の類似度が高い多用な表現の共起の強さを相互情報量によって測定する。
■翻訳知識の獲得
相互情報量を用いた共起測定法において対訳テキストを情報源として二言語間の出現位置の相関が強いほど、その表現の組は対訳関係が強い可能性が高いといえる。
■未解析コーパス・Webからの獲得
WebのHTML言語からの箇条書きや表形式において、上位語、類義語、属性語が現れやすい。ヒューリスティックを利用して関連語を獲得する手法が提案されている。
■コーパスへの情報付与の自動化
nグラムモデルを用いた日本語形態素解析はある単語の生起のモデル化において、直前のn-1個の単語のみを考慮する培グラムモデルや直前の二単語のみを考慮するトライグラムモデルなどがある。
■意味的曖昧性解消
同意異義語の判別、訳語選択などの処理は分類器を用いて多義性をもつ語の前の文字列、形態素、係り受け関係にある形態素、同一文内の形態素、同一文書内の形態素などの情報が属性（素性）として用いられる。
■仮名漢字変換
仮名漢字変換は文節単位で行う。文節を形態素解析することにより文節内の単語の並び方が形態論的に正しい結果だけを用いることができる。またヒューリスティックな手法を適用することで多数の変換候補に対応できる。
■同音語
仮名漢字変換で最も大きな問題だが形態素解析を用いることで適切なものを区別することができ、自動選択することができる。
Data source from 自然言語処理(オーム社)
2009年7月7日火曜日
Tumblr
Tumblrのアカウント取得をした。
チャットやSNS、Blogなどが複合的に構築された個人中心型CMSのようなものと感じとりました。表現に自信はありませんが、そう直感で思いました。もう少し上手い表現ができれば良いけれどですね。
プライベート的に使用するにも良いでしょうし、書評ブログなどに活用できるようにいろいろと日本語の表現の豊かさを身につけたいと思いました。
チャットやSNS、Blogなどが複合的に構築された個人中心型CMSのようなものと感じとりました。表現に自信はありませんが、そう直感で思いました。もう少し上手い表現ができれば良いけれどですね。
プライベート的に使用するにも良いでしょうし、書評ブログなどに活用できるようにいろいろと日本語の表現の豊かさを身につけたいと思いました。
2009年7月6日月曜日
理工セミナー受講
JAVAセミナーを受講してきました。
講師・TAは理工生でとても穏やかで丁寧な説明でした。
JAVAは、というかプログラミング全般でしょうか？とにかくコードをたくさん書く事によって不安要素が取り除かれると仰っておりました。
経験からくる言葉に重みがあり、その言葉を聞けたことだけでも参加した甲斐がありました。
そういえば流行や理論ばかりで、自身で実践していなかった気がします。
がんばろうと思いました。
※スーパーコンピュータと云うものでしょうか、とにかくショーウィンドウの中に高性能サーバーがありました。はやり『かっこいいなあ』と思ってしまいました。
講師・TAは理工生でとても穏やかで丁寧な説明でした。
JAVAは、というかプログラミング全般でしょうか？とにかくコードをたくさん書く事によって不安要素が取り除かれると仰っておりました。
経験からくる言葉に重みがあり、その言葉を聞けたことだけでも参加した甲斐がありました。
そういえば流行や理論ばかりで、自身で実践していなかった気がします。
がんばろうと思いました。
※スーパーコンピュータと云うものでしょうか、とにかくショーウィンドウの中に高性能サーバーがありました。はやり『かっこいいなあ』と思ってしまいました。
登録:
投稿 (Atom)