Google App Engine for JAVA(EARLY look編)の巻（１）

App Engineの状況はこちらで確認できる。
http://code.google.com/status/appengine/

Luceneの調査

Luceneの仕組みは検索対象となるファイルをすべて解析し、「インデックス」と呼ばれる情報を作成する。そして検索時はこのインデックスを参照することで処理の高速化が実現する。[写真]サンプル・アプリケーションの例
[caption id="attachment_3" align="alignnone" width="160" caption="Lucene"][/caption]
検索エンジンというと「namazu」が有名だが、namazuの実装はperlとC言語が使用されている為、JAVAアプリケーションを組み込むには、不便な感がでてきてしまう。
その点、LuceneはすべてJAVAで開発されているからJakartaとの相性も良いと言うことになる。

デフォルトのLuceneは日本語対応していないため、モジュールを使用することによって、中国語、韓国語、日本語を使用することができる。そのLucene用の日本語アナライザは、senプロジェクトの「CJKAnalyzer」と明確なネーミングだったりする。
Luceneもインデクサ部とエンジン部とから構成されている。
インデクサ部のコードの中でインデックスを生成するメソッドgetIndexになる。
getIndexは、第1引数に指定されたドキュメント・ディレクトリ内を解析し、インデックス生成処理を行う。次に第2引数に指定されたディレクトリに、生成したインデックスを格納する。

Data source from http://www.itarchitect.jp/enterprise/-/25122.html

Webmin-1.430のインストール

cd /usr/local/src
wget http://prdownloads.sourceforge.net/webadmin/webmi
n-1.430.tar.gz
tar zxvf webmin-1.430.tar.gz
cd webmin-1.430
./setup.sh

すると下記のようにコンフィグ設定が始まるので、ひととおりenterを押します。途中、Webサーバーのポートを聞いてくるので"777"に設定しました。

---------------
***********************************************************************
* Welcome to the Webmin setup script, version 1.430 *
***********************************************************************
Webmin is a web-based interface that allows Unix-like operating
systems and common Unix services to be easily administered.

Installing Webmin in /usr/local/src/webmin-1.430 ...

***********************************************************************
Webmin uses separate directories for configuration files and log files.
Unless you want to run multiple versions of Webmin at the same time
you can just accept the defaults.

Config file directory [/etc/webmin]:
Log file directory [/var/webmin]:

***********************************************************************
Webmin is written entirely in Perl. Please enter the full path to the
Perl 5 interpreter on your system.

Full path to perl (default /usr/bin/perl):

Testing Perl ...
Perl seems to be installed ok

***********************************************************************
Operating system name: CentOS Linux
Operating system version: 5.2

***********************************************************************
Webmin uses its own password protected web server to provide access
to the administration programs. The setup script needs to know :
- What port to run the web server on. There must not be another
web server already using this port.
- The login name required to access the web server.
- The password required to access the web server.
- If the webserver should use SSL (if your system supports it).
- Whether to start webmin at boot time.

Web server port (default 10000): 777
Login name (default admin): root
Login password:
Password again:
The Perl SSLeay library is not installed. SSL not available.
Start Webmin at boot time (y/n): y
***********************************************************************
Creating web server config files..
..done

Creating access control file..
..done

Inserting path to perl into scripts..
..done

Creating start and stop scripts..
..done

Copying config files..
..done

Configuring Webmin to start at boot time..
Created init script /etc/rc.d/init.d/webmin
..done

Creating uninstall script /etc/webmin/uninstall.sh ..
..done

Changing ownership and permissions ..
..done

Running postinstall scripts ..
..done

Attempting to start Webmin mini web server..
Starting Webmin server in /usr/local/src/webmin-1.430
..done

***********************************************************************
Webmin has been installed and started successfully. Use your web
browser to go to

http://localhost.localdomain:777/

and login with the name and password you entered previously.
---------------

ここまで、ダイブ長くなったけど、操作するところはコマンド5,6行だから簡単だと思う。

研究課題の本数

今、読んでいる本で、論文を書こうとしている学生はテーマは1つだけではいけないという。最低でも2つ、3つあればまあ良いだろうと。それは1つだと、あとから気がついたときに少し暗雲が指したときに乗り越えられなくなるからだそうだ。要するに他の選択肢も考えておいて、そっちがダメだと思ったら他の方を選択すればよいと。とりあえず好きな物や、進めやすい物があったら自分の気持ちに正直になって探求せよという内容だった。

※その本には、夜に書くより、朝に思慮に至る内容を書いた方が夜よりも断然良いのだとか。これも深夜に書き込みをしているので起床後に起きたときにこの内容のことを書いてみて、どうもそちらがよろしそうだとしたら、この日記は削除しよう。夜と朝の記載というか脳の活動の結果を自分なりに試してみて判断してみようと思う。

Wolfram|Alpha記事

スパコン環境ってどのような感じか想像もつかないけど、
どれくらいすごいっていうのが分かるように注目してみたい。
WolfamAlphaの記事
検索技術のもともとは数学による分析なのだけれど、
どういう風に入力された時に処理を行うのかに興味がある。
データストリーミングマイニングという、一旦データベースに格納する前に
すぐ処理を行うというアルゴリズムだろうと想像する。
ここ最近でもMapReduceという技術がものすごく注目されているけど、
やはり温故知新ということで、全く新しい技術というよりも昔の技術を元に
合理的な方法を元に構築されているのだろうと思ったり思わなかったり。

nutch導入の途中

nutch導入の経緯をメモメモ。

nutchをダウンロードしてくる。

cd /usr/local
wget http://www.meisei-u.ac.jp/mirror/apache/dist/lucene/nutch/nutch-0.9.tar.gz

tar zxvf /tmp/nutch-0.9.1.tar.gz
cd nutch-0.8.1
export NUTCH_JAVA_HOME=/usr/java/jdk1.6.0_13

echo "http://talftp.net/wp/" > urls/nutch

vi conf/crawl-urlfilter.txtを開いて
↓
# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
↓
+^http://talftp.net/wp/
に変更する。

vi conf/nutch-site.xmlを開いて
↓
<configuration>
<property>
<name>http.agent.name</name>
<value>mynutchagent</value>
</property>
<property>
<name>http.agent.description</name>
<value>mynutchagent</value>
</property>
<property>
<name>http.agent.url</name>
<value>mynutchagent</value>
</property>
<property>
<name>http.agent.email</name>
<value>mynutchagent</value>
</property>
</configuration>

と追加する。

これでcrawlができるので試してみる。
bin/nutch crawl urls -dir crawl -depth 10 -topN 1000000
000000

cp nutch-0.9.war /usr/local/tomcat/webapps
/etc/rc.d/init.d/tomcat restart

cd /usr/local/tomcat/webapps/nutch-0.9/WEB-INF/classes
[root@localhost classes]# vi nutch-site.xml　でnutch-0.9のrootディレクトリを指定する。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>search dir</name>
<value>/usr/local/tomcat/webapps/nutch-0.9</value>
</property>
</configuration>

Tomcat-6.0.18とnutch-0.9の組み合わせだとエラーが出てくるので
そのエラーを修正する。基本的には￥マークを挿入することでOK。
/usr/local/tomcat/webapps/nutch-0.9
vi search.jsp

<jsp:include page="<%= language + "/include/header.html"%>"/>
↓
<jsp:include page="<%= language + \"/include/header.html\"%>"/>

vi explain.jsp
vi anchors.jsp
も同様に修正。

ServerのIPアドレスの固定化

自宅LAN内のIPアドレスが勝手に変ってしまったので、
固定できるための操作方法をメモっておく。

cd　/etc/sysconfig/network-scripts
vi ipcfg-eth0　で開き
IPADDRとNETMASKを追加。

# Broadcom Corporation BCM4401-B0 100Base-TX
DEVICE=eth0
BOOTPROTO=dhcp
HWADDR=00:14:22:A0:A0:58
ONBOOT=yes
↓
# Broadcom Corporation BCM4401-B0 100Base-TX
DEVICE=eth0
BOOTPROTO=dhcp
HWADDR=00:14:22:A0:A0:58
ONBOOT=yes
IPADDR=192.168.12.4
NETMASK=255.255.255.0

nameserverを書き換える&追加する。
; generated by /sbin/dhclient-script
search localdomain
nameserver 192.168.12.1
↓
; generated by /sbin/dhclient-script
search localdomain
nameserver 218.176.253.65
nameserver 218.176.253.97

書き換えたらネットワークを再起動させる。
[root@localhost ~]# /sbin/service network restart
インターフェース eth0 を終了中: [ OK ]
ループバックインターフェースを終了中 [ OK ]
ループバックインターフェイスを呼び込み中 [ OK ]
インターフェース eth0 を活性化中:
eth0 のIP情報を検出中... 完了。

で完了。

その後、mrtgの監視ツールのアドレス変更を行う。

Tomcatインストール途中の続き

[caption id="attachment_3" align="alignnone" width="160" caption="tomcat"][/caption]

index.htmlのあるディレクトリは
→/usr/local/tomcat/webapps/ROOT　です。
そのファイルを、vi index.htmlで編集モードに変更します。

パスの/tomcat/がぬけているので下記のアドレスの前に
挿入してあげます。

（１）
<a href="/manager/status">Status</a><br/>
↓
<a href="/tomcat/manager/status">Status</a><br/>

（２）
<a href="/manager/html">Tomcat&nbsp;Manager</a>
↓
<a href="/tomcat/manager/html">Tomcat&nbsp;Manager</a><br/>

（３）
<a href="/docs/changelog.html">Change&nbsp;Log</a><br/>
↓
<a href="/tomcat/docs/changelog.html">Change&nbsp;Log</a><br/>

（４）
<a href="/docs/">Tomcat&nbsp;Documentation</a><br/>
↓
<a href="/tomcat/docs/">Tomcat&nbsp;Documentation</a><br/

と４箇所のパス情報に追加というか書き換える。

これでＯＫです。

※これからこのように書くときは誰が読んでも
分かるように丁寧に書こうと思います。

英語練習の巻（１）

ニュアンスの違いに注意！ということで書いておきます。

may, might, can,
個人的な好みを示すのはmay、許容性を示すのにcan

less, fewer,

連続数量に関しては、less
離散数量に関しては、fewer

affect,effect,

ある動作の結論、すなわちeffectは動作の結果へ影響を与えること、
すなわちaffectすること

alternate,alternative,choice,
alternateは、ほかの（形容詞）、あるいはほかのもの（名詞）、あるいは交替すること（動詞）を意味する。
alternativeは選択されるもののこと。
代わり（alternative）が１つしか無ければ、選択（choice）の余地は無い。

basic,fundamental,sophisticated,


basicは基盤（foundation）だけでなく、基本（elementary）を意味する。
「洗練された」(sophisticated)は、「新しい」(new)という意味ではない。

conflate,merge,
conflateは、異なったものを似たものに見なすことを意味する。
一方、mergeは、違うものを合成して１つの新しいものを作ることを意味する。

この2つは同等ではない。

感覚的に分かっているのだけど文字に起こすと、なんか変な感じだ。


参考：コンピュータサイエンスの英語文書の書き方

JDBCドライバーの設定

Tomcatがインストールできたので、JDBCドライバーを入れてみることにした。

[root@localhost ~]#　//←場所はここで作業をした。
wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.0.8.tar.gz/from/http://ftp.jaist.ac.jp/pub/mysql/
tar xvzf mysql-connector-java-5.0.8.tar.gz
cd mysql-connector-java-5.0.8
mv mysql-connector-java-5.0.8-bin.jar /usr/local/tomcat/lib
export CLASSPATH=$CLASSPATH:/usr/local/tomcat/lib/mysql-connector-java-5.0.8-bin.jar

さてここからコネクト実験だ。

ネットワークトラフィック監視ツール

ネットワークトラフィック監視ツール導入(NET-SNMP+MRTG)ができた。
時々、会社で見慣れているから自宅サーバーにも
設置できるとなんか定常的に稼働させて監視したくなります。


参照元　http://centossrv.com/net-snmp-mrtg.shtml

Tomcatのインストール途中で

CentOS5にTomcat6.0をインストールしているときにエラー発生。
tar zxvf apache-tomcat-6.0.18.tar.gz
mv apache-tomcat-6.0.18/ /usr/local/tomcat
rm -f apache-tomcat-6.0.18.tar.gz
vi /etc/profile.d/tomcat.sh
vi /etc/rc.d/init.d/tomcat
chmod +x /etc/rc.d/init.d/tomcat

/etc/rc.d/init.d/tomcat start→これを叩くと
Starting tomcat
/etc/rc.d/init.d/tomcat: line 15:
/usr/local/tomcat/bin/startup.sh: そのようなファイ ルやディレクトリはありません

とエラーがでる

ディレクトリpathを確認（pwd）したら
/usr/local/tomcat/apache-tomcat-6.0.18　となってたので、
そしてapache-tomcat-6.0.18の中をみたらbinを発見！

ようするにtar.gzを解凍した時にファイル名をそのままにして
mvしてしまったのが原因だったと判明。

tomcatディレクトリへ全てmvコマンドで移動（上書き）。

これでようやくTomcatが無事に起動した。

※もういっこ補足
chkconfig --add tomcatを実行すると、
bash: chkconfig: command not foundとコマンドファイルが無いと怒られる。
なのでwhereis chkconfigと叩くと
chkconfig: /sbin/chkconfig /usr/share/man/man8/chkconfig.8.gz
sbinの配下にあるとでてくるので、すべて
sbin/chkconfig --add tomcat
と入力することで回避できた。

Tomcat/libの中身は
annotations-api.jar
catalina-ant.jar
catalina-ha.jar
catalina-tribes.jar
catalina.jar
el-api.jar
jasper-el.jar
jasper-jdt.jar
jasper.jar
jsp-api.jar
servlet-api.jar
tomcat-coyote.jar
tomcat-dbcp.jar
tomcat-i18n-es.jar
tomcat-i18n-fr.jar
tomcat-i18n-ja.jar
16ファイルがサンプルとして入っているのでした。

参照元http://centossrv.com/tomcat6.shtml

BIについて調べるの巻（６）

大規模データストリームとは

データストリームを対象とするデータストリームマイニングは、
（１）属性値に関する平均やかたより、値の総和と言った簡単な統計量をきわめて小さなメモリと処理時間だけを使って計算する。
（２）結合規則や、決定木、クラスタリング、データマイニングにおける規則やパターンの発見アルゴリズムを連続したデータストリームへの拡張。

データストリーム・アルゴリズムの目標
・非常に少ない計算資源を用いて
・長期間安定して動き続け
・利用者の要求に即応して
・近似的な解を返す

マイニングアルゴリズムの基本的な技法
・確率的計算
・データの粗視化
・適応的計算

DataSource from 情報処理46巻1号

BIについて調べるの巻（５）

BIといわれるまでの経緯と、経営者がとらえているBI。

年代　　　　　　キーワード　　　　　　　　　特徴　　　　　　　　　　　　　　　　　　　　　　。
１９７０年代　意思決定支援システム　　EUCの実現、管理者の意思決定を支援。
１９８０年代　　　　　　　〃
１９９０年代　データウエアハウス　　　　膨大な企業データを蓄積するデータ格納庫の実現。
１９９０年代中頃　多次元分析処理　　　データ→情報。検索→分析。データをダイナミックに操作して意味のある情報を見つける。
１９９０年代後半　データマイニング　　　情報→ルール。分析→発見。統計学に基づいてパターンを発見。
２０００年代　ビジネス・インテリジェンス　情報→知識。分析→意思決定。迅速に意思決定。

一般的に、”正確な情報を適切な人に適時に提供することで、企業がより適切な判断を迅速に行うことを可能にするための考え方と、それを実現するためのシステム”と定義されている。　Data source from　http://solution.unisys.co.jp/webseminar/10/

そのデータ分析の使用用途がInsightな分析だったり、Competitiveな分析だったりするわけです。
ビジネス・インテリジェンスとは、競合的なインテリジェンスの場合、ファルドは”判断を可能とするまでに分析されたインフォメーション”と定義されている。英語だと「intelligence is "analyzed information."」。いうなればブドウ　＋　熟成技術　→　ワインということなそうな。だからInformation ＋ 分析＆集約 → Intelligence となるそうで、最終的にはこの分野にまで行き着くのだろうけど、今わたくしがやりたいのはInsightな分析のほうなのだろう。どのようなアルゴリズムなの？というほうに興味が向いているわけです。ということで何年先になるかわかりませんがCompetitive Intelligenceのほうはもう少し先になりそう。
Data source from　http://www.cio-cyber.com/pj/ec2/link/km2.html　http://www.fuld.com/Tindex/CIbook/chap01.html

Coffee Bricks

ここ最近の珈琲店では、とても美味しかったです。
食べログでもなかなかの評価でしたし、それでも自転車で10分の距離はありがたいかも。