nkjmkzk.net

powered by Kazuki Nakajima

Archive for the ‘template’ tag

Oracle 11g R2に最適化したOEL 5.4 VMテンプレート

Oracle Enterprise Linux 5.4 x86_64 PVMのVMテンプレートを作成しました。

Oracle_Enterprise_Linux_5u4_64_for_11gR2.tar.bz2

このテンプレートにはOSしか入っていません。が!少しいじってあります。一番のカスタマイズは次の点です。

  • Oracle 11g R2がすぐにインストールできる

11g R2とは、Grid InfrastructureとDatabaseのことです。Storage GRIDでキーポイントとなるASMはGrid Infrastructureをインストールすることで使えるようになります。

  • このテンプレートをダウンロードしてVM Server上で起動する
  • Grid InfrastructureをOTNからダウンロードして先ほど起動したVMにインストールする

としていただくことでASMが利用可能になります。ASMが使えるということは11gR2から追加されたACFS(ASM Cluster Filesystem)も使えます。ちなみにACFSとはこういうものです。

  • クラスターファイルシステム
  • 物理ディスクまたはLUN -> DISKGROUP -> ボリューム -> ファイルシステムというアーキテクチャ
  • 動的にファイルシステムサイズを変更可能
  • 動的に物理ディスクを追加/削除することが可能
  • ディスク構成が変更されるとデータの再配置(リバランス)を行う
  • データの冗長性を選択できる[冗長化なし | 2重化 | 3重化] 2重冗長以上であればディスクが壊れてもオンラインで運用継続
  • スナップショット機能装備

現在これらの機能を全て備えたファイルシステムはACFSだけでしょう。まだあまり名前が売れてないのですが、結構すごいファイルシステムなのです。

通常11gR2のGrid InfrastructureやDatabaseをインストールするには追加のパッケージをインストールしたりカーネルパラメータをいじったりntpの設定ファイルを編集したりudevのルールファイルを編集したりしなきゃいけないわけですが、このテンプレートを使えば11g R2の前提条件チェックを一発でパスします。というわけでこれからASM、ACFSを触ってみたい!とかいう方にお薦めです。(本当はGrid Infrastructureのインストーラもテンプレートに含めておきたいのですが、そこはソフトウェアの配布規約上不可でした。無念)

使い方は以下の通り。

  • VM Serverの/OVS/seed_pool以下にテンプレートをダウンロードし、展開する
  • VM Managerからインポートする
  • VM Managerでこのテンプレートから仮想マシンを作成する
  • 仮想マシンを起動する(初回起動時にIPアドレス2つといくつかのネットワーク設定を入力します)
  • Grid Infrastructureをダウンロードしてインストールする(runInstaller.shを実行するだけ。事前の環境設定は必要なし。)

VM Manager使うのが面倒な人はテンプレートを/OVS/running_pool以下に保存して展開し、vm.cfgのdiskパスだけseed_poolからrunning_poolに変えていただければxm create vm.cfgでそのまま起動可能です。ただしNICが2個あることが前提のネットワーク設定になっているのでVM ServerにNICが一つしかない場合にはbridge=xenbr1の方のVIF設定を削除する必要があります。

このテンプレートは他にも地味にいくつかカスタムしてあります。rlwrapがインストールされていてoracleユーザの.bashrcにalias sqlplus=’rlwrap sqlplus’と勝手に入れてあったり、とか。4GByte程あるのでダウンロードにそこそこ時間がかかると思いますが、ASM、ACFSを試してみたい方は是非どうぞ。

*ちなみに解凍後のサイズは20Gbyte強になります。rootのパスワードは’oracle’です。

without comments

Written by 中嶋 一樹

3月 11th, 2010 at 11:03 pm

Posted in Uncategorized

Tagged with , ,

VMテンプレートのディスクサイズを変更(拡張)する方法

Oracle VMのVMテンプレートは小さなサイズで作成されています。Oracle Enterprise Linux 5 update 3のテンプレートで言えば、容量は4GByte程になっています。これは後から簡単に仮想ディスクを追加できるという理由と、逆に最初に大きなサイズで作ると小さくするのは厄介という理由からです。大きくするのはそれほど難しい作業ではありません。

今回は仮想ディスクを追加するのではなく、元々のディスクサイズを拡張させる方法を紹介します。Oracle Enterprise Linux 5 update 3のテンプレートを例に話を進めていきます。

*Oracle Enterprise Linux 5 update 3のVMテンプレートはこちらからダウンロードできます。

http://edelivery.oracle.com/oraclevm

まずはOracle Enterprise Linux 5 update 3のテンプレートをダウンロードし、VM Serverの/OVS/seed_pool以下に保存します。そして解凍、展開します。

[root@vmserver]# cd /OVS/seed_pool/
[root@vmserver]# tar xvfz OVM_EL5U3_X86_64_PVM_4GB.tgz

次に展開したディレクトリの中にある仮想ディスクファイルのサイズをddコマンドで変更します。今回はディスクサイズを20Gbyteに伸ばしています。

[root@vmserver]# cd OVM_EL5U3_X86_64_PVM_4GB/
[root@vmserver]# ls
README  System.img  vm.cfg
[root@vmserver]# dd if=/dev/zero of=System.img bs=1M count=0 seek=20000

*Oracle VM 2.2からSparse Fileをサポートしているのでこのddコマンドは一瞬で終了し、拡張分の容量はSparse形式で追加されます。

次に設定ファイルを編集してvfbの行をコメントアウトします。これはxmコマンドから簡単にゲストOSのコンソールに接続するためです。

[root@vmserver]# vi vm.cfg
bootloader = '/usr/bin/pygrub'
disk = ['file:/OVS/seed_pool/OVM_EL5U3_X86_64_PVM_4GB/System.img,xvda,w']
memory = '1024'
name = 'OVM_EL5U3_X86_64_PVM_4GB'
on_crash = 'restart'
on_reboot = 'restart'
vcpus = 1
#vfb = ['type=vnc,vncunused=1,vnclisten=0.0.0.0']
vif = ['']

編集が終わったらゲストOSを起動します。-cスイッチを付けることで起動と同時にゲストOSのコンソールに接続できます。

[root@vmserver]# xm create -c vm.cfg
起動が完了したらrootでログインします。デフォルトのパスワードはovsrootです。
次にfdiskコマンドを使ってパーティションを切り直します。これは、仮想ディスクのサイズは先のddコマンドで大きくなっているものの、パーティションサイズは従来のディスクで切られたままだからです。パーティションは/dev/xvda1が/boot領域、/dev/xvda2が/(ルート)領域、/dev/xvda3がswap領域となっています。/(ルート)領域を拡張させるため、一度/(ルート)領域とswap領域を削除し、新たに切り直します。(パーティションを消しても/(ルート)領域の情報は失われません。ただしパーティションの順序だけはご注意ください)

ここからの手順は設定の様子を動画を交えてご覧ください。

fdiskでパーティションを切り直す

ここで一度再起動して新しいパーティションテーブルを有効にします。

起動してきたゲストOSでは新しいパーティションテーブルが有効になっていますが、まだdfコマンドでみてもファイルシステムは大きくなっていません。現時点ではパーティションは拡大したものの、その上のファイルシステムが従来の状態のままになっているため、ファイルシステムをパーティションのサイズに合わせる必要があります。これをresize2fsコマンドで行います。

resize2fsでファイルシステムを拡張する

これで/(ルート)領域のファイルシステムが拡張されました。後、現在swap領域が無効になってしまっています。従来の領域はパーティションのレイアウト変更で消失してしまっているからです。新たに作成した/dev/xvda3をswapとして指定します。

mkswapでswap領域を作成し、swaponで有効化する

これでswap領域も新しいパーティションレイアウトに沿って有効になりました。あとは再起動後もswapが有効になるようにfstabを編集しておきます。

fstabを編集しswap設定を永続化する

これでゲストOSのディスクサイズ拡張は完了です。
最後に、このゲストOSはテンプレートなのでこれまでの作業ログやネットワーク設定等をクリーンアプしてテンプレートとしてリパックする必要があります。そうすることでこのテンプレートから次回仮想マシンを作成したときにクリーンな状態で、再度Oracle VMテンプレートのイニシャルスクリプトを起動させることができます。クリーンアップを行うには以下2つのコマンドを実行してください。
[root@guest]# oraclevm-template --cleanup
[root@guest]# oraclevm-template --enable
そしてシャットダウンすればリパックは完了です。このテンプレートから作成した仮想マシンはクリーンな状態で、イニシャルスクリプトによって初期設定を行うことができます。
VM Managerからこのテンプレートをインポートし、仮想マシンを作成してみてください。

without comments

Written by 中嶋 一樹

11月 11th, 2009 at 3:49 pm

Posted in Uncategorized

Tagged with ,

Oracle VM Template Builder リリース !!!!

8月12日にOracle VM Template Builderなるものがリリースされました。

プレスリリース:http://www.oracle.com/us/corporate/press/027326

これはブラウザベースでポチポチやるとVMテンプレートを作成することができるというツールです。内部的にはJeOSをテンプレートの「種」としてそれをカスタマイズすることで独自のテンプレートを構築するというものになっております。

JeOSとは「Just Enough OS」のことで、要は、最近いろんなことができるように肥大化傾向にあるOSディストリビューションですが、「これだけありゃ十分でしょ」というコアな部分だけに絞り込んでいる、というものです。このOSディストリビューションのコアな部分にユーザの味付けをして独自のVMテンプレートを構築していくわけです。

JeOS:http://www.oracle.com/technology/software/products/virtualization/vm_jeos.html

そしてJeOS、あるいはVM Template Builderで作成したVMテンプレートは、Oracleからサポートを受けることができます(OSという意味で。ユーザが追加したhogehogeパッケージ等はサポートのスコープ外です)。なので安心してカスタマイズすることができます。

また後ほど詳しい使い方等書こうかな、と思っています。(と、こういう流れでちゃんと書いたことあんまりないけど)

とりあえずユーザガイドはこちらです。

ユーザガイド : Oracle VM Template Builder Installation and User’s Guide

without comments

Written by 中嶋 一樹

8月 15th, 2009 at 12:26 pm

Posted in Uncategorized

Tagged with ,

Enterprise Manager Grid ControlをVMテンプレートで構築する

Enterprise Manager Grid Control(EMGC)のリリース10.2.0.5からVM Managerの機能をEMGCに組み込むことができるようになりました(VM Management Packが該当するパックです)。これでEMGCからデータベースやその他アプリケーションだけでなく、VM環境も一元的に管理できるようになるというまさに統合管理の鬼みたいな感じです。

そしてこのEMGCがVMテンプレートとして提供されています。最近のOracleはもはや何でもテンプレートです。このテンプレートを使うことでEMGCを使ったことがない人でも何も調べずにEMGCをセットアップすることができます。また、今回はクリーンインストールしたVM Serverが一台ある環境を想定しています。このVM Serverは他のVM Manager等に登録されていないという前提です。

*EMGCのVM管理機能を有効にする場合はVM Managerとの併用はできませんのでご注意を。

それではその手順を紹介します。EMGCやVM Managerのテンプレートは他の一般的なテンプレートとは少し展開手順が異なります。それは、通常はテンプレートを展開するためのGUI(VM ManagerもしくはEMGC)が存在するのに対し、EMGCやVM Managerをテンプレートから作成するときにはその操作をするためのGUIがまだないからです。なのでEMGCやVM Managerはコマンドラインインターフェースを少し使ってセットアップを行います。

まずはE-DeliveryからEMGCのVMテンプレートをダウンロードします。

http://edelivery.oracle.com/linux/

Part NumberがB54399-01となっているものがそうです。他にもAgentのテンプレート等もあってちょっとまぎらわしいのでご注意を。以下8つのファイルをダウンロードすることになります。*これらのファイルは単に容量が大きいから分割されています。ちょっと面倒ですが8つ全部ダウンロードしてください。

これらのファイルは以下のようにVM Serverの/OVS/running_pool/以下に保存します。通常テンプレートはseed_pool以下に保存しますが、VM ManagerテンプレートやこのEMGCテンプレートの場合だけ例外となります。(seed_poolに入れてもそれを認識するManagerがまだ存在しないという前提だからです)

/OVS/running_pool/V16140-01.zip
/OVS/running_pool/V16141-01.zip
/OVS/running_pool/V16142-01.zip
/OVS/running_pool/V16143-01.zip
/OVS/running_pool/V16144-01.zip
/OVS/running_pool/V16145-01.zip
/OVS/running_pool/V16146-01.zip
/OVS/running_pool/V16147-01.zip

次に全てのファイルを解凍します。

[root@vmserver1]# cd /OVS/running_pool
[root@vmserver1]# for i in 0 1 2 3 4 5 6 7
> do
> unzip V1614${i}-01.zip
> done

すると以下のようにファイルが現れます。

EM_template_db11g_v1.tgz1of8
EM_template_db11g_v1.tgz2of8
EM_template_db11g_v1.tgz3of8
EM_template_db11g_v1.tgz4of8
EM_template_db11g_v1.tgz5of8
EM_template_db11g_v1.tgz6of8
EM_template_db11g_v1.tgz7of8
EM_template_db11g_v1.tgz8of8

これらのファイルは分割されたtgzファイルです。これらを一つに結合しつつ展開します。

[root@vmserver1]# cat EM_template_db11g_v1.tgz?of8 | tar -xvzf -
EM_template/
EM_template/system.img
EM_template/oms10g.img
EM_template/vm.cfg

展開が終了したら設定ファイルをちょこっと編集します。vm.cfgに仮想ディスクのパスを記述している行がありますが、その行のseed_poolとなっているところをrunning_poolに変更します。2つありますので2つとも変更します。そしてmacアドレスを設定します。これは以下のコマンドを実行することで入手可能です。

[root@vmserver1]# PYTHONPATH=/opt/ovs-agent-2.2 python -c "from OVSCommons import randomMAC; print randomMAC()"
00:16:3e:77:72:62

vm.cfgの設定例です。

bootloader = '/usr/bin/pygrub'
disk = ['file:/OVS/running_pool/EM_template/system.img,hda,w',
'file:/OVS/running_pool/EM_template/oms10g.img,hdb,w',
]
memory = '1024' #検証機のメモリが少ないときはセコい値にしておきます
name = 'OMS10g_DB11g'
on_crash = 'restart'
on_reboot = 'restart'
vcpus = 1
vfb = ['type=vnc,vncunused=1,vnclisten=0.0.0.0']
vif = ['mac=00:16:3e:5c:f3:39']
vif_other_config = []

そしてVMを起動します。

[root@vmserver1]# xm create EM_template/vm.cfg
Using config file "EM_template/vm.cfg".
Started domain OMS10g_DB11g

[root@vmserver1 EM_template]#

起動したらVNCでコンソールに接続できます。宛先はVM ServerのIPアドレス:5900(ポート)でOKです。接続するとLinuxが起動してきているのが確認できると思います。そしてある程度まで起動するとVMテンプレートではおなじみの初期設定スクリプトが起動し、対話型のセッションが始まります。ネットワーク情報やデータベースのパスワード等必要最小限の項目を質問に沿って答えれば初期設定は完了し、自動的にEMGCのセットアップが完了します。セットアップが完了すればEMGCにブラウザでアクセスすればログイン画面が表示されます。デフォルトだとURLは以下のようになります。

http://EMGC_IP:4889/em

これまでEMGC 10.2.0.5を構築しようと思うと、サーバハードウェアを確保し、OSをインストールし、OSをソフトウェア要件にあわせてセットアップし、EMGCのインストールファイルをアップロードし、OUIを起動してインストール。その後にPSR(パッチセットリリース)を適用して10.2.0.5へアップデート、という長い道のりでした。

VMテンプレートを利用するとこれが1時間以内に完了します。この先僕がEMGCをOUIからインストールすることは決してないでしょう。

with one comment

Written by 中嶋 一樹

7月 17th, 2009 at 6:25 pm

Posted in Uncategorized

Tagged with , ,

New VM Managerテンプレート!!!!

先日VM ManagerのVMテンプレートがリリースされましたが、早くもこれがバージョンアップしました。前回のものよりも更にセットアップが簡単になっています。

まず、E-DeliveryからVM Managerテンプレートをダウンロードします。

Oracle VM Template x86 32bitのカテゴリにあるPart Number:B53638-02, Updated:MAY-11-2009となっているヤツです。

これをダウンロードし、VM Serverの任意のディレクトリに保存します。ただし/OVS/running_pool以外のディレクトリにしてください。このディレクトリ配下は空になってないとVM Managerテンプレートのインポートに失敗してしまいます。以下の例ではvmserver1:/var/local/V165522-01.zipとして保存しました。

次に解凍します。

[root@vmserver1]# unzip V16522-01.zip
Archive: V16522-01.zip
  inflating: OVM_EL5U2_X86_OVM_MANAGER_PVM.tgz
  inflating: Deploy_Manager_Template.sh

[root@vmserver1]#

するとtarballとスクリプトが展開されます。

インポートはこのスクリプトを実行し、インタビューに答えるだけで完了します。前回のリリースのようにVM Managerにログインする必要がなくなりました。ちょっと出力は省略しているところがありますが、インタビュー項目は以下の通りで概ね変わっていません。

[root@vmserver1]# sh ./Deploy_Manager_Template.sh
Please enter the password for Oracle VM Agent:
Enter static IP address:
Enter netmask:
Enter gateway:
Enter DNS Server:
Enter hostname:
Specify a password to be used for database accounts:
Please enter the password for account 'OVS':
Please enter the password for account 'oc4jadmin':
Please enter the password for the default account 'admin':
Please enter the outgoing mail server (SMTP) hostname:
Please enter an e-mail address for account 'admin':
Enter the Server Pool name:
Enter the Oracle VM Server login user name
Enter the Oracle VM Server login password:
Do you want to enable HA(y|N)?
Please confirm the following information
Server Pool name : RACVM
Oracle VM Server name : vmserver1.ovm.oracle.com
Oracle VM Server login user name : root
Enable HA : false
Is the Oracle VM Server information correct(Y|n)?

すべて答えると以下tarballが展開され、インタビュー内容に応じて自動的にVM Managerの設定が行われます。

Untar the Oracle VM Manager template tarball ...
Done
Move the parameter file to Manager.img
Done
Create Oracle VM Manager virtual machine ...
Done
The Oracle VM Manager virtual machine is booting. To finish the Oracle VM
Manager configuration, connect to the virtual machine console using any
VNC Viewer from a desktop machine via the command:
vncviewer vmserver1.ovm.oracle.com:5900
After Oracle VM Manager has been successfully deployed, access the Oracle
VM Manager home page at:

http://10.185.145.227:8888/OVS

[root@vmserver1 local]#

この状態でセットアップスクリプト自体は終了していますが、VM Manager内部の設定処理はまだ走っています。ここから大体5-10分ほどで終了します。設定がすべて終了すれば、http://[VM_Manager_IP]:8888/OVSでVM Managerにアクセスできます。

初期設定処理の進捗を見たいといった場合や、いつ設定が終わったかちゃんと確認したい場合はVNCでVM Managerに接続することで様子を確認できます。VNC接続のあて先は上記セットアップスクリプトの出力の中に表示されています。今回の例だとvmserver1.ovm.oracle.com:5900ですね。

これで自動的にVM Managerがセットアップされ、さらにServer Poolが自動的に作成され、VM ServerがServer Pool Masterとして登録されます。

with 3 comments

Written by 中嶋 一樹

5月 15th, 2009 at 9:30 am

Posted in Uncategorized

Tagged with , ,

New VMテンプレート!!!!

Oracle VMのVMテンプレートは国内外問わずとても好評です。

そのような背景もありOracleは続々と新しいVMテンプレートをリリースしています。テンプレートはE-Deliveryからダウンロード可能です。

http://edelivery.oracle.com/linux

 

新しく追加されたのは以下のテンプレート達です。

  • Siebel CRM 8.1.1
  • Enterprise Manager Grid Control 10.2.0.5
  • Oracle Enterprise Linux 5.3
  • Oracle Enterprise Linux 4.7
  • Oracle Business Intelligence Enterprise Edition
  • Oracle PeopleSoft Enterprise Human Resource Management and Campus Solutions
  • Oracle Identity Management

*5/10現在、PeopleSoftはアナウンスされているもののE-Deliveryにはリストされていません。多分そのうちアップされると思います。

この中でも特筆すべきはOracle Enterprise Manager Grid Control 10.2.0.5でしょう。このバージョンではVM Management機能をプラグインすることができます。つまりEMGCでアプリケーションからミドルウェア、OS、さらにVMレイヤまですべて管理することができるようになります。特にVM管理機能は優秀で、一部のQoS設定等を除きVM managerの機能のほとんどが実装されています(EMGC+VM Management PackがあればVM Managerを別途構築する必要はありません)。

まさに一元管理。そしてこのEMGC 10.2.0.5自体をVMテンプレートとして一瞬で構築可能になったのです。

以下のテンプレートももちろん引き続きダウンロードできます。

  • Oracle Database 10.2, 11.1
  • Oracle WebLogic Server 10.3
  • Oracle Application Server 10.3 WebCenter
  • Oracle Fusion Middleware SOA

Enjoy !

without comments

Written by 中嶋 一樹

5月 10th, 2009 at 12:56 pm

Posted in Uncategorized

Tagged with ,

Weblogic 10.3の仮想マシンテンプレート

E-DeliveryにてWeblogic Server 10g Release 3の仮想マシンテンプレートがリリースされています。

E-Delivery

実際にこのテンプレートをOracle VMにインポートして仮想マシンを作成するとわかるのですが、ホントに簡単です。今まで苦労してソフトウェアの要件に合わせてOSを設定したり必要なパッケージを入れたり、インストーラについて調べたり、、という作業がまるで必要ありません。

そしてこの仮想マシンテンプレートは決して簡単なテスト目的のために提供されているものではありません(もちろんその目的でも便利なのですが)。本番環境でそのまま使用することを前提にOracle側で入念なテストを重ねたものです。あまりに導入が簡単だと「これはテスト用だよね」となりがちですが、そうではありません。

これからのシステム構築作業は今までとは工程が変わっていきそうです。

without comments

Written by 中嶋 一樹

3月 8th, 2009 at 10:23 am

Posted in Uncategorized

Tagged with , ,

VM Manager VM Released !

*検証の結果何度か手順を修正しました。

これまでOracle VMにはVM Managerという管理ノードが別サーバで必要でした。

今回リリースされたのはそのVM Managerのテンプレートです。つまり、VM Managerを仮想マシ上で動かすことができるようになったので、わざわざVM Manager用に一つハードウェアを用意する必要がなくなったわけです。しかもその仮想マシンがテンプレートという形ですでに提供されているのでManagerのインストールという作業も必要なくなりました。

取り急ぎダウンロードからセットアップまでをご紹介しておきます。

VM Manager VMのダウンロード:
http://edelivery.oracle.com/oraclevm

E-Deliveryの画面が表示されたら「Continue」ボタンを押し、Registrationの画面に進みます。必要な情報を入力し、規約に同意する旨のチェックボックスにチェックをして「Continue」ボタンを押し、Searchの画面に進みます。プルダウンメニューで以下のように選択して「Go」ボタンを押します。

Select a product Pack: Oracle VM Templates
Platform: x86 32bit

表示された検索結果の中にVM Managerのテンプレートがあるはずです。下記のテンプレートを選択してダウンロードへと進んでください。

Oracle VM Templates for Oracle VM Manager Media Pack for x86 (32bit)

ダウンロードしたテンプレートをVM Serverの/OVS/running_pool/に保存して解凍・展開します。この時、running_pool以下にはこのテンプレート以外のファイル、ディレクトリがないことを確認してください。

# cd /OVS/running_pool
# tar xzf OVM_EL5U2_X86_OVM_MANAGER_PVM.tgz

vm.cfgを編集してMACアドレスを割り当ててあげます。

# vi OVM_EL5U2_x86_OVM_MANAGER_PVM/vm.cfg
vif = [ 'bridge=xenbr0,mac=00:16:3E:00:00:01,type=netfront', ]

xm コマンドを使って仮想マシンを起動します。

# xm create OVM_EL5U2_x86_OVM_MANAGER_PVM/vm.cfg

次に今起動した仮想マシンのコンソールに接続するための情報を取得します。

# xm list -l | grep location
(location 0.0.0.0:5900)
(location 2)

上記出力結果の:5900がVNCで仮想マシンに接続するために必要なポート番号です。
そして接続先のIPにはVM ServerのIPまたはホスト名を指定します。RealVNCだとこんな感じです。

3272762121_5e55cde11d_o

VNCでコンソールにアクセスできるとOSの起動ログが表示された後に、通常VM Managerをインストールするのと同様に初期設定を行うためのプロンプトが出てきます。これらにすべて答えるとセットアップ完了です。以下のようにブラウザでアクセスできます。

http://VM ManagerのIP:8888/OVS

あと、Readmeにも記載がありますが、VM Manager VMをサスペンドしたり、シャットダウンするとVM Managerから操作ができなくなるのでご注意を。(そりゃそうだ)

without comments

Written by 中嶋 一樹

2月 11th, 2009 at 10:42 am

Posted in Uncategorized

Tagged with , ,