JunkBox～主に個人的防備録～: CloudStackでプライベートクラウドを構築してみた。

CloudStackでプライベートクラウドを構築してみた。

まだ全然よくわかっていないですが・・・

まずは、構築前に参考書籍紹介

今回構築するネットワーク構成は以下のとおり。

ManagedServer

参考書籍通り、NFSサーバと兼用する。

ネットワーク

基本ゾーンで構築。
ただし、公開用ネットワークと管理、NFS用のネットワークは分離する。

本当はグローバルIPな環境下でないといけないのだが、一般家庭にそんなものはないので、ルータ配下で構築を行う。
したがって、DNSやゲートウエイの設定をルータのIPに設定している。
（192.168.24.1、192.168.0.1が各ネットワークルータのIP）

ManagedServer構築

OS:CentOS6 (64bit)を最小インストール。
ホスト名、ネットワーク回り設定。
（ホスト名がFQDNで解決できないといけないらしいので、hostname --fqdnで完全修飾ホスト名が返ってこない場合は、hostsファイルを設定してください。）
SELinuxを無効に設定
IPV6を無効に設定
アップデート
時刻同期の為、ntpサーバをインストールします。
（何らかの形で時刻同期が取れれば問題ないと思います。）

yum -y install ntp

最寄りのntpサーバを/etc/ntp/confに登録。
起動＆自動起動設定

service ntpd start
chkconfig ntpd on

CloudStack管理サーバをインストールします。
まずは、/etc/yum.repos.d/cloudstack.repoというファイルを作成します。

[cloudstack]
name=cloudstack
baseurl=http://cloudstack.apt-get.eu/rhel/4.1/
enabled=1
gpgcheck=0

管理サーバをインストールします。

yum -y install cloud-client

vhd-utilをダウンロードし、指定のディレクトリに展開します。
（KVM環境の時に必要なのかは不明だが、一応入れておく）

wget http://download.cloud.com.s3.amazonaws.com/tools/vhd-util
cp vhd-util /usr/share/cloudstack-common/scripts/vm/hypervisor/xenserver

MySQLサーバのインストール

yum -y install mysql-server

/etc/my.confの[mysql]セクションのdatadir行の下に以下追加

innodb_rollback_on_timeout=1
innodb_lock_wait_timeout=600
max_connections=350
log-bin=msql-bin
binlog-format = 'ROW'

起動＆自動起動設定

service mysqld start
chkconfig mysqld on

データベースセキュリティの設定

データベース作成＆初期データ投入

cloudstack-setup-databases cloud:<ユーザcloudに対する設定するパスワード>@localhost --deploy-as=root:<さっき設定したrootのパスワード>

ファイヤーウォール設定

NFSサーバの構築

mkdir -p /export/primary
mkdir -p /export/secondary

/export *(rw,async,no_root_squash)

exportディレクトリをエクスポートします。

exportfs -a

NFSの設定

LOCKD_TCPPORT=32803
LOCKD_UDPPORT=32769
MOUNTD_PORT=892
STATD_PORT=662
STATD_OUTGOING_PORT=2020
RQUOTAD_PORT=875

自動起動設定

chkconfig nfs on

ファイヤーウォールの設定

-A INPUT -m state --state NEW -p udp --dport 111 -j ACCEPT
-A INPUT -m state --state NEW -p tcp --dport 111 -j ACCEPT
-A INPUT -m state --state NEW -p tcp --dport 2049 -j ACCEPT
-A INPUT -m state --state NEW -p tcp --dport 32803 -j ACCEPT
-A INPUT -m state --state NEW -p udp --dport 32769 -j ACCEPT
-A INPUT -m state --state NEW -p tcp --dport 892 -j ACCEPT
-A INPUT -m state --state NEW -p udp --dport 892 -j ACCEPT
-A INPUT -m state --state NEW -p tcp --dport 875 -j ACCEPT
-A INPUT -m state --state NEW -p udp --dport 875 -j ACCEPT
-A INPUT -m state --state NEW -p tcp --dport 662 -j ACCEPT
-A INPUT -m state --state NEW -p udp --dport 662 -j ACCEPT

ここでいったんリブートします。
KVMのテンプレートをDLして共有に展開します。

/usr/share/cloudstack-common/scripts/storage/secondary/cloud-install-sys-tmplt -m /export/secondary -u http://download.cloud.com/templates/acton/acton-systemvm-02062012.qcow2.bz2 -h kvm

KVMサーバ構築

OS:CentOS6 (64bit)を最小インストール。
ホスト名、ネットワーク回り設定。
（ホスト名がFQDNで解決できないといけないらしいので、hostname --fqdnで完全修飾ホスト名が返ってこない場合は、hostsファイルを設定してください。）
SELinuxを無効に設定
IPV6を無効に設定
アップデート
時刻同期の為、ntpサーバをインストールします。
（何らかの形で時刻同期が取れれば問題ないと思います。）

yum -y install ntp

最寄りのntpサーバを/etc/ntp/confに登録。
起動＆自動起動設定

service ntpd start
chkconfig ntpd on

CloudStackエージェントをインストールします。
まずは、/etc/yum.repos.d/cloudstack.repoというファイルを作成します。

[cloudstack]
name=cloudstack
baseurl=http://cloudstack.apt-get.eu/rhel/4.1/
enabled=1
gpgcheck=0

CloudStackエージェントをインストールします。

yum -y install cloud-agent

libvirtの設定

listen_tls = 0
listen_tcp = 1
tcp_port = 16059
auth_tcp = "none"
mdns_adv = 0

LIBVIRTD_ARGS="--listen" #コメントを外し有効化する

vnc_listem = "0.0.0.0" #コメントを外し有効化する

service libvirtd restart

管理用、パブリック両ネットワークに対し、ブリッジを作成する。

DEVICE=eth0
BOOTPROTO=none
NM_CONTROLLED=yes
ONBOOT=yes
TYPE=Ethernet
IPADDR=192.168.0.108
NETMASK=255.255.255.0
IPV6INIT=no
USERCTL=no
GATEWAY=192.168.0.1
DNS1=192.168.0.1
BRIDGE=cloudbr0

DEVICE=eth1
BOOTPROTO=none
NM_CONTROLLED=no
ONBOOT=yes
TYPE=Ethernet
IPADDR=192.168.24.7
NETMASK=255.255.255.0
GATEWAY=192.168.24.1
DNS1=192.168.24.1
IPV6INIT=no
USERCTL=no
BRIDGE=cloudbr1

DEVICE=cloudbr0
BOOTPROTO=none
NM_CONTROLLED=no
ONBOOT=yes
TYPE=Bridge
IPADDR=192.168.0.108
NETMASK=255.255.255.0
GATEWAY=192.168.0.1
DNS1=192.168.0.1
IPV6INIT=no
USERCTL=no

DEVICE=cloudbr1
BOOTPROTO=none
NM_CONTROLLED=no
ONBOOT=yes
TYPE=Bridge
IPADDR=192.168.24.7
NETMASK=255.255.255.0
GATEWAY=192.168.24.1
DNS1=192.168.24.1
IPV6INIT=no
USERCTL=no

設定したらネットワーク再起動

service network restart

ファイヤーウォールの設定

-A INPUT -p tcp -m tcp --dport 1798 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 16509 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 5900:6100 -j ACCEPT
-A INPUT -p tcp -m tcp --dport 49152:49216 -j ACCEPT

基本ゾーンの設定

http://管理サーバのIP:8080/clientを開く。

ゾーンの設定

ポッドの設定

ゲストネットワークの設定

ストレージネットワークの設定

クラスタの登録

プライマリストレージの登録

セカンダリストレージの登録

参照先

はまりポイントその１

VMに外部からSSHできない
ネットワークのセキュリティレベルを変更。
デフォルトでは外部接続NGになっている。

はまりポイントその２

MyISOの登録方法が分からん。

テンプレートからISOの登録を行う。

URLの箇所はhttpから始まるFQDNでないとダメらしい。参照先より。

はまりポイントその３

システムVMへSSHができない。
ポート番号が違うようです。
```
ssh -i 169.254.xxx.xxx .ssh/id_rsa.cloud -p 3922 
```
(169.254.xxx.xxx の箇所は、インフラストラクチャの中にある、システムVMのリンクローカルIPアドレスを入れる）

はまりポイントその４

仮想コンソールで192-168-24-101.realhostip.comのようなホスト名が解決できないといわれる。
違うネットワークセグメントから接続するとなるようです。
接続するクライアントPCのhostsに
```
192.168.24.101 192-168-24-101.realhostip.com
```
な感じて登録しましょう。
（無論、DNSがあれば登録してもいい）

はまりポイントその５

windowsをインストールする際、システムコンソールで「japanese keybord」を選択しているのに、「半角/全角」キーが押せない。

どうも駄目のようです。インストールの際は、sキーを押して、その他のキーボードから日本語キーボードを選択してください。

はまりポイントその６

windowsxpをインストールしたけど、ネットワークが繋がらないんだけど・・・

どうもドライバが無いようです。現在調査中・・・

ちょっと余談
薄々感づいてはいましたが、仮想マシンの起動が遅い！
仮想マシンのHDDはNFS上に配置されているので、もしKVMサーバが1台しかないのなら、
KVMサーバ側にNFSサーバを兼用すれば、ネットワークがボトルネックにならなくて済むかも。
あと、ManagemedServer側は、NFSを分離できれば、単なるMySQLとTomCatなサーバのようです。
なので、推奨環境にあるような高スペックPCでなくても、仮想マシン数台の管理程度なら、ATOM程度で行けるんじゃないかなぁ。
（64botでないといけないのがイタしいですが・・）

2013/09/02
CloudStack4.1用に加筆修正。

JunkBox～主に個人的防備録～

2013年3月10日日曜日

CloudStackでプライベートクラウドを構築してみた。

1 件のコメント:

人気の投稿