本文共 4206 字,大约阅读时间需要 14 分钟。
前期一直使用Mirantis公司的fuel工具进行安装部署openstack,但是在实际使用当中,发现fuel对于定制化的需求还是做得不够好,如果中间部署出错,你找不出原因,同时如果资源紧张,需要同时在一个物理节点上同时部署多个组件,fuel的支持不是很好。我在试验环境下测试了controller和cinder复用一台物理主机,controller与ironic复用,都失败了,而且鉴于查找解决办法,还需要深入了解fuel本身的结构,因此后面发现只有简单环境下使用fuel是顺利的,稍微灵活一点的部署,fuel就不合适了。另外,我猜想这也有可能是Mirantis公司的策略,如果fuel在很多场景下都可以正常使用的话,那别人也不会购买他们的服务了(仅仅是个人猜测)。另外提一句,目前为止,我测试fuel,成功的有3节点的,即1个controller,1个compute,1个cinder;5个节点的:3个controller的ha,1个compute,1个cinder。
实验过程参考了openstack官网的OpenStack-Ansible Deployment Guide ,网址是:
过程总结一下:
1. 首先建一个虚拟机安装ubuntu16.04版本的操作系统(基础版,,账号ywb密码ywb123),配置了4个网卡,其中一块网卡是桥接到物理网卡,并且能够上网,运行apt-get update 和 apt-get dist-upgrade 更新安装源,以及执行apt-get install aptitude build-essential git ntp ntpdate openssh-server python-dev sudo 安装必要的软件包;完成后将这个虚拟机作为模板。
2. 复制上面建好的虚拟机模板,分别建ansible主机,controller主机,compute主机,cinder主机;
3. 根据官网的操作手册进行后面的安装配置。
第一阶段实验规划:
1个ansible部署节点,1个控制节点/1个计算节点/1个cinder存储节点,共4个节点,每个虚拟机3块网卡,第一块用于管理,第二块用于ansible部署以及内部的存储/管理/私有网络,第三块直接桥接到外部网络;
相关的网络平面规划如下:
host-only, enp0s3:部署平面: 10.20.0.0/24
bridge, enp0s8: 管理平面: 172.29.236.0/22 整个网段 vlan tag: 10
存储平面: 172.29.244.0/22 整个网段 vlan tag: 30
私有网络平面:172.29.240.0/22 整个网段 网关:172.29.240.1 vlan tag: 20
bridge,enp0s9: 连到外网 192.168.170.0/24
4台虚拟机的主机名和ip地址规划如下:
主机名:ansible 部署平面: 10.20.0.201
公共平面: 192.168.170.201
主机名:controller1 部署平面: 10.20.0.211
公共平面: 192.168.170.211
管理平面: 172.29.236.211
存储平面: 172.29.244.211
私有网络平面: 172.29.240.211
主机名:compute1 部署平面: 10.20.0.212
公共平面: 192.168.170.212
管理平面: 172.29.236.212
存储平面: 172.29.244.212
私有网络平面: 172.29.240.212
主机名:cinder 部署平面: 10.20.0.213
公共平面: 192.168.170.213
管理平面: 172.29.236.213
存储平面: 172.29.244.213
私有网络平面: 172.29.240.213
部署过程除了按照官网的进行配置之外,还需要做下面步骤:
1.由于需要bridge支持,因此需要安装bridge-utils 包,否则br-mgmt网卡起不来,运行下面的命令:
sudo apt-get install bridge-utils
echo '8021q' >> /etc/modules
2.git clone -b TAG https://git.openstack.org/openstack/openstack-ansible /opt/openstack-ansible 改为:
git clone -b stable/newton https://github.com/openstack/openstack-ansible /opt/openstack-ansible
即选择newton版本的安装
git clone -b stable/mitaka https://github.com/openstack/openstack-ansible /opt/openstack-ansible
即选择mitaka版本的安装
3.配置ssh信任关系:
在ansible上执行ssh-keygen ,在目录 ~/.ssh/生成id_rsa.pub ,将这个文件里面密钥拷贝到所有target服务器中的 authorized_keys文件中
然后测试:
ssh 172.29.236.11
ssh 172.29.236.12
ssh 172.29.236.13
4.到/etc/openstack_deploy 目录,拷贝openstack_user_config.yml.test.example文件到/etc/openstack_deploy/openstack_user_config.yml
安装目标服务器target host,按照官网的进行配置,其中配置cinder的cider_volume,磁盘类型选择为8e,Linux LVM 类型
修改/etc/openstack_deploy/openstack_user_config.yml 配置文件中参数external_lb_vip_address: openstack.example.com ,实际安装过程中需要改为实际controller外网地址网卡地址
external_lb_vip_address: 10.20.0.211
5.配置代理,配置/etc/openstack_deploy/user_variables.yml 文件中的下面几个参数,其中 proxy_env_url: http://192.168.170.249:8118/ 是使用192.168.170.249上的8118口,请参考《shadowsocks和redsocks消息转发设置.txt》:
proxy_env_url: http://192.168.170.249:8118/
no_proxy_env: "localhost,127.0.0.1,` internal_lb_vip_address `,` external_lb_vip_address `,{% for host in groups['all_containers'] %}{
{ hostvars[host]['container_address'] }}{% if not loop.last %},{% endif %}{% endfor %}"global_environment_variables:
HTTP_PROXY: "` proxy_env_url `"
HTTPS_PROXY: "` proxy_env_url `"
NO_PROXY: "` no_proxy_env `"
http_proxy: "` proxy_env_url `"
https_proxy: "` proxy_env_url `"
no_proxy: "` no_proxy_env `"
配置代理服务器:
export http_proxy="http://192.168.170.249:8118/"
export https_proxy="http://192.168.170.249:8118/"
如果安装还未完成,服务器中途重启,重启后需要重新检查网络是否正常,是否可以访问外网;
修改 /etc/ansible/roles/haproxy_server/tasks/haproxy_install_hatop.yml ,增加validate_certs : 0
安装galera组件的时候,连接haproxy提供的repo对外端口8181,发现haproxy没有正常启动,增加系统核心参数:
vi /etc/sysctl.conf
net.ipv4.ip_nonlocal_bind=1
并生效: sysctl -p
并手动增加VIP地址:
ip a add 172.29.236.10 dev br-mgmt
ip a add 10.20.0.210 dev enp0s3
6. 安装完openstack组件之后,检查组件运行情况,发现有几个问题:
1)使用命令 openstack user list ,提示错误,通过pip重新安装openstackclient后正常:
pip install python-openstackclient
2)登陆网页10.20.0.211检查horizon,首页出不来,检查是haproxy服务启动失败
3)修改 /etc/apache2/ports.conf
Listen 80
Listen 443
Listen 8888
Listen 35357
Listen 5000
然后重启apache2: systemctl restart apache2
7.修改默认路由:
route del default gw 172.29.236.1
route add default gw 192.168.170.254