@mrz1
2018-01-20T03:07:09.000000Z
字数 15760
阅读 2048
笔记




1 Dev开发环境使用者:程序员功能:程序员开发软件,测试BUG的环境管理者:程序员2 测试环境使用者:QA测试工程师功能:测试经过Dev环境测试通过的软件的功能管理者:运维说明:测试环境往往有多套,测试环境满足测试功能即可,不宜过多(1)测试人员希望测试环境有多套,公司的产品多产品线并发,即多个版本,意味着多个版本同步测试(2)通常测试环境有多少套和产品线数量保持一样3 发布环境:代码发布机,有些公司为堡垒机(安全屏障)使用者:运维功能:发布代码至生产环境管理者:运维(有经验)发布机:往往需要有2台(主备)4 生产环境使用者:运维,少数情况开放权限给核心开发人员,极少数公司将权限完全开放给开发人员并其维护功能:对用户提供公司产品的服务管理者:只能是运维生产环境服务器数量:一般比较多,且应用非常重要。往往需要自动工具协助部署配置应用。5 灰度环境(生产环境的一部分)使用者:运维功能:在全量发布代码前将代码的功能面向少量精准用户发布的环境,可基于主机或用户执行灰度发布案例:共100台生产服务器,先发布其中的10台服务器,这10台服务器就是灰度服务器管理者:运维灰度环境:往往该版本功能变更较大,为保险起见特意先让一部分用户优化体验该功能,待这部分用户使用没有重大问题的时候,再全量发布至所有服务器预发布验证:新版本的代码先发布到服务器(跟线上环境配置完全相同,只是未接入到调度器)程序发布:不能导致系统故障或造成系统完全不可用不能影响用户体验灰度发布:发布路径:/webapp/tuangou-1.1/webapp/tuangou/webapp/tuangou-1.2发布过程:在调度器上下线一批主机(标记为maintanance状态) --> 关闭服务--> 部署新版本的应用程序--> 启动服务--> 在调度器上启用这一批服务器自动化灰度发布:脚本、发布平台
公司计划在年底做一次大型市场促销活动,全面冲刺下交易额,为明年的上市做准备。公司要求各业务组对年底大促做准备,运维部要求所有业务容量进行三倍的扩容,并搭建出多套环境可以共开发和测试人员做测试,运维老大为了在年底有所表现,要求运维部门同学尽快实现,当你接到这个任务时,有没有更快的解决方案?
同类自动化工具GitHub关注程度(2016-07-10)
| 同类的自动化运维工具 | Watch(关注) | Star(点赞) | Fork(复制) | Contributors(贡献者) |
|---|---|---|---|---|
| Ansible | 1387 | 17716 | 5356 | 1428 |
| Saltstack | 530 | 6678 | 3002 | 1520 |
| Puppet | 463 | 4044 | 1678 | 425 |
| Chef | 383 | 4333 | 1806 | 464 |
| Fabric | 379 | 7334 | 1235 | 116 |


rpm包安装: EPEL源
yum install ansible
编译安装:
yum -y install python-jinja2 PyYAML python-paramikopython-babel python-cryptotar xf ansible-1.5.4.tar.gzcd ansible-1.5.4python setup.py buildpython setup.py installmkdir /etc/ansiblecp -r examples/* /etc/ansible
git clone git://github.com/ansible/ansible.git --recursivecd ./ansiblesource ./hacking/env-setup
yum install python-pip python-develyum install gcc glibc-devel zibl-devel rpm-bulid openssl-develpip install --upgrade pippip install ansible--upgrade
ansible --version配置文件
/etc/ansible/ansible.cfg 主配置文件,配置ansible工作特性
/etc/ansible/hosts 主机清单
/etc/ansible/roles/ 存放角色的目录
程序
/usr/bin/ansible 主程序,临时命令执行工具
/usr/bin/ansible-doc 查看配置文档,模块功能查看工具
/usr/bin/ansible-galaxy 下载/上传优秀代码或Roles模块的官网平台
/usr/bin/ansible-playbook 定制自动化任务,编排剧本工具
/usr/bin/ansible-pull 远程执行命令的工具
/usr/bin/ansible-vault 文件加密工具
/usr/bin/ansible-console 基于Console界面与用户交互的执行工具
/etc/ansible/hosts/etc/ansible/hosts文件格式
inventory文件遵循INI文件风格,中括号中的字符为组名。可以将同一个主机同时归并到多个不同的组中;此外,当如若目标主机使用了非默认的SSH端口,还可以在主机名称之后使用冒号加端口号来标明
例:[root@centos7 ~]#vim /etc/ansible/hosts[web]192.168.109.100192.168.109.2[db]192.168.109.3192.168.109.100 //这里默认有个all[root@centos7 ~]#ansible db -m ping192.168.109.100 | SUCCESS => {"changed": false,"ping": "pong"}192.168.109.3 | SUCCESS => {"changed": false,"ping": "pong"}
如果主机名称遵循相似的命名模式,还可以使用列表的方式标识各主机
示例:
[websrvs]www[01:100].example.com[dbsrvs]db-[a:f].example.com
Ansible 配置文件/etc/ansible/ansible.cfg (一般保持默认)[defaults]#inventory = /etc/ansible/hosts # 主机列表配置文件#library = /usr/share/my_modules/ # 库文件存放目录#remote_tmp = $HOME/.ansible/tmp #临时py命令文件存放在远程主机目录#local_tmp = $HOME/.ansible/tmp # 本机的临时命令执行目录#forks = 5 # 默认并发数#sudo_user = root # 默认sudo 用户#ask_sudo_pass = True #每次执行ansible命令是否询问ssh密码#ask_pass = True#remote_port = 22#host_key_checking = False #检查对应服务器的host_key,建议取消注释第一次连接不用输入yes#log_path = /var/log/ansible.log 生成日志文件
Ansible系列命令ansible ansible-doc ansible-playbook ansible-vault ansible-console ansible-galaxy ansible-pullansible-doc:显示模块帮助ansible-doc [options] [module...]-a 显示所有模块的文档-l, --list 列出可用模块-s, --snippet 显示指定模块的playbook片段示例:ansible-doc –l 列出所有模块ansible-doc ping 查看指定模块帮助用法ansible-doc –s ping 查看指定模块帮助用法
ansible通过ssh实现配置管理、应用部署、任务执行等功能,建议配置ansible端能基于密钥认证的方式联系各被管理节点ansible <host-pattern> [-m module_name] [-a args]--version 显示版本-m module 指定模块,默认为command-v 详细过程–vv-vvv更详细--list-hosts 显示主机列表,可简写—list-k, --ask-pass 提示连接密码,默认Key验证-K, --ask-become-pass 提示输入sudo-C, --check 检查,并不执行-T, --timeout=TIMEOUT 执行命令的超时时间,默认10s-u, --user=REMOTE_USER 执行远程执行的用户-b, --become 代替旧版的sudo切换ansible的Host-pattern匹配主机的列表All :表示所有Inventory中的所有主机ansible all –m ping* :通配符ansible "*" -m pingansible 192.168.1.* -m pingansible "*srvs" -m ping或关系ansible "websrvs:appsrvs" -m pingansible "192.168.1.10:192.168.1.20" -m ping逻辑与ansible "websrvs:&dbsrvs" –m ping在websrvs组并且在dbsrvs组中的主机逻辑非ansible 'websrvs:!dbsrvs' –m ping在websrvs组,但不在dbsrvs组中的主机综合逻辑ansible 'websrvs:dbsrvs:&appsrvs:!ftpsrvs' –m ping正则表达式ansible "websrvs:&dbsrvs" –m pingansible "~(web|db).*\.magedu\.com" –m ping
ansible命令执行过程ansible all -m command -a 'ls /root'
1. 加载自己的配置文件默认/etc/ansible/ansible.cfg
2. 加载自己对应的模块文件,如command
3. 通过ansible将模块或命令生成对应的临时py文件,并将该文件传输至远程服务器的对应执行用户$HOME/.ansible/tmp/ansible-tmp-数字/XXX.PY文件
4. 给文件+x执行
5. 执行并返回结果
6. 删除临时py文件,sleep 0退出
执行状态:
绿色:执行成功并且不需要做改变的操作
黄色:执行成功并且对目标主机做变更
红色:执行失败
以wang用户执行ping存活检测ansible all -m ping -u wang -k以wang sudo至root执行ping存活检测ansible all -m ping -u wang –b -k以wangsudo至mage用户执行ping存活检测ansible all -m ping -u wang –b -k --become-user mage以wang sudo至root用户执行lsansible all -m command -u wang--become-user=root -a 'ls/root' -b –k -K
命令:chdir: #运行该命令之前,切换到该目录。creates: #一个文件当它已经存在时,这个步骤将不运行。ansible srvs -m command -a 'service vsftpd start'ansible srvs -m command -a 'echo magedu |passwd --stdin wang' 不成功此命令不支持$VARNAME < > | ;& 等,用shell模块实现
ansible srv -m shell -a 'echo xxxxx |passwd –stdin wang'调用bash执行命令类似cat /tmp/stanley.md | awk -F'|' '{print $1,$2}' &> /tmp/example.txt这些复杂命令,即使使用shell也可能会失败,解决办法:写到脚本时,copy到远程,执行,再把需要的结果拉回执行命令的机器[root@centos7 ~]#ansible all -m shell -a 'echo $HOSTNAME'192.168.109.100 | SUCCESS | rc=0 >>centos7.magedu.com192.168.109.2 | SUCCESS | rc=0 >>centos7192.168.109.3 | SUCCESS | rc=0 >>centos6.9
f1.shhostnamedate .... 定义了一些脚本等snsible websrvs -m script -a 'f1.sh'
ansible srv -m copy -a "src=/root/f1.sh dest=/tmp/f2.sh owner=wang mode=600 backup=yes"如目标存在,默认覆盖,此处指定先备份ansible srv -m copy -a "content='test content\n' dest=/tmp/f1.txt" 利用内容,直接生成目标文件
支持时间:minute,hour,day,month,weekdayansible srv -m cron -a "minute=*/5 job='/usr/bin/ntpdate 172.16.0.1 &>/dev/null' name=Synctime" 创建任务ansible srv -a 'crontab -l' 查看任务ansible srv -m cron -a 'state=absent name=Synctime' 删除任务计划任务目录路径 /var/spool/cron/rootansible srv -m cron -a 'disabled=yes job="/usr/bin/ntpdate 172.16.0.1 &>/dev/null" name=Synctime'disables=yes 前面加上注释 no的话取消注释
ansible srv -m fetch -a 'src=/root/a.sh dest=/data/scripts'
ansible srv -m file -a "path=/root/a.sh state=touch owner=wang mode=755" //创建空文件 并设置权限等ansible web -m file -a 'src=/app/testfile dest=/app/testfile-link state=link' //创建软连接
ansible web -m hostname -a "name=websrv"
ansible srv -m yum -a 'name=httpd state=latest' 安装ansible srv -m yum -a 'name=httpd,tftp state=latest' 安装多个ansible srv -m yum -a 'name=httpd state=latest update_cache=yes'update_cache=yes 相当于yum clean allansible srv -m yum -a 'name=httpd state=absent' 删除
ansible srv -m service -a 'name=httpd state=stopped enabled=yes'关闭并且设置开机启动 不支持多个命令ansible srv -m service -a 'name=httpd state=started'启动ansible srv –m service –a 'name=httpd state=reloaded'ansible srv -m service -a 'name=httpd state=restarted'重启
ansible srv -m user -a 'name=user1 comment="test user" uid=2048 home=/app/user1 group=root'创建普通用户ansible srv -m user -a 'name=sysuser1 system=yes home=/app/sysuser1 '创建系统用户ansible srv -m user -a 'name=user1 state=absent remove=yes' 删除用户及家目录等数据
ansible srv -m group -a "name=testgroup system=yes"ansible srv -m group -a "name=testgroup state=absent"
连接https://galaxy.ansible.com 下载相应的roles中文 http://www.ansible.com.cn/index.html列出所有已安装的galaxyansible-galaxy list安装galaxyansible-galaxy install geerlingguy.redis删除galaxyansible-galaxy remove geerlingguy.redis
ansible-pull推送命令至远程,效率无限提升,对运维要求较高
ansible-playbook hello.yml例子:vim hello.yml- hosts: testremote_user: roottasks:- name: hello worldcommand: wall "hello world"
功能:管理加密解密yml文件ansible-vault [create|decrypt|edit|encrypt|rekey|view]ansible-vault encrypt hello.yml 加密ansible-vault decrypt hello.yml 解密ansible-vault view hello.yml 查看ansible-vault edit hello.yml 编辑加密文件ansible-vault rekey hello.yml 修改口令ansible-vault create new.yml 创建新文件
Ansible-console:2.0+新增,可交互执行命令,支持tabroot@test(2)[f:10] $执行用户@当前操作的主机组(当前组的主机数量)[f:并发数]$设置并发数:forks n 例如:forks 10切换组:cd 主机组例如:cd web列出当前组主机列表:list列出所有的内置命令:?或help示例:root@all (2)[f:5]$ listroot@all (2)[f:5]$ cd appsrvsroot@appsrvs (2)[f:5]$ listroot@appsrvs(2)[f:5]$ yum name=httpd state=presentroot@appsrvs(2)[f:5]$ service name=httpd state=started

更多的内容及规范参见http://www.yaml.org
Dictionary:字典,通常由多个key与value构成示例:---# An employee recordname: Example Developerjob: Developerskill: Elite也可以将key:value放置于{}中进行表示,用,分隔多个key:value示例:---# An employee record{name: Example Developer, job: Developer, skill: Elite}
YAML的语法和其他高阶语言类似,并且可以简单表达清单、散列表、标量等数据结构。其结构(Structure)通过空格来展示,序列(Sequence)里的项用"-"来代表,Map里的键值对用":"分隔
示例
name: John Smithage: 41gender: Malespouse:name: Jane Smithage: 37gender: Femalechildren:- name: Jimmy Smithage: 17gender: Male- name: Jenny Smithage 13gender: Female
ansible-playbook –t tagsname useradd.yml
vim test1.yml- hosts: webremote_user: roottasks:- name: install packageyum: name=httpd start=present- name: start serviceservice: name=httpd state=started enabled=yesansible-playbook test1.yml 执行
playbook中的每一个play的目的都是为了让某个或某些主机以某个指定的用户身份执行任务。hosts用于指定要执行指定任务的主机,须事先定义在主机清单中可以是如下形式:one.example.comone.example.com:two.example.com192.168.1.50192.168.1.*Websrvs:dbsrvs两个组的并集Websrvs:&dbsrvs两个组的交集webservers:!phoenix 在websrvs组,但不在dbsrvs组示例:-hosts: websrvs:dbsrvs
可用于Host和task中。也可以通过指定其通过sudo的方式在远程主机上执行任务,其可用于play全局或某任务;此外,甚至可以在sudo时使用sudo_user指定sudo时切换的用户- hosts: websrvsremote_user: roottasks:-name: test connectionping:remote_user: magedusudo: yes 默认sudo为rootsudo_user:wang sudo为wang
play的主体部分是task list。task list中的各任务按次序逐个在hosts中指定的所有主机上执行,即在所有主机上完成第一个任务后再开始第二个。在运行自下而下某playbook时,如果中途发生错误,所有已执行任务都将回滚,因此,在更正playbook后重新执行一次即可task的目的是使用指定的参数执行模块,而在模块参数中可以使用变量。模块执行是幂等的,这意味着多次执行是安全的,因为其结果均一致每个task都应该有其name,用于playbook的执行结果输出,建议其内容尽可能清晰地描述任务执行步骤。如果未提供name,则action的结果将用于输出
格式:(1) action: module arguments(2) module: arguments 建议使用注意:shell和command模块后面跟命令,而非key=value某任务的状态在运行后为changed时,可通过“notify"通知给相应的handlers任务可以通过"tags"打标签,而后可在ansible-playbook命令上使用-t指定进行调用示例:tasks:- name: disable selinuxcommand: /sbin/setenforce 0
如果命令或脚本的退出码不为零,可以使用如下方式替代tasks:- name: run this command and ignore the resultshell: /usr/bin/somecommand|| /bin/true或者使用ignore_errors来忽略错误信息:tasks:- name: run this command and ignore the resultshell: /usr/bin/somecommandignore_errors: True运行playbook的方式ansible-playbook <filename.yml> ... [options]常见选项--check 只检测可能会发生的改变,但不真正执行操作--list-hosts 列出运行任务的主机--limit 主机列表只针对主机列表中的主机执行-v 显示过程-vv-vvv更详细示例ansible-playbook file.yml --check 只检测ansible-playbook file.ymlansible-playbook file.yml --limit websrvs
SHELL脚本#!/bin/bash# 安装Apacheyum install --quiet -y httpd# 复制配置文件cp /path/to/config/httpd.conf /etc/httpd/conf/httpd.confcp /path/to/httpd-vhosts.conf /etc/httpd/conf/httpd-vhosts.conf# 启动Apache,并设置开机启动service httpd startchkconfig httpd onPlaybook定义---- hosts: alltasks:- name: "安装Apache"command: yum install -q -y httpd- name: "复制配置文件"command: cp /tmp/httpd.conf/ etc/httpd/conf/httpd.confcommand: cp /tmp/httpd-vhosts.conf/ etc/httpd/conf/httpd-vhosts.conf- name: "启动Apache,并设置开机启动"service: name=httpd state=started enabled=yes
---- hosts: allremote_user: roottasks:- name: create mysql useruser: name=mysql system=yes uid=36- name: create a groupgroup: name=httpd system=yes
示例:httpd.yml- hosts: websrvsremote_user: roottasks:- name: Install httpdyum: name=httpd state=present- name: Install configure filecopy: src=files/httpd.conf dest=/etc/httpd/conf/- name: start serviceservice: name=httpd state=started enabled=yes
- hosts:websrvsremote_user: roottasks:- name: Install httpdyum: name=httpd state=present- name: Install configure filecopy: src=files/httpd.conf dest=/etc/httpd/conf/notify: restart httpd- name: ensure apache is runningservice: name=httpd state=started enabled=yeshandlers:- name: restart httpdservice: name=httpd status=restarted
示例:
- hosts: websrvsremote_user: roottasks:- name: add group nginxtags: useruser: name=nginx state=present- name: add user nginxuser: name=nginx state=present group=nginx- name: Install Nginxyum: name=nginx state=present- name: configcopy: src=/root/config.txt dest=/etc/nginx/nginx.confnotify:- Restart Nginx- Check Nginx Processhandlers:- name: Restart Nginxservice: name=nginx state=restarted enabled=yes- name: Check Nginx processshell: killall -0 nginx > /tmp/nginx.log
示例:httpd.yml
- hosts: websrvsremote_user: roottasks:- name: Install httpdyum: name=httpd state=present- name: Install configure filecopy: src=files/httpd.conf dest=/etc/httpd/conf/tags: conf- name: start httpd servicetags: serviceservice: name=httpd state=started enabled=yesansible-playbook –t conf httpd.yml-t //--tags
本机先安装httpd 把httpd配置文件 /etc/httpd/conf/httpd.conf 里面端口改为8080[root@centos7 app]#cat httpd.yml---- hosts: webremote_user: roottasks:- name: install httpdyum: name=httpd- name: copy config filecopy: src=/app/httpd.conf dest=/etc/httpd/conf/- name: start httpdservice: name=httpd state=started enabled=yes[root@centos7 app]#ansible-playbook httpd.yml现在把端口改为80[root@centos7 app]#cat httpd.yml---- hosts: webremote_user: roottasks:- name: install httpdyum: name=httpd- name: copy config filecopy: src=/app/httpd.conf dest=/etc/httpd/conf/notify: restart httpd- name: start httpdservice: name=httpd state=started enabled=yeshandlers:- name: restart httpdservice: name=httpd state=restarted[root@centos7 app]#ansible-playbook --limit 192.18.109.1 httpd.yml 只针对这一台机器[root@centos7 app]#ansible web -m shell -a 'ss -ntl|grep 80'192.168.109.100 | SUCCESS | rc=0 >>LISTEN 0 128 :::80 :::*192.168.109.2 | SUCCESS | rc=0 >>LISTEN 0 128 :::80 :::*