联网运维工作，以服务为中心，以稳定、安全、高效为三个基本点，确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。

运维人员对公司互联网业务所依赖的基础设施、基础服务、线上业务进行稳定性加强，进行日常巡检发现服务可能存在的隐患，对整体架构进行优化以屏蔽常见的运行故障，多数据中接入提高业务的容灾能力。

通过监控、日志分析等技术手段，及时发现和响应服务故障，减少服务中断的时间，使公司的互联网业务符合预期的可用性要求，持续稳定地为用户提供务。

在安全方面，运维人员需要关注业务运行所涉及的各个层面，确保用户能够安全、完整地访问在线业务。

从网络边界划分、ACL 管理、流量分析、DDoS 防御，到操作系统、开源软件的漏洞扫描和修补，再到应用服务的XSS、SQL注入防护；
从安全流程梳、代码白盒黑盒扫描、权限审计，到入侵行为检测、业务风险控制等。

运维人员需要保障公司提供的互联网业 运行在安全、可控的状态下，确保公司业务数据和用户隐私数据的安全，同时还需要具备抵御各种恶意攻击的能力。

在确保业务稳定、安全的前提下，还需保障业务高效的运转，公司内快速的产出。运维工作需要对业务进行各方面优化。

比如，IO 优化提升数据库性能，图片压缩降低带宽使用量等，提供的互联网业务以较小的资源投入带来最大的用户价值和体验。
同时，还需要通过各种工具平台提升内部产品发布交付的效率，提升公司内运维相关的工作效率。

工作分类运维
运维的工作方向比较多，随着业务规模的不断发展，越成熟的互联网公司，运维岗位会划分得越细。

当前很多大型的互联网公司，在初创时期只有系统运维，随着服务规模、服务质量的 要求，也逐渐进行了工作细分。

一般情况下运维团队的工作分类（见图1-1）和职责如下。

系统运维
系统运维负责IDC、网络、CDN和基础服务的建设（LVS、NTP、DNS）；负责资产管理，服务器选型、交付和维修。详细的工作职责如下：

1.IDC数据中心建设
收集业务需求，预估未来数据中心的发展规模，从骨干网的分布，数据中心建筑，以及Internet接入、网络攻击防御能力、扩容能力、空间预留、外接专线能力、现场服务支撑能力等方面评估选型数据中心。负责数据中心的建设、现场维护工作。

2.网络建设
设计及规划生产网络架构，这里面包括：数据中心网络架构、传输网架构、CDN网络架构等，以及网络调优等日常运维工作。

3.LVS 负载均衡和 SNAT 建设
LVS 是整个站点架构中的流量入口，根据网络规模和业务需求，构建负载均衡集群。

完成网络与业务服务器的衔接，提供高性能、高可用的负载调度能力，以及统一的网络层防攻击能力。

SNAT .集中提供数据中心的公网访问服务，通过集群化部署，保证出网服务的高性能与高可用。

4.CDN 规划和建设
CDN 工作划分为第三方和自建两部分。

建立第三方 CDN 的选型和调度控制；根据业务发展趋势，规划CDN新节点建设布局；完善CDN业务及监控，保障CDN 系统稳定、高效运行。

分析业务加速频道的文件特性和数量，制定最优的加速策略和资源匹配；负责用户劫持等CDN日常故障排查工作。

5.服务器选型、交付和维护
负责服务器的测试选型，包含服务器整机、部件的基础性测试和业务测试，降低整机功率，提升机架部署密度等。

结合对公司业务的了解，推广新硬件、新方案减少业务的服务器投入规模。负责服务器硬件故障的诊断定位，服务器硬件监控、健康检查工具的开发和维护。

6.OS、内核选型和 OS 相关维护工作
负责整体平台的 OS 选型、定制和内核优化，以及 Patch 的更新和内部版本发布；建立基础的YUM包管理和分发中心，提供常用包版本库；跟进日常各类 OS 相关故障；针对不同的业务类型，提供定向的优化支持。

7.资产管理
记录和管理运维相关的基础物理信息，包括数据中心、网络、机柜、服务器、ACL、IP等各种资源信息，制定有效的流程，确保信息的准确性；开放API接口，为自动化运维提供数据支持。

8.基础服务建设
业务对 DNS、NTP、SYSLOG 等基础服务的依赖非常高，需要设计高可用架构避免单点，提供稳定的基础服务。

应用运维
应用运维负责线上服务的变更、服务状态监控、服务容灾和数据备份等工作，对服务进行例行排查、故障应急处理等工作。详细的工作职责如下所述。

1.设计评审
在产品研发阶段，参与产品设计评审，从运维的角度提出评审意见，使服务满足运维准入的高可用要求。

2.服务管理
负责制定线上业务升级变更及回滚方案，并进行变更实施。掌握所负责的服务及服务间关联关系、服务依赖的各种资源。能够发现服务上的缺陷，及时通报并推进解决。

制定服务稳定性指标及准入标准，同时不断完善和优化程序和系统的功能、效率，提高运行质量。完善监控内容，提高报警准确度。

在线上服务出现故障时，第一时间响应，对已知线上故障能按流程进行通报并按预案执行，未知故障组织相关人员联合排障。

3.资源管理
对各服务的服务器资产进行管理，梳理服务器资源状况、数据中心分布情况、网络专线及带宽情况，能够合理使用服务器资源，根据不同服务的需求，分配不同配置的服务器，确保服务器资源的充分利用。

4.例行检查
制定服务例行排查点，并不断完善。根据制定的服务排查点，对服务进行定期检查。对排查过程中发现的问题，及时进行追查，排除可能存在的隐患。

5.预案管理
确定服务所需的各项监控、系统指标的阈值或临界点，以及出现该情况后的处理预案。

建立和更新服务预案文档，并根据日常故障情况不断补充完善，提高预案完备性。能够制定和评审各类预案，周期性进行预案演练，确保预案的可执行性。

6.数据备份
制定数据备份策略，按规范进行数据备份工作。保证数据备份的可用性和完整性，定期开展数据恢复性测试。

数据库运维
数据库运维负责数据存储方案设计、数据库表设计、索引设计和SQL优化，对数据库进行变更、监控、备份、高可用设计等工作。详细的工作职责如下所述。

1.设计评审
在产品研发初始阶段，参与设计方案评审，从DBA的角度提出数据存储方案、库表设计方案、SQL开发标准、索引设计方案等，使服务满足数据库使用的高可用、高性能要求。

2.容量规划
掌握所负责服务的数据库的容量上限，清楚地了解当前瓶颈点，当服务还未到达容量上限时，及时进行优化、分拆或者扩容。

3.数据备份与灾备
制定数据备份与灾备策略，定期完成数据恢复性测试，保证数据备份的可用性和完整性。

4.数据库监控
完善数据库存活和性能监控，及时了解数据库运行状态及故障。

数据库安全
建设数据库账号体系，严格控制账号权限与开放范围，降低误操作和数据泄露的风险；加强离线备份数据的管理，降低数据泄露的风险。

5.数据库高可用和性能优化
对数据库单点风险和故障设计相应的切换方案，降低故障对数据库服务的影响；不断对数据库整体性能进行优化，包括新存储方案引进、硬件优化、文件系统优化、数据库优化、SQL优化等，在保障成本不增加或者少量增加的情况下，数据库可以支撑更多的业务请求。

6.自动化系统建设
设计开发数据库自动化运维系统，包括数据库部署、自动扩容、分库分表、权限管理、备份恢复、SQL审核和上线、故障切换等功能。

shell的逻辑运算符 涉及有以下几种类型，因此只要适当选择，可以解决我们很多复杂的判断，达到事半功倍效果。

一、逻辑运算符

1、逻辑卷标表示意思

1）关于档案与目录的侦测逻辑卷标

-f 常用！侦测『档案』是否存在 eg: if [ -f filename ]

-d 常用！侦测『目录』是否存在

-b 侦测是否为一个『 block 档案』

-c 侦测是否为一个『 character 档案』

-S 侦测是否为一个『 socket 标签档案』

-L 侦测是否为一个『 symbolic link 的档案』

-e 侦测『某个东西』是否存在！

2）关于程序的逻辑卷标

-G 侦测是否由 GID 所执行的程序所拥有

-O 侦测是否由 UID 所执行的程序所拥有

-p 侦测是否为程序间传送信息的 name pipe 或是 FIFO （老实说，这个不太懂！）

3）关于档案的属性侦测

-r 侦测是否为可读的属性

-w 侦测是否为可以写入的属性

-x 侦测是否为可执行的属性

-s 侦测是否为『非空白档案』

-u 侦测是否具有『 SUID 』的属性

-g 侦测是否具有『 SGID 』的属性

-k 侦测是否具有『 sticky bit 』的属性

4）两个档案之间的判断与比较 ；例如[ test file1 -nt file2 ]

-nt 第一个档案比第二个档案新

-ot 第一个档案比第二个档案旧

-ef 第一个档案与第二个档案为同一个档案（ link 之类的档案）

5）逻辑的『和(and)』『或(or)』

&& 逻辑的 AND 的意思

|| 逻辑的 OR 的意思

2、运算符号 代表意义

= 等于 应用于：整型或字符串比较 如果在[] 中，只能是字符串

!=不等于 应用于：整型或字符串比较 如果在[] 中，只能是字符串

< 小于 应用于：整型比较 在[] 中，不能使用 表示字符串

大于 应用于：整型比较 在[] 中，不能使用 表示字符串

-eq 等于 应用于：整型比较

-ne 不等于 应用于：整型比较

-lt 小于 应用于：整型比较

-gt 大于 应用于：整型比较

-le 小于或等于 应用于：整型比较

-ge 大于或等于 应用于：整型比较

-a 双方都成立（and） 逻辑表达式 –a 逻辑表达式

-o 单方成立（or） 逻辑表达式 –o 逻辑表达式

-z 空字符串

-n 非空字符串

二、逻辑表达式

1、test 命令

使用方法：test EXPRESSION

如：

[root@localhost ~]# test 1 = 1 && echo ‘ok’

ok

[root@localhost ~]# test -d /etc/ && echo ‘ok’

ok

[root@localhost ~]# test 1 -eq 1 && echo ‘ok’

ok

[root@localhost ~]# if test 1 = 1 ; then echo ‘ok’; fi

ok

注意：所有字符 与逻辑运算符直接用“空格”分开，不能连到一起。

2、精简表达式

[] 表达式

[root@localhost ~]# [ 1 -eq 1 ] && echo ‘ok’

ok

[root@localhost ~]# [ 2 < 1 ] && echo ‘ok’

-bash: 2: No such file or directory

[root@localhost ~]# [ 2 < 1 ] && echo ‘ok’

[root@localhost ~]# [ 2 -gt 1 -a 3 -lt 4 ] && echo ‘ok’

ok

[root@localhost ~]# [ 2 -gt 1 && 3 -lt 4 ] && echo ‘ok’

-bash: [: missing `]’

注意：在[] 表达式中，常见的>,<需要加转义字符，表示字符串大小比较，以acill码 位置作为比较。 不直接支持<>运算符，还有逻辑运算符|| && 它需要用-a[and] –o[or]表示

[[]] 表达式

[root@localhost ~]# [ 1 -eq 1 ] && echo ‘ok’

ok

[root@localhost ~]$ [[ 2 < 3 ]] && echo ‘ok’

ok

[root@localhost ~]$ [[ 2 < 3 && 4 > 5 ]] && echo ‘ok’

ok

注意：[[]] 运算符只是[]运算符的扩充。能够支持<,>符号运算不需要转义符，它还是以字符串比较大小。里面支持逻辑运算符：|| &&

3、性能比较

bash的条件表达式中有三个几乎等效的符号和命令：test，[]和[[]]。通常，大家习惯用if [];then这样的形式。而[[]]的出现，根据ABS所说，是为了兼容><之类的运算符。以下是比较它们性能，发现[[]]是最快的。

$ time (for m in {1..100000}; do test -d .;done;)

real 0m0.658s

user 0m0.558s

sys 0m0.100s

$ time (for m in {1..100000}; do [ -d . ];done;)

real 0m0.609s

user 0m0.524s

sys 0m0.085s

$ time (for m in {1..100000}; do [[ -d . ]];done;)

real 0m0.311s

user 0m0.275s

sys 0m0.036s

不考虑对低版本bash和对sh的兼容的情况下，用[[]]是兼容性强，而且性能比较快，在做条件运算时候，可以使用该运算！

作为linux运维，多多少少会碰见这样那样的问题或故障，从中总结经验，查找问题，汇总并分析故障的原因，这是一个Linux运维工程师良好的习惯。每一次技术的突破，都经历着苦闷，伴随着快乐，可我们还是执着的继续努力，从中也积累了更多的经验，这就是实践给予我们的丰厚回报。

下面汇总了我做项目过程可能出现的故障及解决方法，看看是否与你有共鸣，并对你有帮助？

第一：常见问题解决集锦

1.shell脚本不执行

问题：某天研发某同事找我说帮他看看他写的shell脚本，死活不执行，报错。我看了下，脚本很简单，也没有常规性的错误，报“:badinterpreter:Nosuchfileordirectory”错。

看这错，我就问他是不是在windows下编写的脚本，然后在上传到linux服务器的……果然。

原因：在DOS/windows里，文本文件的换行符为rn，而在nix系统里则为n，所以DOS/Windows里编辑过的文本文件到了nix里，每一行都多了个^M。

解决：
1）重新在linux下编写脚本；
2）vi:%s/r//g:%s/^M//g（^M输入用Ctrl+v,Ctrl+m）
附：sh-x脚本文件名，可以单步执行并回显结果，有助于排查复杂脚本问题。

2.crontab输出结果控制

问题：
/var/spool/clientmqueue目录占用空间超过100G
原因：
cron中执行的程序有输出内容，输出内容会以邮件形式发给cron的用户，而sendmail没有启动所以就产生了/var/spool/clientmqueue目录下的那些文件，日积月累可能撑破磁盘。
解决：
1）直接手动删除：ls|xargsrm-f；
2）彻底解决：在cron的自动执行语句后加上>/dev/null2>&1

3.telnet很慢/ssh很慢
问题：
某天研发某同事说10.50访问10.52memcached服务异常，让我们检查下看网络/服务/系统是否有异常。检查发现系统正常，服务正常，10.50ping10.52也正常，但10.50telnet10.52很慢。同时发现该机器的namesever是不起作用的。
原因：
becauseyourPCdoesn’tdoareverseDNSlookuponyourIPthen…whenyoutelnet/ftpintoyourlinuxbox,it’lldoadnslookuponyou。
解决：
1)修改/etc/hosts使hostname和ip对应；
2）在/etc/resolv.conf注释掉nameserver或者找一个“活的”nameserver。

4.Read-onlyfilesystem
问题：
同事在mysql里建表建不成功，提示如下：
mysql>createtablewosontest(colddname1char(1));
ERROR1005(HY000):Can’tcreatetable‘wosontest’(errno:30）
经检查mysql用户权限以及相关目录权限没问题；用perror30提示信息为：OSerrorcode30:Read-onlyfilesystem
可能原因：
1）文件系统损坏；
2）磁盘又坏道；
3）fstab文件配置错误，如分区格式错误错误(将ntfs写成了fat)、配置指令拼写错误等。
解决：
1）由于是测试机，重启机器后恢复；
2）网上说用mount可解决。

5.文件删了磁盘空间没释放
问题：
某天发现某台机器df-h已用磁盘空间为90G，而du-sh/*显示所有使用空间加起来才30G，囧。
原因：
可能某人直接用rm删除某个正在写的文件，导致文件删了但磁盘空间没释放的问题
解决：
1）最简单重启系统或者重启相关服务。
2）干掉进程
/usr/sbin/lsof|grepdeleted
ora25575data33uREG65,654294983680/oradata/DATAPRE/UNDOTBS009.dbf(deleted)
从lsof的输出中，我们可以发现pid为25575的进程持有着以文件描述号（fd）为33打开的文件/oradata/DATAPRE/UNDOTBS009.dbf。在我们找到了这个文件之后可以通过结束进程的方式来释放被占用的空间：echo>/proc/25575/fd/33
3）删除正在写的文件一般用cat/dev/null>file

6.find文件提升性能
问题：
在tmp目录下有大量包含picture_*的临时文件，每天晚上2:30对一天前的文件进行清理。之前在crontab下跑如下脚本，但是发现脚本效率很低，每次执行时负载猛涨，影响到其他服务。
#!/bin/sh
find/tmp-name“picture_*”-mtime+1-execrm-f{};
原因：
目录下有大量文件，用find很耗资源。
解决：
#!/bin/sh
cd/tmp
time=`date-d“2dayago”“+%b%d”`
ls-l|grep“picture”|grep“$time”|awk‘{print$NF}’|xargsrm-rf

7.获取不了网关mac地址
问题：
从2.14到3.65（映射地址2.141）网络不通，但是从3端的其他机器到3.65网络OK。
原因：
#arp
AddressHWtypeHWaddressFlagsMaskIface
192.168.3.254etherincompletCMbond0
表面现象是机器自动获取不了网关MAC地址，网络工程师说是网络设备的问题，具体不清。
解决：
arp绑定，arp-ibond0-s192.168.3.25400:00:5e:00:01:64

8.http服务无法启动一例
问题：某天研发某同事说网站前端环境http无法启动，我上去看了下。报如下错：
/etc/init.d/httpdstart
Startinghttpd:[SatJan2917:49:002011][warn]moduleantibot_moduleisalreadyloaded,skipping
Useproxyforwardasremoteip:true.
Antibotexcludepattern:.*.[(js|css|jpg|gif|png)]
Antibotseedcheckpattern:login
(98)Addressalreadyinuse:make_sock:couldnotbindtoaddress[::]:7080
(98)Addressalreadyinuse:make_sock:couldnotbindtoaddress0.0.0.0:7080
nolisteningsocketsavailable,shuttingdown
Unabletoopenlog[FAILED]
原因：
1）端口被占用：表面看是7080端口被占用，于是netstat-npl|grep7080看了下发现7080没有占用；
2）在配置文件中重复写了端口，如果在以下两个文件同时写了Listen7080
/etc/httpd/conf/http.conf
/etc/httpd/conf.d/t.10086.cn.conf
解决：
注释掉/etc/httpd/conf.d/t.10086.cn.conf的Listen7080，重启，OK。

9.toomanyopenfile
问题：
报toomanyopenfile错误
解决：
终极解决方案
echo“”>>/etc/security/limits.conf
echo“*softnproc65535″>>/etc/security/limits.conf
echo“*hardnproc65535″>>/etc/security/limits.conf
echo“*softnofile65535″>>/etc/security/limits.conf
echo“*hardnofile65535″>>/etc/security/limits.conf
echo“”>>/root/.bash_profile
echo“ulimit-n65535″>>/root/.bash_profile
echo“ulimit-u65535″>>/root/.bash_profile
最后重启机器或者执行ulimit-u655345&&ulimit-n65535

10.ibdata1和mysql-bin致磁盘空间问题
问题：
2.51磁盘空间报警，经查发现ibdata1和mysql-bin日志占用空间太多（其中ibdata1超过120G，mysql-bin超过80G）
原因：
ibdata1是存储格式，在INNODB类型数据状态下，ibdata1用来存储文件的数据和索引，而库名的文件夹里的那些表文件只是结构而已。
innodb存储引擎有两种表空间的管理方式，分别是：
1）共享表空间（可拆分为多个小的表空间文件），这个是我们目前多数数据库使用的方法；
2）独立表空间，每一个表有一个独立的表空间（磁盘文件）
对于两种管理方式，各有优劣，具体如下：
①共享表空间：
优点：可以将表空间分成多个文件存放到不同的磁盘上（表空间文件大小不受表大小的限制，一个表可以分布在不同步的文件上）
缺点：所有数据和索引存放在一个文件中，则随着数据的增加，将会有一个很大的文件，虽然可以把一个大文件分成多个小文件，但是多个表及索引在表空间中混合存储，这样如果对于一个表做了大量删除操作后表空间中将有大量空隙。对于共享表空间管理的方式下，一旦表空间被分配，就不能再回缩了。当出现临时建索引或是创建一个临时表的操作表空间扩大后，就是删除相关的表也没办法回缩那部分空间了。
②独立表空间：在配置文件（my.cnf）中设置：innodb_file_per_table
特点：每个表都有自已独立的表空间；每个表的数据和索引都会存在自已的表空间中。
优点：表空间对应的磁盘空间可以被收回（Droptable操作自动回收表空间，如果对于删除大量数据后的表可以通过:altertabletbl_nameengine=innodb;回缩不用的空间。
缺点：如果单表增加过大，如超过100G，性能也会受到影响。在这种情况下，如果使用共享表空间可以把文件分开，但有同样有一个问题，如果访问的范围过大同样会访问多个文件，一样会比较慢。如果使用独立表空间，可以考虑使用分区表的方法，在一定程度上缓解问题。此外，当启用独立表空间模式时，需要合理调整innodb_open_files参数的设置。
解决:
1）ibdata1数据太大：只能通过dump，导出建库的sql语句，再重建的方法。
2）mysql-binLog太大：
①手动删除：
删除某个日志：mysql>PURGEMASTERLOGSTO‘mysql-bin.010′;
删除某天前的日志：mysql>PURGEMASTERLOGSBEFORE’2010-12-2213:00:00′;
②在/etc/my.cnf里设置只保存N天的bin-log日志
expire_logs_days=30//BinaryLog自动删除的天数