还剩12页未读,继续阅读
本资源只提供10页预览,全部文档请下载后查看!喜欢就下载吧,查找使用更方便
文本内容:
大数据中心服务器故障应急处理预案内容除/var/adm/sulog用户使用SU命令的日志可根据需要保留60天中有用的内容,其余删除/var/adm/cron/log cron的日志可截短/var/tmp/snmpd.log snmp监控进程日志可截短/var/tmp/dpid.log snmp子系统日志可截短/var/tmp/dpid
2.log/var/tmp/hostmidb.log/var/tmp/muxatmd dead,letter未成功的邮件可删除trcfile trace实用程序的输出可删除/var/adm/messages用于记录syslog进程的日志可适当保留最后1000行,或删除/etc/shutdown,log系统关机过程日志,用shutdown可适当保留最后1000-1命令产生行,或删除
二、服务器软件故障的处理服务器的故障中,大部分是软件故障软件故障对于服务器稳定运行的影响很大,严重时将引起整个系统崩溃一般常见的软件故障主要有操作系统文件损坏或丢失、设备驱动程序错误或损坏、服务进程不能启动、网络地址配置错误或丢失,以及应用系统软件方面的程序出错等等
1.操作系统故障的处理对于Windows系统,如果操作系统故障前对操作系统有过不适当的修改而无法复原,或发现系统提示缺少必须的文件、提示某些文件错误等情况,在排除服务器感染病毒的可能以后,应即使用升级安装对操作系统进行恢复升级安装之前,应对重要的配置文件和数据文件进行备份或加适当的保护一般情况下,重要的数据文件不宜置于安装操作系统的磁盘(如C盘)在备份时,应尽量将这些重要文件置于具有安全保护的机器上当升级安装无法恢复系统时,可以考虑全新安装操作系统,安装完成应注意打好补丁然后进行应用系统的恢复对于UNIX操作系统的故障,当无法在短时间内找到故障原因和处理方法时,应立即与系统服务商的技术支持人员联系对由于病毒感染引起的操作系统故障,可参照《反病毒处理预案》处理
2.系统服务进程的故障处理系统服务进程故障时,应检查“服务”中相应的服务项,检查要点有状态、启动类型、登录身份、服务失败时计算机的反应,以及该服务所依赖的系统组件是否已经正常启动如有异常,应根据情况作相应处理无异常后,可启动该进程,并作进一步检查如该进程的状态在“已启动”,检查上述项目无异常的,可重新启动该服务,并作进一步检查经上述处理仍无法消除故障时,可进入“控制面板/添加或删除程序/添加或删除Windows组件”,检查与故障的服务相对应的组件是否被钩选,如已被钩选,可先将其取消后,再次钩选重装对于应用系统的服务故障,应检查分析该软件的错误日志,根据分析的结果采取相应的措施必要时,应重装应用系统
(一)、服务器故障的定义本预案所指的服务器故障是指公司管理信息系统范围内的网络服务器设备的故障包括因设备质量原因导致的系统故障、人为因素和网络系统外界因素而导致的系统故障、计算机病毒感染及遭受黑客或恶意代码攻击而导致的应用系统故障等涉及本预案的服务器设备包括小型机和PC服务器,设备清册参见附表lo
(二)、服务器故障的分类以服务器设备的故障性质和故障可能涉及的范围,按照以下的标准进行分类服务器硬件故障服务器硬件故障,包括服务器的底板故障、10板及10设备故障、CPU板及CPU故障、内存板及内存故障、磁盘阵列及磁盘故障以及磁带库故障等这类故障将直接影响服务器的正常运行,情况严重的,将使服务器陷于瘫痪状态,基于该服务器的所有应用将无法正常使用如果该服务器承担的是网络的控制和管理职能,将对整个管理信息系统造成极为严重的影响;如果该服务器承担的是单个或多个应用系统的运行和管理,那么,这些应用系统将无法提供正常的服务服务器系统软件故障服务器的系统软件故障,包括操作系统故障、网络控制和管理系统故障、集群管理系统故障等等严重的服务器系统软件故障,同样会使服务器陷入瘫痪状态故障造成的影响,视该服务器承担的应用系统的不同而不同,如果该服务器承担了网络的控制管理或关键应用职能,将有可能造成非常严重的后果关键应用服务故障关键应用服务故障,包括Oracle数据库故障、SQL Server数据库故障、PI数据库故障、0A故障、WEB服务故障、邮件服务故障等这些应用服务软件的故障,对于相关的应用系统将产生一定的影响,其影响范围和损害程度随故障的性质和严重程度而定,严重的,将引起系统瘫痪
(三)、服务器故障响应处理流程第二部分服务器硬件故障的诊断和处理
一、硬件故障诊断硬件故障的诊断一般是在服务器操作系统无法引导启动的情况下进行,可以通过对主机BIOS配置、主板故障指示灯、面板状态屏幕、面板LED指示灯提供的信息进行,如条件允许如光驱引导启动正常,还应使用设备制造厂家提供的专用诊断软件进行检查和分析
二、识别硬件故障的方法
1.电源故障电源故障的现象一般为电源部件开关在“合”状态、指示灯不亮;面板状态屏幕不亮;按电源开关机器无反应、主机电源LCD指示灯不亮;无任何报警声
2.如果在开机后出现错误代码或“哗”声错误信息,则应对照该型服务器的用户手册中有关的错误信息列表进行判别
3.如果服务器的前面板有显示主机状态的液晶屏幕,应根据屏幕显示的信息对照用户手册中相应的内容进行判别
4.如果服务器的底板、CPU板、内存板上有显示状态的LED指示灯,一般都可以在机箱内找到代表指示灯意义的说明贴纸,可依此进行判别
5.服务器一般都自带用于对硬件系统进行检测的诊断程序光盘,在服务器可以用该光盘进行引导启动的情况下,应使用该光盘进行系统测试
三、故障排除顺序
1.如果系统无法上电,可按以下步骤进行操作1检查以确保电缆和电源线都牢固插进相应的插座2检查以确保系统所有部分均已打开并已正确调整3如果服务器电源线插入带开关的多插座接线盒,应确保接线盒上的开关已打开4将另一个电气设备电缆或电源线插入电源插座,并打开该设备5断开电源线,等待20秒,然后再次插入电源线并重新启动系统
2.如果系统可以上电,但无法完成开机自检测试,可按以下步骤进行操作1如果系统发出一系列哗声,则表示系统有错误,应参阅该型服务器的用户手册中的“错误信息”章节进行判别或与产品供应商联系维修2如果系统无法运行开机自检测试,且屏幕显示错误信息,应参阅该型服务器的用户手册中的“错误信息”章节进行判别如果手册推荐的方法无法解决问题,应与产品供应商联系维修
3.如果系统通过开机自检测试,但不运行,可按以下步骤进行操作:1检查以确保服务器在安装实用程序中配置正确2如果服务器仍无法工作,应关机并卸下除显示器和键盘以外的所有外围设备测试服务器,并注意现在是否正常工作3如果服务器仍不工作,应关闭显示器、服务器和所有外围设备,然后按4条执行
4.检查内置硬件1断开的电源线,卸下服务器主机盖2检查所有附件板是否牢固地固定在各自的插槽中3确保所有磁盘驱动器电源电缆和数据电缆已牢固并正确地联接使用机内配置的布线和开关配置图,查对海量存储器配置4检查并确保内存条和内存扩展板牢固地固定在各自的插槽中,且添加的内存条符合要求5重新装上服务器盖板,并锁定系统6重新装上所有电源线和电源电缆7打开服务器电源,查找错误信息8经以上步骤检查,仍无法得到有意义的错误信息,应与产品供应商联系维修第三部分服务器软件故障的诊断和处理
一、服务器软件故障分析和诊断软件故障分析和诊断主要通过对主机运行状况、服务与进程、网络连接状况、系统端口、事件日志记录进行检查,这种检查的必要条件是服务器操作系统可以引导启动,并可以提供相应的检查界面
1、主机运行状况的检测服务器主机的CPU、内存、磁盘的使用情况对服务器的性能影响很大,如果出现问题,将直接影响到服务器的正常运行,进而对服务器上正在运行的重要的应用系统带来不可预料的后果因此,处理服务器软件故障前,对主机的CPU、内存、磁盘资源使用情况进行检测是一个非常重要的步骤,往往可以在第一时间发现主机基本性能的状态异常在Windows平台上,一般使用任务管理器中的“性能”选项卡检测主机CPU和内存的运行状况,使用资源管理器检查磁盘的使用情况,检查要点为:•CPU使用值,一般不会持续超过50%;•内存“认可用量总数”持续超过“物理内存总数”会引起系统性能下降;•内存“认可用量峰值”持续接近“认可用量限制”,系统将有崩溃的危险;•任何装有运行系统的磁盘的可用空间趋近于零,系统将停滞或有崩溃的危险•装有操作系统的磁盘(一般为C\)的可用空间不应低于磁盘分区总容量的15%,根据实际的运行观察,当服务器C盘可用空间小于50M时,系统的运行将进入不稳定状态
2、服务、进程管理的检测服务器主机上的服务和进程主要来自二个部分,一是操作系统本身提供的系统服务和进程,这些服务的功能和状态在Windows的服务列表中有比较详细的描述,这些服务的异常,系统一般会给出比较明确的错误提示另一部分是应用系统的服务,服务器上往往运行着非常重要的应用系统,例如大型的数据库系统、Mail系统、Web Server或特殊业务的应用系统等应用系统的进程和服务是否正常运行是判断应用系统是否正常的关键,如果这些关键的进程和服务已经停止,则应用系统肯定无法正常工作监测服务器上的进程和服务是服务器管理的一个重点,对于进程的监测尤其重要,检查的要点为•有无可疑的进程活动;•有无不显示进程标识符(PID)的进程活动;•有无不显示映象名称的进程活动;•有无不显示用户名或显示非法用户名的进程活动;•有无大量占用CPU的进程;•有无大量占用内存的进程;•有无GDI对象异常的进程
3、网络状况检测服务器网络组件的运行状况是服务器能否维持正常的网络访问和提供正常的网络服务的一个关键在服务器运行异常时必须检测服务器网卡的配置情况是否正常,最简单的测试是在DOS提示符下运行ipconfig/all命令,察看各个网络连接当前的配置状态使用网络监视器可以获得更多的信息,在网络监视器的实时部分,主要监视网络利用率、每秒帧数、每秒字节数、每秒广播、每秒多播等指标,在捕获统计中,主要监视缓冲区里的帧、当缓冲区超出限制时帧的丢失数、缓冲区利用率、丢失的帧数等指标当发现以上指标有异常,应进一步对捕获的数据帧进行分析,此时应特别注意查寻有无源地址或目标地址异常的帧,有无协议异常的帧
3、系统端口检测网络中的服务器系统通常会提供一系列的服务给网络中的其他机器进行访问和使用,这些服务都是通过一些指定的端口进行通讯的,所以系统业务端口的正常与否对于系统业务有直接的影响对服务器的系统业务端口的检测可以在DOS提示符下使用netstat命令,该命令随带的参数所表示的意义如下-a显示所有连接和监听端口-b显示包含于创建每个连接或监听端口的可执行组件在某些情况下已知可执行组件拥有多个独立组件,并且在这些情况下包含于创建连接或监听端口的组件序列被显示这种情况下,可执行组件名在底部的[]中,顶部是其调用的组件,等等,直到TCP/IP部分注意此选项可能需要很长时间,如果没有足够权限可能失败-e显示以太网统计信息此选项可以与-s选项组合使用-n以数字形式显示地址和端口号-o显示与每个连接相关的所属进程ID-p proto显示proto指定的协议的连接;proto可以是下列协议之一TCP、UDP、TCPv6或UDPv6o如果与-s选项一起使用以显示按协议统计信息,proto可以是下列协议之一IP、IPv
6、ICMP.ICMPv
6、TCP、TCPv
6、UDP或UDPv6o-r显示路由表-s显示按协议统计信息默认地,显示IP、IPv
6、ICMP、ICMPv
6、TCP、TCPv
6、UDP和UDPv6的统计信息;-p选项用于指定默认情况的子集-V与-b选项一起使用时将显示包含于为所有可执行组件创建连接或监听端口的组件Interval重新显示选定统计信息,每次显示之间暂停时间间隔(以秒计)按CTRL+C停止重新显示统计信息如果省略,netstat显示当前配置信息(只显示一次)对于UNIX服务器,可通过Connect系统业务端口,发送请求,以监测端口是否能够响应
3、日志检查服务器上的应用系统或重要进程运行时会产生大量的日志文件,这些日志文件对于检查程序运行状态、查找程序出错原因很有帮助对于Windows平台上,可使用的日志系统是管理工具中提供的“事件查看器”,其中包括了系统日志、应用程序和安全性日志,需要重点关注的是“错误”和“警告”另外,服务器上运行的应用程序也会提供相应的日志系统,其提取日志的方法因应用系统的不同而不同,可参照相关的用户手册进行在UNIX平台上,日志是以文件的形式存放,不同版本的Unix日志文件的目录是不同的,在Solaris下一般是在Unix/var/log,在AIX下,需要关注的日志文件有文件描述建议core和snapcore由应用产生的dump文件,可用于可删除诊断错误nohup.out nohup命令的输出结果可删除.xerrors X11的输出结果可截短mbox用户邮箱中的邮件可截短smit.log和smit.script用户使用smit命令后的日志可适当保留最后1000行,或删除/var/adm/wtmp记录用户的登录信息,是二进制文根据需要保留60天中件,用who命令来阅读其内容有用的内容,其余删除/etc/security/failedlogin记录用户失败的登录信息,是二进可根据需要保留60天制文件,用who命令来阅读其中有用的内容,其余删。