还剩6页未读,继续阅读
文本内容:
数据中心机房应急预案
一、系统故障应急流程
1.1系统故障应急流程说明
一、故障发生XX运维服务人员可从以下途径得知故障的发生1)中心内场人员通过运维平台发现故障2)外场人员通过维护巡检发现故障3)用户发现故障,报给应急领导小组,或者XX运维微信群上报给中心服务工程师4)驻场工程师发现故障
二、报障受理监控系统运维服务人员得知系统故障发生后,即将响应,并向报障人或者单位详细了解系统故障情况
三、信息研判运维服务人员根据了解到的系统故障情况进行分析判断,以确定采用普通故障处理流程还是即将启动系统突发故障应急处理预案
四、预案启动如需启动应急预案,则立刻通知应急领导小组,由领导小组启动应急预案,对系统突发故障应急事件进行全面管控处理
五、资源确认系统突发故障应急预案启动后,首先是根据现场突发故障实际状况、紧急程度、技术难度、备品备件等情况对相关资源(主要是参预人员)依据经验进行调度和确认,主要有以下资源我公司技术支持人员;相关厂家技术支持人员;我公司礼聘的技术专家
六、预案执行按照既定的预案进行突发故障抢修,如遇到问题及时向应急领导小组汇报
七、预案终止预案的终止时间由故障现场技术人员根据现场的实际发展情况,在与用户单位有关部门协调后报应急领导小组决定
八、结果上报预案中止后,相关预案参预人员将整个事件过程中所有收发信息、领导批示、事故调查报告、现场录相、图片等材料及时整理归档,并总结事件处理过程中的经验和教训,修改、完善事件应急预案然后集中上报至应急领导小组应急流程管理报告填写指南编号(格式为D0405-日期+两位序列号,其中日期按“yyyy+mm+dd”格式,2位序列号根据日期从01起顺序递增,例如D0405-2022031401表示2022年3月14日第1张应急流程管理报告)报告日期年月日至年月日(统计时间段)客户经理签名:时间
1.2系统故障应急处理流程图巡检人员发现故的驻场工程新发理故・运维服务中心值班发现故障呼叫中心接修运雄服务中心受理我司技术支持资源应急调度流程应急故障挖修处理故障排除现场核青结果机房应急预案
3.1通信网络故障应急预案1如属路线故障,应重新安装路线2如属交换机网络设备故障,技术人员即将检修并调试通畅如交换机配置文件破坏,网络工程师应迅速按照备份配置文件重新配置,调试通畅现场技术支持XXX138XXXX5617必要时,请有关供货单位、设备厂商协助调测畅通华为售后电话400-8229999o3如需更换设备,应上报分管领导,经批准后即将更换故障设备,尽快恢复系统运行4如发现属于外部路线的问题,应与路线运营商联系,敦促尽快恢复故障路线移动运营商XXX137XXXX1717;联通运营商XXX156XXXX1216O5现场技术支撑无法及时修理时,应即将通知相关供应商及维护人员,在最短期内安排修理6特殊情况,如故障判断、网络恢复需要1小时以上,负责人因及时将相关情况汇报至分管领导处,并在领导允许的情况下,采用紧急恢复措施,绕过故障设备,先行恢复网络的联通性,并及时催促及落实设备供应商抵达现场,及时判断故障并恢复正常;7应急处置结束后,XX运维团队应将故障分析报告,在调查结束后一日内书面报告应急领导小组
3.3不良信息和网络病毒事件应急预案
1、应急处理1发现不良信息或者网络病毒时,信息系统管理员应即将断开网线,终止不良信息或者网络病毒传播,并报告指挥调度中心XX运维团队和应急领导小组2网络管理员30分钟内将被攻击的服务器或者其他设备从网络中隔离出来,并恢复其他系统正常运行,必要时可以采取照片、截图等方式留存记录,保护现场;3如事态较为严重,经向分管领导请示后,即将向公安部门报警,配合公安部门展开调查.
2、修复处理1记录系统状况;2即将复制系统登录文件、历史文件、日志文件等重要文件;3修改防火墙、交换机等网络安全设备的过滤规则;4断开被攻主机、关闭不需要的服务;5处理可疑的文件和程序;6修改不安全的系统帐号及其口令;7恢复被修改的软件和数据;8安装相应的补丁程序,填补安全漏洞;9编写报告,详述事件过程及处理步骤10事态或者后果严重的,应向开辟区公安应急领导小组和相关领导汇报11现场相关技术人员向公司技术部沟通组织技术力量追查非法信息来源;协调各厂家做好被攻击或者破坏后系统的恢复与重建工作;
3.4服务器软件系统故障应急预案
1、软件故障分类操作系统故障,应用软件故障
2、采取的技术措施在故障发生后即将查看服务器系统状态,如果是系统软件浮现故障,并且能进入系统,且故障原因定位清晰,可即将排除如果估计在1小时内不能定位原因,则报告客户经理和应急指挥负责人,同时联系厂商及技术支持协助排除,或者根据技术支持建议进行重新安装操作系统和应用系统
3、软件系统平时必须存有备份,与软件系统相对应的数据必须有多日的备份,并将它们保存于安全处;
4、应用软件发生故障后,软件现场负责人应对相应程序进行重启和问题初步排查工作,如无法解决该问题,技术人员应即将向项目负责人或者领导汇报,经确认后住手该系统的运行并沟通厂家使用备份程序进行恢复,保证业务正常进行;
5、视频巡逻发生较严重故障时可直接联系海康厂家XXX189XXXX5330;其余系统发生重大故障时可联系XXX事业部项目经理XXX185XXXX6071o
3.5黑客攻击事件应急预案1当发现网络被非法入侵、网页内容被篡改,应用服务器上的数据被非法拷贝、修改、删除,或者通过入侵检测系统发现有黑客正在进行攻击时,使用者或者管理者应断开网络,并即将报告xx运维小组2接报告后,XX运维团队应即将核实情况,关闭服务器或者系统,修改防火墙和路由器的过滤规则,封锁或者删除被攻破的登陆帐号,阻断可疑用户进入网络的通道3及时清理系统,恢复数据、程序,恢复系统和网络正常;情况严重的,应向开辟区公安应急领导小组相关领导汇报,并请求支援4处置结束后,XX运维团队应将事发经过、处置结果等在调查工作结束后一日内报告应急领导小组
3.6业务数据损坏应急预案发生业务数据损坏时,XX运维团队应及时报告应急领导小组,检查、备份业务系统当前数据XX运维团队负责调用备份服务器备份数据,若备份数据损坏,则调用FTP中备份数据业务数据损坏事件超过2小时后,XX运维团队应及时报告应急领导小组,及时通知业务部门以手工方式开展业务XX运维团队应待业务数据系统恢复后,检查历史数据和当前数据的差别,由相关系统业务员补录数据;重新备份数据,并写出故障分析报告,在调查工作结束后一日内报告应急领导小组
3.7核心设备硬件故障应急预案1发生核心设备硬件故障后,XX运维团队应及时报告应急领导小组,并组织查找、确定故障设备及故障原因,进行先期处置2若故障设备在短期内无法修复XX运维团队应启动备份设备,保持系统正常运行;将故障设备脱离网络,进行故障排除工作3XX运维团队故障排除后,在网络空暇时期,替换备用设备;若故障仍然存在,立即联系相关厂商,认真填写设备故障报告单备查8机房漏水应急预案1发生机房漏水时,第一目击者应即将通知XX运维团队,并及时报告监控应急领导小组2若空调系统浮现渗漏水,XX运维团队负责人应即将安排停用故障空调,清除机房积水,并及时联系设备供应方处理,同时启动备用空调,必耍情况下可暂时用电扇对服务器进行降温3若为墙体或者窗户渗漏水,XX运维团队负责人应即将采取有效措施确保机房安全同时安排通知办公室,及时清除积水,维修墙体或者窗户,消除渗漏水隐患
3.9机房火灾应急预案1完善机房环境,确保机房放置灭火器;禁止携带易燃易爆物品进入机房2机房管理人员应熟悉机房内部消防安全操作和规则,了解消防设备操作原理,掌握消防应急处理步骤、措施和要领,懂得灭火的方法,会扑救初起火源3一旦发生火灾,迅速切断机房电源,避免灾情的扩散,并迅速和园区保安部联系,必要时即将报火警
3.10设备发生被盗或者人为伤害事件应急预案1发生设备被盗或者人为伤害设备情况时,使用者或者管理者应即将报告应急领导小组,同时保护好现场2应急领导小组接报后,通知用户保卫部门、相关领导,一同核实审定现场情况,清点被盗物资或者盘查人为伤害情况,做好必要的影像记录和文字记录3事发单位和当事人应当积极配合公安部门进行调查4应急领导小组安排XX运维团队、事发单位及时恢复系统正常运行,并对事件进行调查XX运维团队应在调查结束后一日内书面报告应急领导小组并应向公司相关领导汇报、机房动力系统应急处理方案外电中断后,值班人员应即将检查中心机房ups电源是否正常供电,并查明中断原因,及时向负责人报告;如因楼内路线故障,要求物业管理部门迅速恢复供电;如因供电部门因素导致供电中断,即将向园区物业联系电话XXXX-XXXXXXX请供电部门迅速恢复供电;如告知需要长期停电,应作如下安排:1估计停电1小时以内,由UPS供电;2抢修人员在机房现场实时测试记录备用电池的放电情况,估计停电1小时以上2小时以内或者电池放电容量超过40%时,关掉非关键设备,确保各主机、路由器、交换机供电3估计停电超过2小时,在设备运行1小时候关掉所有机器设备4电力系统恢复供电后,硬件支持人员按照规定流程开启相关设备并即将对电池进行均充一天内发生多次停电,放电容量在50%以下,均充转浮充后,浮充时间不少于24小时一次停电放电容量在50%〜80%时,均充转浮充后,浮充时间不少于48小时应急流程完成情况统计(分类统计应急处理次数、完成次数、应急处理分布范围等)应急流程原因及影响统计(对引起应急流程的原因以及重大事故影响进行分类统计分析)应急处理时间统计(对应急处理所需时间进行统计)资源利用情况统计(对应急处理所需资源进行统计)费用统计(对应急处理所需费用进行统计)浮现的问题和建议(根据上面的统计数据,对应急流程管理提出浮现的问题以及对应急处理工作进行优化的建议)备注。