资源管理系统容灾解决方案

 目   录
一、概论 3
二、背景描述： 3
三、实施过程： 4
四、运行维护： 6
五、总结： 6
 摘要
 企业越来越依赖IT系统已经成为了一个不争的事实，随着计算机应用的不断发展，企业越来越重视数据的安全性和可用性。本文抛砖引玉，主要讲的是资源管理系统的容灾方案，最终的目的是实现所有IT系统的综合备份容灾，保持系统的高可靠性，真正保护业务持续性。为业务的正常有效开展保驾护航。
一、概论
 对IT系统7×24关键业务长时间的停顿或大量数据丢失是不允许的，因此有必要对IT系统提供容灾系统保护。一个好的容灾方案应该充分考虑风险和成本平衡点，容灾方案首先应该考虑“灾难备份需求目标”，在此需要介绍两个重要参数：
 RTO (Recovery Time Objective)：指灾难发生后，从IT系统故障导致业务停顿之刻开始，到系统恢复至可以支持正常运作，业务恢复运营之时，此两点之间的时间段称为RTO。RTO时间越短越好。
 RPO (Recovery Point Objective)：指从系统和应用数据而言，要实现能够恢复至可以支持生产中心业务运作，系统及生产数据应恢复到怎样的更新程度，换而言之企业可以接受多长时间的数据丢失。
 在各种IT系统中，应用服务器和数据库系统灾备的重点不同，重要的应用服务器支持实时运行，支持灾备中心和生产中心同时运行，可实现最高级别的灾备，即RTO＝0，RP0=0。数据库系统根据容灾成本大小分为数据备份容灾和数据库容灾，数据备份容灾侧重于保护数据，RPO最大为24小时的数据量，数据库容灾的RTO通常小于30分钟。
 容灾包括数据容灾和应用容灾两类。数据容灾是指建立一个异地的数据系统，该系统是本地关键应用数据的一个实时复制。在本地数据及整个应用系统出现灾难时，系统至少在异地保存有一份可用的关键业务的数据。应用容灾是在数据容灾的基础上，在异地建立一套完整的与本地生产系统相当的备份应用系统（可以是互为备份）。建立这样一个系统是相对比较复杂的，不仅需要一份可用的数据复制，还要有包括网络、主机、应用、甚至IP等资源，以及各资源之间的良好协调。
二、背景描述：
 南宁电信于2000年自主开发了管线资源系统。数据库服务器为一台PCSERVER。数据库为sybase11.0。采用的是C/S结构。2003年6月，数据库服务器硬盘出现坏道，操作系统无法正常启动，由于数据库的备份是放在同一台机器上的。导致长达三年管线资料全部丢失，虽然在九七系统中有全部的机线资料，未对业务造成影响，但仍有部分管线资料需要重新核查。
 针对上述情况，在建设新的管线资源管理系统的同时，将容灾同时进行了考虑。南宁电信主要的生产大楼一枢纽、二枢纽，相距7公里。各有一个IT机房，通过光纤直连。主要的IT系统设备都放在二枢纽，一枢纽有一台HP小型机，和其它系统割接上线后留下来的磁盘阵列，大小为2T，磁盘阵列速度较慢。
三、实施过程：
 首先，在进行资源管理系统建设时。充分考虑系统的安全性和稳定性。使用了HP的'双机系统。能够在某台系统出现问题时及时系统切换到另一台主机上。系统架构如下图：
 
 
 新的资源管理为B/S结构，配置为HP小型机，操作系统为HP-UX  11i，后台数据库为SYBASE  12.5，中间层使用的tomcat5进行应用发布。
 在双机热备的情况下。利用操作系统自带的定时器的功能实现数据库的自动备份工作。
 备份定为每日的下班后进行，共分为三个步骤，一是对备份目录进行空间检查，二是实施备份，三是将备份的文件传输到电信一枢纽大楼         UNIX系统中有一条命令crontab，通过它我们可以定制cron  job,它安排各命令在指定的时间间隔内执行，有定时器的功能。我们所制定的自动备份及自动检测方案就是用它来实现的。但是，并不是每个UNIX系统的用户都有权限使用它。
 要使sybase用户具有执行定时器权限，需要将数据库管理员sybase用户添加到cron.allow文件中。首先，应以root用户身份登录，到路径/var/adm/cron下确认无cron.deny文件，或该文件中无sybase这条记录。然后，编辑cron.allow文件，将sybase  用户添加进去，这样，sybase用户就有了定制cron  job的权限。    以sybase用户登录后，执行crontab  –e  编辑cron  job,  例：    0 2 * * * /home/sybase/backup/autodump.sh 
0 5 * * * /home/sybase/backup/autoftp.sh 
其中，第一条命令的意思是在每天的02∶00开始自动执行脚本文件autodump.sh ，对数据库进行备份, autodump.sh   的编辑在后面讨论。第二条命令是在每日的05∶00自动执行脚本文件autoftp.sh ，将备份好的文件传输到远端一枢纽的机器上。
编辑脚本文件    dump.sh由crontab直接调用，存放在sybase用户的home目录下，它主要完成以下工作：  1、检查备份目录的空间    本部分实现的功能是：将目前备份目录的空间使用率与管理员定义的上限进行比较，若超出上限，则删除一个最早的备份文件。    MAX=65  ##  定义上限，可根据实际情况进行调整  ##  bdf  |  tail  -1  |  read  AVAIL  USED  FREE  PER  MOUNT  USED=${PER%\%*}  #  #  Test  for  more  than  65%  used  #  if  [  "$USED"  -gt  "$MAX"  ]  then  ll  -t  /sybdata/sybnm/dump/synm*  |  tail  -1  |read  AA  BB  UUSR  GGRP  SSIZE  MM  DD  TT  FNAME  rm  $FNAME  2>> /sybdata/sybnm/dump/backup.log  fi    2、实施备份  备份工作通过isql调用备份脚本实现：    isql  -Usa  -P  -SSYBNM  -o /sybdata/sybnm/dump/dump.log  -idump.sql    为使sybase用户成功执行本操作，我们应同时将sybase的环境变量定制在dump.sh中，其主要命令可参考sybase用户的.profile文件。另外，本命令从外部读取的备份脚本dump.sql文件的内容如下：    declare  @ddate  char(28)  /*  定义一个变量，用于备份的文件名称  */  select  @ddate  =  '/sybdata/sybnm/dump/synm'  +  convert(char(6),  getdate(),  12)  ,3,1,null)  
/*  将当前日期进行转换  */  dump  database  nmdb  to  @ddate    go    
说明：该脚本将当前日期进行转换，形成备份的文件名，其格式为：  synmyymmdd  3、将成功备份的备份文件传送到一枢纽的机器上
编辑autoftp.sh文件。
DATE=`date +%C%y%m%d`
ftp -i -n 192.168.1.1
user sybase worldcup
bin
lcd /sybdata/sybnm/dump
cd /backup/resmga/sybnm
prompt off
put synm{DATE}
bye
4、在一枢纽的机器上将全库备份恢复
load database synm from /backup/resmga/sybnm/ synm{DATE}
就可以将数据库恢复在远端的服务器上。
结构如下图：

四、运行维护：
    将自动备份系统建立后，每天系统自动在本地进行一次系统备份。同时把备份文件传送到远端的机器上，远端的机器自动进行系统恢复。每天系统管理员需要做的工作就是检查备份和在远端的恢复是否成功。
     当本地的资源管理系统出现问题时，能够立即切换到远端的服务器上，切换时间对比恢复时间可以忽略不计。从而大大降低了系统风险，使系统运行在一个安全的状态。
     2006年12月，本地的磁盘阵列出现问题。在相关的小型机厂商HP公司的工程师诊断下，确认磁盘阵列出现问题，数据全部丢失，当时立即启动应急预案，将数据库指向远端的服务器上，在本地的硬件问题解决后，在非工作时间将数据再次导回来。而这些动作对前台来说仅仅中断了几十分钟，相对全部数据的丢失，其损失的时间可以忽略不计。
五、总结：
     从这次资源管理系统容灾项目的实施，在出现故障后能够短时间恢复业务的正常应用来看。在电信行业中，各种重要的IT系统应该做到容灾。对于关键业务系统，必须做到应用级容灾，做到RTO＝0，RP0=0。确保IT系统能够正常运行，为业务的正常有效开展保驾护航。