国家广电总局监测中心有线广播电视监测中心王天瑜提出了利用救据库安全备份系统对数据库进行保护,并针对监测系统数据库的特点和数据库备份实例,对数据库备份机制的设计进行了分析和探讨。近年来,随着监测业务的发展和信息化水平的提高,数据库在监测系统中的应用越来越广泛。报警信息、运行图信息、指标测量信息和用户信息等重要监测数据都存储在数据库中,这些数据支撑着监测系统的正常运行。因此对上述数据的可靠、稳定、安全提出了更加苛刻的要求,如何尽最大可能为各种数据提供安全保障,并提供快速的数据恢复能力,保证数据的完整性、正确性就成为当前数据库维护人员首要解决的问题。 目前,大型分布式网络化数据库,其主流的数据保护措施为依托网络建立高可用性与高可靠性的数据库安全备份系统,所采用的备份方式主要有联机备份和脱机备份两种。联机备份方式通常使用在业务系统不能接受数据库停机运行的情况下,在进行联机备份前,需要启动ARCH数据库进程对重做日志文件进行归档,重做日志文件存储着系统执行任务时对数据库所做的所有更改,在联机备份时,需要备份数据文件、控制文件和重做日志文件,如果需要恢复数据,可以使用重做日志文件进行恢复。 若数据库可以停止运行或采用主从模式时,则可采用脱机方式进行备份。该方式一般均采用操作系统的物理拷贝未完成数据库的备份,在备份前不需要对重做日志文件进行备份,备份文件包括数据库物理文件和控制文件等。相比联机方式,脱机方式备份速度快,且发生故障的概率小。但是,目前监测系统数据库均要求7*24小时不间断运行,因此,数据库备份必须采用联机备份方式,在该种方式中,数据库进程与备份任务同时进行。 1、数据库备份机制设计 设计数据库备份机制是实施数据库备份的核心环节,备份机制是指在备份过程电通过分析影响备份的各种因素的相互关系、产生的影响及其运行方式,对各种因素进行合理的调整和配置的过硅 是数据库备份所必需遵守的基本规则。要保证数据库备份任务真正实现,就必须设计一套灵活、高效的备份机制。 1.1规划存储磁带卷组 数据库备份数据均保存在磁带机的磁带中,通常一个备份磁带机要同时对多个数据库系统提供备份数据服务,为提高磁带的使用率,特别是便于日后进行磁带的归类管理和数据库灾难性恢复,首先需要为每个数据库系统建立存储磁带卷组,并对数据库系统备份数据量进行计算,按备份数据量的不同为每个卷组合理分配磁带。数据库备份数据包括:归档日志文件和数据库全备文件,备份数据总量以不超过卷组中磁带总存储容量的80%为宜。 另外,在实际工作中发现,在某些极端情况下,备份数据量会激增,原有的磁带卷组会因无法存储超量数据而造成数据丢失,给备份系统的正常运行带来隐患。因此,建议对剩余未分配的磁带也应进行配置,建立应急动态分配磁带组,该磁带组的作用是:一旦某业务磁带组因突发性的大规模数据增加而导致存储空间用尽时,可自动分配空磁带至该组电保障数据备份的正常进行。 1.2设定备份任务执行频率 数据库备份包括有归档日志文件备份和数据库全备两种模式,针对不同备份模式设定备份任务执行频率是设计机制的核心内容,适合的备份执行频率即可以完全保证数据的安全性和有效性,又不会对数据库系统的正常运行产生影响。因此,在设定执行频率时,需要综合全面地考虑备份数据量、备份任务执行时间、链路传输速率、备份节点数量及对数据库系统压力等多方面因素。 1.2.1归档日志文件备份 归档日志文件备份是指对数据库每日产生的归档日志文件进行备份,归档日志文件中记录对数据库所做的修改,包括:插入、删除、更新数据等,只有对数据库的归档日志文件进行正常备份,才可以对数据库进行灾难性恢复。由于归档日志文件备份数据量较小,备份任务执行时间较短,且任务执行过程中对数据库系统压力较小,不会影响业务系统的正常运行,因此建议在周一至周五工作时间进行每天执行一次,可以根据节点数量进行平均分布,每个整点时间并发执行若干个节点备份任务。 1.2.2数据库完全备份 数据库完全备份不仅包括归档日志文件的备份,还包括数据文件和控制文件的备份。由于相对归档日志备份文件,完全备份文件数据量较大,需要执行时间较长,对数据库系统压力较大,因此建议在非工作时间进行。同时,数据库全备作为一段时间的数据库完全镜像,不需要每天执行。因此建议根据实际数据文件的增长情况,以1周或2周为时间单位,在周末执行全备任务。需要注意的是,如果备份数据库节点分布在全国,各个节点的网络环境和传输速率可能会存在较大差异,建议首先对各节点网络传输速率进行测试,将传输速率较慢的节点备份任务安排在最后执行,确保不会因个别节点备份速率慢而影响其他节点备份的正常进行。 1.3确定备份数据保存时间 备份数据保存时间需要根据所备份数据类型及实际业务需求,同时要参考磁带库的可用磁带容量进行设定。如果备份数据为数字化视频文件、音频文件或图片等多媒体信息,则为保障多媒体信息在视频点播、交互式视频服务和远程教育等应用中的持续有效性,一般备份保存时间设置较长,并需要根据多媒体数据内容组织分类存储,便于日后快速检索与恢复,某些特别重要多媒体信息可不设置保存时间,进行永久保存。 若备份数据为文本数据和数值数据等,由于每日会对数据库进行归档文件备份,定期还会进行数据库全备,通过归档备份文件和全备文件,备份系统可在任意时刻对数据库数据进行恢复,因此可将备份保存时间设置较短,超过保存时间,新的备份数据自动将原有数据覆盖。 2、数据库备份机制设计实例 为提高监测系统数据库的安全性,对监测系统数据库实施了数据库备份操作。现以该数据库备份实例为例,详细描述数据库备份机制设计过程。 2.1监测系统数据库特点 根据监测业务需要,监测系统数据库按照分布式网络化体系结构进行设计 规模较大。采用中心-分中心两级层次结构, 中心数据库负责处理各分中心上报的监测数据;各分中心数据库负责汇总、处理本省的监测数据并通过国干网与中心数据库进行数据传输与同步。监测系统负责对全国各地市的多媒体业务进行内容与播出质量的监测工作。由于监测前端数量较多、监测业务覆盖面广监测数据总量及每日新增的监测数据均较大,且由监测业务的性质决定,因此监测业务需要不间断运行。 2.2数据库运行情况分析 设计建立合理的备份机制是整个数据库备份系统的核心工作,建立备份机制要充分考虑数据库系统自身运行情况及特点。现结合监测系统数据库特点,首先对数据库运行情况进行分析:打开数据库归档模式后,经计算,分中心数据库每日产生的归档日志文件数据量约为20GB;中心数据库每日产生的归档日志文件数据量约为15GB,周一至周五所有数据库共产生175GB归档日志文件。分中心数据库全备一次产生75GB数据;中心数据库全备一次产生207GB数据,数据库全备一次共产生282GB数据。 分中心数据库采用SDH网络进行数据传输,单个分中心产生的归档日志平均为344MB,最大归档日志为405MB。按最大备份数据量进行测试,备份一个分中心节点用时5分钟左右。单个分中心全备产生的数据量约为归档日志数据量的3倍,因此全备一个分中心节点需要用时约15分钟左右。中心数据库均采用百兆以太网方式进行备份数据传输,通过分析得知,每日生成归档日志最大为2GB,每次全备数据量最大为40GB。经测试,归档日志备份用时10分钟左右,数据库全备用时约为归档日志备份用时4倍。 通过前期对备份数据库节点数量、数据库软件类型、操作系统类型、服务器类型和网络传输模式等环境信息统计,并考虑备份数据量大小和备份用时,制定适合监测系统的数据库备份机制是非常必要的。监测系统备份采用HP MSL4048磁带机,包括2个磁带驱动器、47盘磁带和1盘清洗带,可用存储空间为37.6TB,完全可满足数据库备份需要。监测系统分中心数据库备份磁带组配置13盘磁带,存储空间为10.4TB,占可分配总资源的27.66%,中心数据库系统备份数据量稍小,配置12盘磁带,占可分配总资源的25.53%,剩余未分配磁带占可分配总资源的46.81%,组成应急动态分配磁带组。 监测系统周一至周五,在白天进行报警数据采集与分析处理、数据同步及其他日常监测工作;在夜间进行报警数据采集与分析处理工作;在周末进行报警数据采集与分析处理工作。因周末监测业务较少,对数据库系统压力较小,因此,将对数据库系统压力较大的数据库全备工作安排在周末进行,而将对数据库系统压力较小的归档日志文件备份工作安排在周一至周五进行。根据监测业务实际需求,同时考虑到磁带库容量,由于备份数据均为文本数据和数值数据,不包含多媒体数据,因此将备份数据保存时间设置为3个月。超过3个用新的备份数据自动将原有数据覆盖。 3、目前存在的问题 2008年年末,监测业务数据库备份机制设计完毕并投入使用至今,己经有1年左右时间,累计完成近2万次数据库归档日志备份和3千余次数据库全备,备份数据总量约22TB。实践证明,该备份机制设汁合理,能满足监测系统使用要求,使监测业务数据得到了全面保护。但在使用中也发现随着监测节点数量增加和监测业务的扩展,新生成的备份数据量相比设计时有明显的增加,原先规划的磁带卷组存储容量逐渐无法满足备份数据量增长需求,导致在备份过程中越来越频繁地调用应急动态分配组磁带。因此,在今后使用中,需结合监测业务的发展,定期对磁带卷组存储容量进行调整。 数据库备份只是保障数据信息安全的手段,数据库系统维护管理制度的完善和数据库维护人员技术水平的提高,在某种程度上更重于数据备份的技术手段。因此,在实际工作中,需要将完善的数据库维护管理制度、高水平数据库维护人员与数据库备份机制有机地结合起来综合实施,才能取得良好的效果。 2010年04月28日 |
微信扫码关注公众号