以CDP为代表的新一代数据保护技术的出现,关键

无论是大型企业还是中小型企业,对数据的依赖程度正日益加深。出于数据保护的目的,许多企业已经实施了最基本的数据备份,其中磁带备份的覆盖面最广。但是,磁带备份能完全满足用户对备份和恢复的需求吗?经过权威机构对真实用户做的回访数据表明,在实际应用中,5%~20%的备份作业都以失败而告终。更让人担忧的是,当备份作业失败后,用户不能及时获知,数据的损失在所难免。种种‘失败’案例的发生,使传统数据保护技术不得不走上变革的道路!

谈灾备,就会细谈数据保护与容灾备份。然而,相关的概念经常有人混淆。我们搜集和参考公开资料进行初步梳理。

  技术门诊是BKJIA社区品牌栏目,每周邀请一位客座专家,为广大技术网友解答疑问。从热门技术到前沿知识,从技术答疑到职业规划。每期一个主题,站在最新最热的技术前沿为你引航!

传统的备份方式我们应该尽量避免,除非他们支持和执行使用基于(API)的虚拟环境中的管理备份。中科同向备份软件Heartsone-backup V8.0(以下简称HBU)就是通过VADP提供的一系列管理和数据的API接口。通过这些API接口,可以在不影响目标虚拟机运行状态的前提下对虚拟机进行备份和恢复,包括:

容灾技术是灾备系统的核心,技术因素考虑的是否完善,对于灾备系统建设的成败可以说起到非常关键的作用。如果灾备方案提供商在企业灾备建议之初,能从企业切实的容灾系统技术和工程可行性出发,为企业找出最佳的灾备系统建设路线,相信可以帮助企业的灾备系统建设少走不少弯路。那么,企业在构建容灾系统时需要考虑的技术因素有哪些呢?

数据备份技术经过10年的发展,已经步入一个崭新的发展阶段,数据复制、快照、CDP等技术受到更多人的关注。几年前,随着磁盘备份技术的兴起,磁带市场开始出现明显萎缩。如今,以CDP为代表的新一代数据保护技术的出现,更将传统的备份软件市场推向了风口浪尖!

一、数据保护

  本期特邀CommVault中国区售前工程师牟皓,针对大数据话题给予解答,欢迎网友积极提问,与专家一起讨论!

  1. 对虚拟机磁盘文件进行整体或者增量备份和恢复;

  2. 对Guest OS进行文件级别的备份和恢复,目前支持Windows和Linux系统;

  3. 如果Guest OS是Windows系统,还能够利用Windows Volume Shadow Copy Services(VSS)来保证数据一致性。

(1)防范的灾难范围

技术门诊是BKJIA社区品牌栏目,每周邀请一位客座专家,为广大技术网友解答疑问。从热门技术到前沿知识,从技术答疑到职业规划。每期一个主题,站在最新最热的技术前沿为你引航。

在云与大数据时代,海量增长的数据容量,给数据的存储和保护带来新的挑战,从传统熟悉的IT架构到以云架构、虚拟化、超融合为代表的技术升级迭代,使得数据保护的技术手段也要加速。

查看本期门诊精彩实录:

除此之外,HBU可以利用VADP另外一个具有巨大进步意义的新功能CBT (ChangeBlock Tracking),简单讲CBT能够使VMKernel记住自上次Snapshot以来哪些数据块被改动了,从而原生支持增量备份。比如,用户每周都要对一个虚拟机进行完整备份,每天对虚拟机进行增量备份。在没有CBT之前,用户每天都需要拷贝完整虚拟机磁盘文件,然后计算出增量部分进行备份;而使用CBT后,用户在备份之前可以询问VMKernel哪些数据块自上次Snapshot后发生过修改,之后只备份修改过的数据。较详细的CBT工作过程如下:

灾难的防御范围,常规上大家重点考虑一些硬灾难,包括服务器、存储等硬件设备损坏造成的宕机;地震、火灾、机房进水等造成的机房失效,也有空调损坏、多站供电断电等意外;甚至当瘟疫蔓延时机房无法进入等极端情况。这类灾难一般被称为"'硬'性灾难"或"站点级灾难",意指整个站点失效,整个站点所提供的服务均被中止。

本期BKJIA门诊特邀请资深技术经理谢剑锋来和我们一起交流一下新一代数据保护技术CDP如何使得用户远离备份恢复难题。

1、数据保护的重要性

精选本期网友提问与专家解答,以供网友学习参考。

1. 全备份:创建虚拟机的Snapshot,并对Snapshot进行备份来实现虚拟机的全备份;

然而,还有很多灾难类型,灾难发生后,虽然建筑、设备、人员都是无损的,但整个机房站点同样失效,整个站点所提供的服务同样被中止。这类灾难我们称为"'软'性灾难"或"类站点级灾难"。它们带来的后果同样是灾难性的、甚至更加严重。这种灾难主要是由于一些恶意行为:外部黑客攻击、内部高技术犯罪;和一些失误行为:系统维护失误、误删除重要数据、打入冲突系统补丁。。。等引起的。

姓名:谢剑锋

数据是企业重要的生产资料,关键数据的丢失可能会给企业致命一击。比如在911事件中,Bank NewYork在数月后因数据的丢失被迫破产清盘。

图片 1

  1. 通过vShpere API读取第一步创建的Snapshot磁盘文件的ChangeId (VirtualDisk.getBacking.getChangeId),并保存;

  2. 调用vShpere API中的queryChangedDiskAreas并传入第二步保存的ChangeId作为参数,获得自上次Snapshot全备份后的修改文件块,保存这些修改文件块作为增量备份;

  3. 重复第三步完成每日增量备份;

  4. 重复1~4步完成新一周的备份计划。

"'硬'性灾难"或"站点级灾难"的发生是管理人员能够即刻发现的,造成的损失大多可以立刻评估、处理。而"'软'性灾难"或"类站点级灾难"大部分无法被管理人员立时发现,造成的损失一般要远远大于前者。而且,恢复起来很麻烦,需要企业投入更多的资源、承担更多大的风险去解决。

图片 2 

图片 3

Q:

显而易见,使用CBT不仅仅可以极大地缩短备份窗口,而且还能够显著的减轻对底层存储设备的IO负担。不过值得注意的是,由于CBT会对虚拟机性能多少会有些影响,因此虚拟机关于CBT的配置项并不是默认打开的。

图片 4

擅长领域:数据保护,存储
美国飞康软件公司(FalconStor)中国区高级技术经理。主要负责飞康数据保护解决方案的方案建议,规划及实施工作,主要客户涉及电信、能源、港口、政府、教育、军队等。专注于存储技术工作,在存储领域积累了相当丰富的经验与技术,以及网络存储产业知识。

为什么后果如此严重?因为数据是计算机系统存在的原因和基础,数据往往是不可再生的。一旦发生数据丢失,企业就会陷入困境:客户资料、技术文件、财务账目等客户、交易、生产数据可能被破坏得面目全非。

大数据与虚拟化,云计算有什么相同与不同的吗?请详细介绍...

总的来说,HBU通过VADP提供的API接口,利用VMwarevStorage VMFS的Snapshot功能来实现虚拟机备份,还可以通过CBT技术提供足够的支持来实现增量备份。借助 VADP,用户不需要在目标虚拟机上安装客户端代理,通过中科同向备份软件HBU,就可以在不增加ESXi服务器负载以及不影响虚拟机运行状态的基础上,对给定的vCenter服务器上所有的虚拟机进行集中式、全面的备份和恢复。目前,中科同向备份软件HBU已经实现了与VMware vCenter服务器以及ESXi主机的良好整合,通过读取vCenter信息,即可备份所有虚拟机,大大提高了用户的备份恢复效率。

(2)对企业当前业务的影响程度

Q:请问谢老师,CDP只是数据保护技术中的一种吧?那与其他的备份恢复技术有什么不同?什么环境下选择CDP比较好?

2、数据丢失的可能性

大数据在企业中的应用场景分别有什么?

目前很多服务性行业,如银行、医院等都要求其业务系统保证7X24小时在线运行,但在线系统的状况可能略有不同,灾备系统的建设首先不能修改现有生产系统的结构(如,灾备设备以旁路的方式接入用户生产系统),否则会可能产生对现有系统状态的破坏和增加不稳定因素,导致今后生产系统维护增加极大的难度。其次,容灾系统的实施应采取最为简易和快捷的方式,工程上应具有可操作性、周期的可控性,实施周期要短,这样才能最大限度地减小对原有在线系统的影响,提高容灾系统建设的成功率。

没错, CDP只是其中的一种,除了CDP之外,还有备份系统、容灾系统等,CDP的概念产生, 是因为备份系统、容灾系统等的数据何护手段等发展跟不上我们对数据保护的期望,才产生了一个变革的CDP数据保护技术,以达到或满足我们对数据保护的期望,因此,对之前传统数据保护手段不太满足的用户都可以推荐使用CDP技术进行数据保护。

概括起来,数据丢失分三个层次。一是逻辑错误,包括软件bug、病毒攻击、数据块被破坏等;二是物理损坏,包括服务器、磁盘损坏等;三是自然灾害对数据中心的摧毁等。

给企业分别能带来那些效益?

 

(3)企业能容忍的恢复时间(RTO)

Q:您好!谢老师! 请问CDP 与目前多为纯软件的同类产品相比较如微软DPM与Symantec Backup Exec 10d),它的特点是什么,而在运行架构上又有什么不同呢?

数据的危害时刻都在发生,比如曾经发生过的“删库跑路、漏洞后门、系统本身脆弱性、云服务商故障、误操作配置、数据中心火灾”等事故,都是数据丢失方面最沉痛的教训。

那些企业成功的运用大数据,解决了些什么问题,规范了什么?

云计算带来了容灾备份的春天。对于数据备份与恢复,云计算的出现到底能带来哪些好处呢?

当计算机系统发生意外无法工作时,导致业务停顿所造成的损失程度,即企业对于系统发生故障时的最大容忍时间,业务称之为RTO。这也是设计容灾备份方案的重要技术指标。对于容灾系统来说,它除了集群系统之外的其它容灾系统,在灾难发生后都需有一个恢复的过程,尤其远程容灾的宕机时间最长,那怎样来解决企业用户对容灾系统所需的恢复时间呢?目前市场中主流的CDP持续数据保护技术在保证RTO方面,可以达到企业所需的分种级恢复的恢复时间要求,对于远程容灾更是可在30分钟内恢复业务运行,而这种恢复时间也并没有为企业增加额外的灾备建设成本。

咱们要从数据保护的发展说起, 最初对于数据保护来讲,采用的最简单的方式就是备份软件,备份软件一天一备的方式不能满足咱们的需求,因此增加了所谓的连续备份功能,尽管增加连续备份的功能,仍然脱离不了备份软件原有的架构。

3、数据复制技术

A:

  灾难恢复是个令人神经紧张的话题,但必须面对。在大一些的公司,会使用SAN进行备份,SAN很贵,而且当整个数据中心出现故障的时候,即使SAN也不保险。因此,他们还会在异地创建一个新的数据中心。然而有时候,即使身处两个位置的两个数据中心也会同时挂掉,因此,他们就将两个数据中心的物理距离尽可能拉大,但这也意味着成本越高,这时又带来了管理上的问题,两套SAN之间要传输 TB 级的数据,需要非常高的带宽,冗余越多,成本越高。

(4)企业能容忍的最大数据丢失量(RPO)

在90年代末,基于磁盘快照技术似乎可以解决备份窗口的问题,但是,在实现了快速备份后却没有实现快速恢复的方法。DPM能实现快速恢复吗?
因此,我们需要即能快速简单的实时备份数据,又能快速高效的恢复数据,这就是CDP的概念。

为了应对数据丢失造成的损失,必须对数据进行复制保护,并且企业信息化程度越高,相关的恢复措辞就越重要。一般数据从生产到存储,主要经过应用、中间件、数据库、操作系统、存储或者磁盘驱动、服务器硬件、网络、存储交换机到存储。在传统的数据备份恢复基础上,通过数据复制技术提供多数据副本,保证副本数据的可用性从而实现数据保护。

你好,这是三个概念。大数据我们通常指的是现在各企业的业务越来越多,数据量比原来大的多,我们称之为大数据时代;虚拟化指的是应用平台,将一台或几台物理主机模拟出多个系统平台,如Vmware,Citirex等;云计算是分布式计算Distributed Computing)、并行计算Parallel Computing)、效用计算Utility Computing)、网络存储Network Storage Technologies)、虚拟化Virtualization)、负载均衡Load Balance)等传统计算机和网络技术发展融合的产物。

  灾难恢复有两个指标,一个是RPO(Recovery PointObjective),一个是RTO(Recovery Time Objective),分别是标识数据丢失率和恢复间隔的指标。对传统的SAN或异地备份,这两个指标基本取决于成本,成本越高,指标越好。而新型的云容灾在这方面,使用的是同步复制技术,同步复制使RPO接近于0,而RTO接近实时,也就是说,灾难发生时,云容灾系统中所有在线的应用数据丢失基本为0,恢复间隔接近实时,使用户完全觉察不到灾备系统的切换。

是否要求数据库可以恢复所有提交的交易并且要求实时同步数据,也就是数据的连续性和一致性,决定了容灾备份方案规模和复杂程度的重要依据。传统的容灾技术大多采用的是基于磁盘阵列或应用主机来实现的,因此数据的同步都局限于数据盘的数据同步,同步镜像技术可以达到数据盘的数据同步,但异步镜像无法达到数据盘的数据一致性,因此借住于快照技术达到同一时间点的数据盘的同步。但在技术中都无法确保实现运行业务系统数据的一致性。同是地,在恢复颗粒的精细程度上也有一定局限,恢复到发生灾难前一刻的数据时间点或恢复到之前保留的某一时间点版本的数据,与快照技术及快照策略有非常大的关系,两个快照之间的时间差是不可避免的,如果企业选择的快照技术可以把快照间隔缩到最短(如,主流的CDP技术可以达到微秒级),企业则可以对业务数据实现最大化保护。

Q:请问谢老师,CDP最多支持多少个快照保护?主机服务灾难恢复的速度又如何?安装与操作有何明显的优势?

从技术角度看,分为中间件和应用层复制、数据库层复制、主机操作系统及存储层复制。

你好,大数据在企业应用场景很多,例如通信行业的经分数据库很多地方都是几十T,客服的电话录音文件、银行保险业的扫描件等等都可以称之为大数据。CommVault软件能够很好管理这些数据,最大效益是能够帮助企业在管理数据的时候结成TCO。

  云计算让先进的技术迅速普及,云存储等的应用,让那些以往只有超级公司才有能力享受的灾难恢复服务变得十分普通,而且成本极低。云灾备虚拟化数据中心实现了虚拟化低延时、高吞吐的数据传输,数据中心交换机为服务器和存储设备之间提供高速万兆互联,满足桌面虚拟化频繁读写的性能需求的同时,做到了CDP级别的灾难恢复。

(5)技术的维护难度

CDP最多支持255份快照保护;CDP的安装相比较传统备份和容灾而言是非常简单的,其管理、维护都是基于图形化界面操作,维护人员只需要点击鼠标就可以实现操作目的。在进行容灾演练或者数据恢复时,CDP不仅操作简单,恢复速度也非常快。您所指的“主机服务灾难恢复”是不是系统的灾难恢复?飞康CDP提供多种恢复方式,SAN-booting ,P2V以及recovery-CD都能快速的恢复系统。飞康网站

中间件和应用层的数据复制,是中间件或者应用层面的双写,根据业务需求,通过应用架构设计实现数据主本和副本的更新;根据需要进行强一致性、弱一致性、最终一致性设计,来保证主本和副本之间的一致性、完整性、时效性。

你好,大数据指的是用户的业务系统的数据量。 并不是大数据量解决了什么问题。也许我没有理解你的意思?呵呵

对于企业来说,满足安全挑战,降低存储开销、增加可用性和易于访问性,这些都将成为他们选择容灾备份产品的标准。北京中科同向信息技术有限公司是专业的容灾备份软件提供商,是我国信息安全及数据存储备份与容灾行业研发最长、综合实力最强的企业之一。

由于长期以来,容灾技术的复杂性和高成本性,使得大量的容灾系统建设都呈现出维护难度大、传输故障的防范能力低、灾备演习难度大的特征。因此,选择的容灾技术应考虑到技术实现和管理的友好性和简易性,灾备中心管理人员的本地可自行维护能力是一个重要的因素,这是故障快速响应和处理的一个基础,这样才能使得多极的维护体系更为有效率、处理故障的能力更为强大。

Q:请问谢老师:有时候开玩笑说数据备份就如同买“保险”,不知道CDP数据保护技术这份“保险”相对于传统的数据复制、快照技术有什么优势,独门绝招是什么?

数据库层复制:不管是开放的数据库还是大机的数据库,都提供相关的数据复制软件,实现数据库数据的物理复制和逻辑复制。主要技术流派包括逻辑复制和物理复制两种。前者利用数据库的重做日志、归档日志,将主本所在站点的日志传输到副本所在站点,通过重做SQL的方式实现数据复制。逻辑复制只提供异步复制,主副本数据的最终一致性,无法保证实时一致性;后者通过Redo日志或者归档日志在副本站点的同步或者异步持久化写、Redo Apply来实现复制功能,同时副本站点的数据可以提供只读功能。

Q:

公司拥有完全自主知识产权,掌握核心技术。自主研发的云计算平台能够帮助政府,军队,企事业单位建立各操作系统、管理应用系统与存储介质之间的跨平台无缝连接,为用户提供数据存储、备份、安全、高可用、数据迁移以及数据容灾等不同层次的一体化存储解决方案和专业而完善的服务。在政府、教育、军工、能源、医疗、金融、证券,化工、食品、电力等领域拥有超过1000家以上成功案例。

(6)是否适用于现有的业务系统,是否面向未来可能加入的其他业务系统

我们买“保险”,除了保障外,还需要“理陪”快,流程简单,因此对于CDP来讲,咱们可以很方便的实时“投保”, 当需要的时候,可以快速即时的“理陪”到我们所需的数据。

主机操作系统层、存储层复制:基于系统的IO、底层物理卷、数据块,通过存储硬件、备份恢复、存储虚拟化等技术实现数据复制,与上层的应用和逻辑无关。主要技术流派包括磁盘镜像技术、操作系统层基于卷管理的数据复制技术、存储层的存储虚拟化技术、优化的备份恢复技术及网络数据存储集中管理技术、英方特有的系统内核字节级数据复制技术等。

问一个有关于虚拟化的问题,如果同时存在VMWare vSphere ESX,Citrix XenServer, Microsoft Hyper-V三个虚拟化环境同时并存。那么 备份的CommVault Spinma是部署一套还是三套?

中科同向(HeartsOne Technology Inc.)是北京市政府认定的高新技术企业和软件企业,公司依次获得国家高新技术企业证书、双软认证,中国国家信息安全产品认证证书、国家保密局涉密信息系统产品检测证书、公安部认证销售许可证书,解放军信息安全认证,工信部信息安全培训基地等重要资质,产品荣获北京市自主创新产品,公司所有产品均通过ISO9001质量管理体系认证,安全可靠。

这是非常容易被忽视的一个因素。混合系统容灾、开放设备的选择常常使得用户的理想与技术现实产生鸿沟。如果能够在本次建立容灾系统时,采用面向未来的技术,这样就可以形成一次构建,长期受益的良好架构,而且今后的系统改造成本将会十分轻微,达到为全系统服务的长期目标。

Q:目前市场提供的CDP专用管理器产品有几种?若要在iSCSI环境下使用由CDP 专用管理器开机的灾难恢复功能,需另购iSCSI HBA卡吗?另外,针对中小型企业用户,有哪款机型推荐?

二、容灾备份

如果是一套,对每种不同的虚拟机镜像vmdk,xva,vhd文件备份处理或者消重的方式是否都一样?如何确保中间的一致性?

公司拥有信息、数据、网络安全领域庞大的自主研发产品家族,包括HeartsOne Backup V8.0(HBU)数据备份软件、CDP持续数据保护产品、DR应用级容灾产品、HA双机、Cluster集群高可用产品、HS磁盘阵列、HUS统一存储、HVS虚拟化存储网关,DOC文档管理系统,VTL虚拟带库,Netlooker网络监控,VM虚拟化软件,CM云计算管理平台、云匣子大数据采集器、邮件安全防护网、工业控制安全网关等全面的产品与解决方案等。

CDP技术作为新一代数据备份容灾保护技术已经被业界和广大用户认可,目前市场上有几种类似的产品,但是飞康CDP成功案例最多也是保护机制最为健全的解决方案,在全球飞康CDP用户中,飞康实现了救灾100%成功的可喜战绩。
目前的ISCSI解决方案中,已经很少采用ISCSI卡,这是目前行业的发展现象。飞康解决方案中也较少采用ISCSI卡。

这实际上是两个独立的概念,备份不等于容灾,备份是保护数据,容灾是确保业务连续性。在灾备一体机出现后,这两个概念所代表的功能往往被包含在里面,所以也造成在一些用户在采购纯软件产品时,将备份与容灾产品混为一谈,以至于厂商不知道用户到底需要备份产品还是容灾产品,或者是备份+容灾的产品。

如果是三套,那之前有什么不一样的地方需要独立三套的备份?

Q:谢教授您好:学生在这里有一个问题想请教一下,请问在中型企业里,需要有多种备份数据的方式同时存在,例如有的地方用完全备份,有的地方用增量备份。那么这些在使用CDP备份技术的时候有什么很好的解决办法可以很好的与之前的备份数据融合呢?谢谢!

1、备份

A:

我们的备份应该实时都有全备份,才符合我们的需求,增量备份的出现是解决备份窗口及备份容量的问题。

备份,是预定义的数据集合的副本,是数据保护的根本方法,它反映了数据集合在某个时刻的静止状态,备份文件是所有数据保护架构的支柱,备份的目的在于恢复。

你好,

所以, CDP是实时备份,即时恢复,无备份窗口, 是一套全新的数据备份方式,并且每一个备份版本都是当前数据 的全备份,它完全可以将现有的备份软件融合在一起。CDP实现数据的快速备份与恢复, 传统备份软件可以进行数据归档。

关于备份,存在两个误区:一是双机热备不属于备份;二是硬件备份≠数据备份。

1.三种虚拟化环境同时存在的时候我们只需要部署一套simpana软件。

Q:谢老师,能介绍一下我们这方面书吗?适合初学者的,谢谢!还有就是针对于一些中小企业,有哪些跟好的解决方案呢?能大概介绍一下吗?

在备份架构演进方面,有本机备份、网络备份、LAN-Free(SAN)备份、Server-Free (脱机)备份等四种架构。

2.重复数据删除是一种数据缩减技术,通常用于基于磁盘的备份系统,旨在减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复数据块。重复的数据块用指示符/指针/索引取代。高度冗余的数据集从数据重复删除技术的获益极大。不同类型数据的消重比是不一样的,CommVault采用SHA-512的算法,其安全性和重删率更高。

本文由必威发布于必威-运维,转载请注明出处:以CDP为代表的新一代数据保护技术的出现,关键

TAG标签:
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。