全面數(shù)據(jù)備份、恢復和歸檔策略(emc)

1、全面數(shù)據(jù)備份、恢復和歸檔策略,演講人姓名: 何志彬演講人職務: EMC高級系統(tǒng)工程師,EMC --- 全球前10大的軟件公司,EMC 軟件主要組成部分有:EMC 開放存儲軟件(OSS)LegatoDocumentumSMARTSVMwareRSAAvamarIndigo Stone以及12家以上的中小型軟件公司的收購具有規(guī)模:2006年營業(yè)額達112億美金全球員工超過31000人每年研發(fā)投入超過10億美金

2、2006年成立中國研發(fā)中心2006年后連續(xù)5年投入5億美金到中國市場2007年，EMC將在中國增加4個辦事處，5年內(nèi)在全國的辦公點達到20個,,,World’s Top 10 Software Companies,,,,,$613,Siebel,10,$616,Compuware,9,$743,BMC Software,8,$1,413,Symantec - Veritas,7,$1,711,EMC,6,$1,830,CA,5,$

3、4,788,SAP,4,$7,149,Oracle,3,$7,372,IBM,2,$19,781,Microsoft,1,1st Half '05 Revenue,Company,Rank,,,,,Ranked by 1st Half ’05 revenue,客戶面臨的挑戰(zhàn),* 數(shù)據(jù)來源：存儲雜志,降低總體擁有成本事半功倍,管理數(shù)據(jù)增長,典型做法添加更多的主存儲容量從主服務器上刪除文件和信息 對郵箱和文件共享強制實施配

4、額依靠備份磁帶進行長期保留可能的結(jié)果 開銷大 管理非常耗時不一致的保留增加了業(yè)務風險,6,許多企業(yè)采用被動應付的做法,,備份、恢復及歸檔（BuRA）的新架構(gòu) ----分層存儲,分離有用的信息歸檔提高生產(chǎn)系統(tǒng)的性能通過分級存儲改善 TCO 對活動的生產(chǎn)信息備份到磁盤備份窗口減小或消除較高的可靠性，執(zhí)行全備份的可能性增加從歸檔重新取回或從備份恢復恢復的速度更快以前離線的信息現(xiàn)在在歸檔方式下可訪問,歸檔流程,,生產(chǎn)

5、環(huán)境,,,,備份和歸檔的差別,備份？,歸檔？,Copy,,,Production,Backup Environment,User,,Backup Environment,,Production,為了恢復數(shù)據(jù),User,,Archive Environment,,,用于數(shù)據(jù)的讀取.,,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC D

6、isk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File

7、Archiving,AvamarRemote Office / Branch Office,Assessment,,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assessmen

8、t ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office / Branch Office,Assessment,NetWorker,傳統(tǒng)的磁帶備份和恢復,高級備

9、份快照和復制管理,磁盤備份NetWorker DiskBackup 選項和虛擬磁帶庫 (VTL),分層保護下的恢復管理,用于備份和恢復的 EMC NetWorker 軟件,將保護級別與恢復時間目標 (RTO) 和恢復點目標 (RPO) 對映 簡化管理進行監(jiān)控和分析，以快速解決問題和優(yōu)化系統(tǒng),解決方案的特性,NetWorker 備份和恢復,全面保護關鍵應用程序、平臺和存儲可擴展的體系結(jié)構(gòu)256 位 AES 加密和安全認證

10、多語言支持集中式管理圖形用戶界面可定制報告功能 高級分析功能向?qū)б龑У呐渲煤蛙浖职l(fā)最佳的性能和可擴展性存儲節(jié)點數(shù)據(jù)多路傳輸和高級索引磁帶和磁盤備份、轉(zhuǎn)儲、克隆高效的介質(zhì)管理快照管理,應用程序,操作系統(tǒng),異構(gòu)支持的優(yōu)點,Novell,IBM,Sun,HP,IBM Informix,DB2,Lotus Software,NetWorker Management Console,直觀的操作和導航可通過 Web 進行管

11、理拖放管理單點管理和監(jiān)控管理多個 NetWorker 服務器集中式設備安裝和管理輕松啟動 NetWorker 恢復應用程序和向?qū)Щ诮巧脑L問安全性，使用唯一的用戶登錄名/密碼報告?zhèn)浞萁y(tǒng)計數(shù)據(jù)、活動審核和其他有用信息（如非活動文件的詳細信息）,7,新特性--可定制的中文視圖/易于使用,內(nèi)置的報告功能,,,,,Backups,Day 1 - Full,Day 2 - Level 1,,Day 2 - Ful

12、l,單一備份集恢復！,將Level1的備份與全備份合并為一個新的全備份,Full,,,,,Day 3 - Full,Day 3 - Level 1,,獨特的備份融合,并行流從多個客戶端的多個數(shù)據(jù)流備份到一臺備份服務器或一個備份節(jié)點,交叉?zhèn)浞荻鄠€數(shù)據(jù)流同時寫到多盤磁帶,提供最大的數(shù)據(jù)吞吐量,Multiple Savesets on Self Describing Tapes intermixed atthe Block

13、Level,,,,,,,,,,NetWorker Serveror Storage Node,,,,,,,,,,,,,,,,,Buffer,,,,,,,,,,,,,Individual NetWorkerClient Savesets,,,,,64路,32臺,業(yè)界領先的備份性能,10TB/Hr,PowerSnap 和 VSS 附加模塊利用快照技術(shù)進行數(shù)據(jù)的保護和恢復支持 EMC CLARiiON、Symmetrix、Celerra

14、 和第三方解決方案使用時間點快照/鏡像進行即時備份和恢復脫離主機進行磁盤/磁帶的實時備份基于策略的管理,集成的快照管理，以滿足 RTO/RPO,,,,NetWorkerUNIX/Linux,NetWorker Windows,,磁帶管理的優(yōu)點,開放磁帶格式（OTF）數(shù)據(jù)流多路傳輸自包含索引跨平臺格式UNIX ?? Windows ?? Linux磁帶損壞的影響最小 — 跳過損壞的介質(zhì)記錄本機庫共享動態(tài)驅(qū)動器共享

15、跨平臺磁帶驅(qū)動器共享按需使用設備降低硬件總體擁有成本,,,磁帶并不是總能夠應對這些難題,性能有限的吞吐量不能隨機存取可靠性RAID 對磁帶無效用過幾次之后磁帶就會“過期”管理復雜性恢復起來很復雜 成本很高管理成千上萬盒磁帶的工作量非常大,15,以磁盤為中心的備份和恢復解決方案的優(yōu)點,性能恢復性能可增加五倍備份性能可增加三倍可用性備份和恢復操作可靠管理效率節(jié)省數(shù)小時的員工時間提高生產(chǎn)率數(shù)據(jù)保留可以

16、遠程復制磁盤數(shù)據(jù)，不用依靠運送輕松檢索數(shù)據(jù),16,性能更佳且可預知的備份和恢復,,,,,,,,,NetWorker DiskBackup 選項,更快、更可靠的備份和恢復消除裝載、啟動和停止、倒帶以及快進利用并行操作增強備份/恢復備份、恢復克隆和轉(zhuǎn)儲 — 同步進行多流并行恢復基于策略的轉(zhuǎn)儲和克隆自動將磁盤數(shù)據(jù)遷移至磁帶，以輔助保護提速 50%備份作業(yè)一完成就克隆減少對磁帶驅(qū)動器和磁帶盒的磨損,,磁盤(文件系統(tǒng))也面

17、臨挑戰(zhàn),共享文件系統(tǒng)不能被多臺機器共享安全性文件系統(tǒng)很容易被誤操作性能文件系統(tǒng)很難解決磁盤碎片問題功能文件系統(tǒng)無法自動回收這部分磁盤空間 磁盤作為備份設備，備份系統(tǒng)無法對其進行掃描 無法進行介質(zhì)復制,15,虛擬磁帶庫集成,磁盤備份的簡單解決方案即插即用 — 猶如磁帶庫不需要更改操作過程 可靠性和可擴展性具有 NetWorker 存儲節(jié)點的 EMC 磁盤庫系列使用嵌入備份應用程序的 EMC 特定的 VTL 解決

18、方案加快恢復時間減少網(wǎng)絡流量 整合的介質(zhì)管理，對虛擬和物理磁帶池實施單點控制磁盤庫之間輕松實現(xiàn)遠程備份、恢復和克隆,EMC HomeBase 裸機恢復,新的 EMC NetWorker 功能,通過與 EMC Avamar 的集成消除重復數(shù)據(jù)對全局重復數(shù)據(jù)消除提供統(tǒng)一管理通過與 EMC RecoverPoint 的集成實現(xiàn)連續(xù)數(shù)據(jù)保護（CDP）提供時間點 CDP 快照以改進數(shù)據(jù)保護和恢復點,添加了對重復數(shù)據(jù)消除和連續(xù)數(shù)據(jù)保護

19、的支持,允許用戶在現(xiàn)有的 NetWorker 環(huán)境中方便地部署 Avamar 和 RecoverPoint CDP。,4,,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assess

20、ment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office / Branch Office,Assessment,將數(shù)據(jù)拆分為原子結(jié)構(gòu)（子文件、可變長度的數(shù)據(jù)

21、段）,一次僅發(fā)送和存儲一個原子結(jié)構(gòu),安全的數(shù)據(jù)保險存儲,…日常數(shù)據(jù)縮減率高達 300:1,工作機制,在源位置 — 在通過網(wǎng)絡傳輸數(shù)據(jù)之前消除重復在目標位置 — 確保隨著時間的推移跨站點、服務器完成協(xié)調(diào)的消除重復操作粒度 — 小型、可變長度的數(shù)據(jù)段可保證最有效地消除重復,全局重復數(shù)據(jù)消除,,,,只有具有 唯一性的數(shù)據(jù) 段得到備份,數(shù)據(jù)已備份， 所以只存儲一個具有唯一性 的 ID 指針（字節(jié)）,識別并備份新的數(shù)據(jù)段,全局重復數(shù)據(jù)消除

22、實例,Avamar 的工作機制：應用示例,,先進的架構(gòu),獨立節(jié)點冗余架構(gòu)(RAIN) 提供服務器節(jié)點的冗余和容錯在線擴展專利方案 Avamar 服務器節(jié)點(2U)—內(nèi)置存儲和CPU采用網(wǎng)格計算架構(gòu)，方便在線擴展和性能升級支持SAN或者內(nèi)置存儲每日完整性檢查對磁盤進行RAID保護,Avamar Server,部署示例,受支持的客戶端平臺和應用程序,實際的用戶測試結(jié)果,Source: EMC,從開始制止數(shù)據(jù)雪崩: 在數(shù)據(jù)源進

23、行工作,讓您的備份實現(xiàn)更多價值,當前的備份充其量只是一種“數(shù)據(jù)保險”無法利用通常存儲在磁帶上的“二進制大對象”數(shù)據(jù)Avamar 讓您的備份數(shù)據(jù)可以提供商業(yè)價值聚合起來的備份可以建立索引、編目，并可供搜索文件系統(tǒng)接口 — 與數(shù)據(jù)管理工具集成以便執(zhí)行分類和報告基于策略的保留期管理自動歸檔到 EMC Centera,17,NetWorker 目標,通過 NetWorker 實現(xiàn)重復數(shù)據(jù)消除,具有集成的 Avamar 功能的單個 N

24、etWorker 客戶端 在單個解決方案中實現(xiàn)文件系統(tǒng)重復數(shù)據(jù)消除和備份 在現(xiàn)有 NetWorker 環(huán)境中方便地部署Avamar Data Store 預配置了 Avamar 軟件支持推送客戶端，這意味著不需要手動主機部署通過 NetWorker Management Console 集中管理： 備份和恢復任務客戶端配置時間安排和策略監(jiān)控和報告 索引和瀏覽,Avamar 單節(jié)點、多節(jié)點 Data Store 或

25、 Virtual Edition for VMware,存儲節(jié)點,磁盤、VTL 和磁帶,NetWorker 客戶端,,NetWorker 與 Avamar 集成,新增,,,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics an

26、d Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office / Branch Office,Assessmen

27、t,,,,,EMC 磁盤庫系列,DL210 單個 DL 引擎4 個 2 Gb/s 光纖通道端口2 個千兆以太網(wǎng)端口最多 72 個驅(qū)動器高達 24 TB（可用容量）高達 72 TB（壓縮后容量）高達 1.368 TB/小時,DL4106/DL4206/ DL44061 至 2 個 DL 引擎8–16 個 4 Gb/s 光纖通道端口6–12 個千兆以太網(wǎng)端口最多 930 個驅(qū)動器高達 674 TB（可用容量）

28、高達 1.8 PB（壓縮后容量）高達 7.92 TB/小時RAID 6,DL6100/DL6300 2 至 4 個 DL 引擎16–32 個 4 Gb/s 光纖通道端口12–24 個千兆以太網(wǎng)端口最多 2,400 個驅(qū)動器高達 615 TB（可用容量）高達 1.845 PB（經(jīng)壓縮）高達 10.8 TB/小時,改進備份和恢復的最簡單方法,,,可擴展性,服務級別,新增,DL4100/DL4200/ DL44001 至

29、 2 個 DL 引擎8–16 個 4 Gb/s 光纖通道端口6–12 個千兆以太網(wǎng)端口最多 930 個驅(qū)動器高達 340 TB（可用容量）高達 660 TB（經(jīng)壓縮）高達 7.92 TB/小時RAID 5,硬件壓縮功能,不以性能為代價降低每 GB 的成本更高的系統(tǒng)密度和容量嵌入式技術(shù) — 無需管理故障時能夠切換到軟件壓縮自動資源調(diào)配根據(jù)應用程序類型優(yōu)化性能的能力,20,14,管理控制臺,安裝向?qū)Ш唵蝿?chuàng)建

30、虛擬磁帶組管理最多可以組合 8 個系統(tǒng) 自動警報和報告功能“Attention required”（注意事項）選項卡磁帶模擬最多 1,024 個磁帶庫最多 4,096 個磁帶驅(qū)動器最多 256,000 盤盒式磁帶命令行界面通過編寫腳本自動執(zhí)行功能EMC Backup Advisor 支持 增強的報告/監(jiān)視功能,20,整合介質(zhì)管理,備份應用程序功能也在集成的介質(zhì)服務器上運行加快了恢復速度減少了網(wǎng)絡通信量 提

31、高了備份服務器性能具有靈活的克隆功能提供管理虛擬磁帶池和物理磁帶池的單點控制,*需要 NetWorker 7.3 版和 Symantec Veritas NetBackup 5.1 版,主服務器是主控制服務器，負責向“存儲節(jié)點”分發(fā)命令；它包含主目錄數(shù)據(jù)庫 介質(zhì)服務器是從屬于“主服務器”的模塊，負責執(zhí)行“主服務器”發(fā)出的命令,EMC NetWorker 和 Symantec Veritas NetBackup*,其他 VTL 產(chǎn)

32、品需要多個不同的控制點,16,,主動引擎故障切換,雙引擎共享心跳信號在兩個引擎之間自動進行故障切換與應用程序和操作系統(tǒng)的故障切換策略同步EMC Connect 在出現(xiàn)故障時呼叫總部自動回切功能,雙引擎,備份服務器,EMC 磁盤庫DL4200,,,,,,,,SAN,17,按需分配容量,能夠在數(shù)據(jù)寫入而非創(chuàng)建時將磁盤存儲容量分配給虛擬磁帶 磁盤庫存儲不被空的虛擬磁帶所占用虛擬磁帶被實際數(shù)據(jù)增量所占用 (5 GB)虛擬磁帶

33、數(shù)據(jù)量與使用的存儲量相符,提高 EMC 磁盤庫的存儲利用率不為空磁帶分配空間從而降低成本,,,,,寫入時使用存儲量,,18,,EMC磁盤庫,虛擬磁帶數(shù)據(jù)粉碎功能,基于標準的、安全擦除虛擬磁帶數(shù)據(jù)的方法符合美國國防部 (DoD) 的 5220.22-M 標準 經(jīng)過向磁帶三次寫入各不相同的位組模式可對虛擬磁帶進行數(shù)據(jù)消除 要消除的數(shù)據(jù)分為“秘密”、“機密”和“高度機密”,,19,遠程復制,通過 IP 網(wǎng)絡將數(shù)據(jù)復制到遠程 EMC

34、 磁盤庫 提供快速的本地和遠程恢復 本地操作恢復遠程災難恢復可滿足保險存儲要求消除運送磁帶的成本和風險支持加密和壓縮,高級恢復功能,加快本地和遠程恢復,DL4100,遠程 磁盤庫,,支持增量復制,應用程序/備份主機,IP,DL4100,SAN,20,遠程備份/恢復,可以通過 IP 網(wǎng)絡備份到遠程 EMC 磁盤庫提供遠程恢復功能可滿足保險存儲要求消除運送磁帶的成本和風險需要高性能傳輸設備光纖通道/IP 設備,高級

35、恢復功能,,Edge3000,Edge3000,,,備份服務器,,,應用程序/備份主機,,遠程 磁盤庫,IP,SAN,SAN,業(yè)界最廣泛的環(huán)境支持,磁帶庫ADIC Scalar24 和 100、i500、i2000 系列Sony PetaSiteATL P 系列、ATL 7100STK L 系列、SL500、STK 97xx、ACSLSIBM 3590、3584、3583Overland NEO2000、NEO41

36、00Quantum M1500、M1800磁帶驅(qū)動器DLT、SuperDLT、AIT、SAITLTO、LTO2、LTO3、IBM 3590、IBM 3592Sun StorageTek 9840、9940備份應用程序EMC NetWorker、EMC Data ManagerSymantec Veritas NetBackup 和 BackupExecIBM Tivoli Storage ManagerBRMS、OS

37、/400 NativeCommVault Galaxy CA ARCserve、BrightStor Enterprise Backup其他供應商：SyncSort、BakBone、Atempo、HP…,21,提供超過三百萬種受支持的配置,,EMC NetWorkerBackup and Recovery,Centera Content Addressed Storage,EMC Disk LibraryVirtua

38、l Tape,Backup Advisor Diagnostics and Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Email Archiving,DiskXtender Intelligent File Archiving,AvamarR

39、emote Office / Branch Office,Assessment,,DiskXtender工作原理,1. 管理員根據(jù)以下屬性制定數(shù)據(jù)遷移策略：文件名稱、文件大小、文件屬性、最近訪問時間、最近修改時間和磁盤水線（Watermark）等,2. DX掃描一級存儲設備，找出符合遷移條件的文件,DiskXtender Software,,,CAS,ATA,Tape,Optical,,,,3.按遷移策略將數(shù)據(jù)遷移到二級存儲設備,NAS

40、/SAN/DAS,,4. 被遷移文件對用戶是透明的，可以按照應用需求回遷至一級存儲,,,,,,,,NetworkFTP / NFS,Tape / Optical Drives and Robot,Disk,,Data Flow,,,,,,,DiskXtender Storage ManagerServer,DiskXtender File System Manager Server,Swap: memory disk HS

41、M: disk tape / optical,標準DiskXtender UNIX / Linux 配置,,提取,始終可供使用,,,,DiskXtender 提高了備份和恢復性能,將非活動、最終形式的數(shù)據(jù)提取到動態(tài)存檔 提高備份/恢復性能增強生產(chǎn)應用程序的性能回收主存儲上的容量減小備份環(huán)境大?。ㄈ?磁帶、保險存儲庫）,之前 完整備份，10 TB,活動歸檔,非活動數(shù)據(jù),之后 備份 4 TB，僅活動數(shù)據(jù),主存儲,10 T

42、B,,4 TB,6 TB,生產(chǎn),輔助存儲,,,活動數(shù)據(jù),,,回收存儲,DiskXtender 是與 EMC Centera 配合使用的首要文件歸檔應用程序DiskXtender 與 EMC Centera 配合：內(nèi)容真實性遵從管理法規(guī)要求僅存儲內(nèi)容的一個拷貝 — 單實例存儲 可擴展到數(shù) PB 的巨大存儲容量并容納數(shù)十億個內(nèi)容項 自我管理實現(xiàn)了最低的總體擁有成本 復制型配置不需要備份,EMC Centera,DiskXte

43、nder 與 EMC Centera 配合,簡單,可擴展,安全,,EMC Centera 產(chǎn)品介紹與功能：EMC Centera 的工作機制：應用示例,,數(shù)據(jù)庫存儲內(nèi)容尋址以備將來參考,,,Centera 執(zhí)行內(nèi)容尋址計算并將地址發(fā)送回應用程序,應用程序服務器通過 IP 網(wǎng)絡將對象發(fā)送到 Centera,創(chuàng)建一個對象并將其發(fā)送到應用程序服務器,局域網(wǎng),,,CA,CA,,EMC NetWorkerBackup and Recove

44、ry,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Em

45、ail Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office / Branch Office,新的 EMC Backup Advisor 功能,幫助備份管理員了解：已發(fā)生的問題及其原因當前正在發(fā)生的問題及其原因?qū)⒁l(fā)生的問題及其原因,10,10,讓您全面了解備份環(huán)境,不使用 Backup Advisor 管理備份操作,Oracle 日志,網(wǎng)絡

46、工具,磁帶診斷,Exchange 工具,備份報告,Backup Advisor 基本功能,報表,監(jiān)測,故障分析,容量預測,性能管理,支持復雜環(huán)境,整合多種管理能力為跨平臺，多點任務提供簡化便利的分析采集多種系統(tǒng)的數(shù)據(jù)EMC NetWorkerIBM Tivoli Storage Manager (TSM)VERITAS NetBackupVERITAS BackupExecHP DataProtector與NetWork

47、er增強的緊密連接,Backup Advisor V3.0,添加了備份應用程序和主機平臺支持 針對 NetWorker V7.4 的增強的支持針對 NetWorker 轉(zhuǎn)儲和克隆活動的警報和報告 報告所有恢復以幫助衡量服務級別 幫助進行負載平衡以提高備份性能的報告新的用于進行趨勢分析和預測的 EMC 磁盤庫利用率衡量指標報告 本地化 日語、中文、韓語和法語其他功能更快的報告功能改進的安全性、身份驗證和審核,備份應用程

48、序CommVault GalaxyComputer Associates ARCserveSymantec Veritas NetBackup PureDiskNetwork Appliance NearStore VTLEMC Avamar V3.7.1主機平臺Windows Vista 64 位 Linux,備份報告、警報、監(jiān)控和分析工具,新增,,EMC NetWorkerBackup and Recovery

49、,Centera Content Addressed Storage,EMC Disk LibraryVirtual Tape,Backup Advisor Diagnostics and Recommendations,Assessment ServicesFor Backup and Recovery,Archiving,Backup/Recovery,EmailXtender Intelligent Emai

50、l Archiving,DiskXtender Intelligent File Archiving,AvamarRemote Office / Branch Office,Assessment,備份系統(tǒng)咨詢及管理咨詢服務的過程,利用EBA工具分析 分析訪談數(shù)據(jù)明確的備份恢復目標詳細定義并文檔化的備份保護數(shù)據(jù)對象及備份策略合適的備份技術(shù)架構(gòu)并選擇適合各業(yè)務備份恢復目標的備份方式,評估服務啟動 確定項目范圍(SOW)