powercenter培訓(xùn)教材

1、Informatica PowerCenter 培訓(xùn),夏 凱2009-01,電話：13439473732MSN：xiakaicd@msn.com,,第一天,產(chǎn)品體系介紹產(chǎn)品安裝配置系統(tǒng)管理介紹開(kāi)發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試,INFA產(chǎn)品線,INFA支持情況,,,,,PowerCenter選件,豐富的ETL功能,Real-Time 實(shí)時(shí)功能 Partitioning 分區(qū)功能 High Availability 高可靠性

2、功能 Pushdown 功能 Enterprise Grid網(wǎng)格功能 Team-based Development 團(tuán)隊(duì)開(kāi)發(fā)功能 Metadata Exchange 元數(shù)據(jù)交換功能 Unstructured Data 非結(jié)構(gòu)化數(shù)據(jù)功能 Visio 模板Mapping生成器功能 Data Federation 數(shù)據(jù)聯(lián)邦功能 Data Profiling 數(shù)據(jù)質(zhì)量探查功能,異構(gòu)數(shù)據(jù)源，異構(gòu)目標(biāo) 實(shí)現(xiàn)多種緩慢變化維 全局

3、變量及參數(shù)，參數(shù)文件 局部變量，前后記錄比較 條件匯總 異構(gòu)數(shù)據(jù)源關(guān)聯(lián) 行/列轉(zhuǎn)換 靜態(tài)、動(dòng)態(tài)Lookup支持 ETL事務(wù)處理 自定義SQL Pre SQL和Post SQL 復(fù)用組件 復(fù)用Mapping 調(diào)用存儲(chǔ)過(guò)程 調(diào)用外部用戶自定義過(guò)程 可視化Debug 強(qiáng)大函數(shù)支持、豐富轉(zhuǎn)換語(yǔ)言,數(shù)據(jù)源為文件列表 Session Recovery 基于多目標(biāo)表約束裝載 錯(cuò)誤數(shù)量控制 FTP 源和FTP目標(biāo)

4、 ETL任務(wù)分區(qū) 增量匯總 測(cè)試裝載 Bulk Loading External Loader (Oracle、DB2.) 復(fù)用Workflow 功能豐富的Workflow控制 任務(wù)串行、并行控制 基于時(shí)間、事件和指示文件觸發(fā) 任務(wù) Workflow中調(diào)用OS外部命令 Workflow中調(diào)用Email 多ETL Server協(xié)同工作 ……,Informatica PowerCenter應(yīng)用架構(gòu),P

5、owerCenter Server和數(shù)據(jù)移動(dòng),PowerCenter Server、資料庫(kù)、源和目標(biāo)之間的處理路徑,PowerCenter產(chǎn)品組件,服務(wù)端組件客戶端組件,,第一天,產(chǎn)品體系介紹產(chǎn)品安裝配置系統(tǒng)管理介紹開(kāi)發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試,產(chǎn)品安裝與樣例安裝,產(chǎn)品安裝服務(wù)器安裝客戶端安裝詳見(jiàn)安裝手冊(cè)樣例安裝數(shù)據(jù)庫(kù)準(zhǔn)備RDBU （資料庫(kù)數(shù)據(jù)庫(kù)）SDBU （樣例源數(shù)據(jù)庫(kù)）TDBU （樣例目標(biāo)數(shù)據(jù)庫(kù)

6、）BDBU （樣例參考數(shù)據(jù)庫(kù)）樣例數(shù)據(jù)準(zhǔn)備樣例參考導(dǎo)入,,第一天,產(chǎn)品體系介紹產(chǎn)品安裝配置系統(tǒng)管理介紹開(kāi)發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試,系統(tǒng)管理,Informatica Server管理http://localhost:6001Domain ManagerNode ManagerRepository Service ManagerIntegration Service ManagerLicense Manager

7、資料庫(kù)內(nèi)容管理Repository ManagerFolder ManagerPrivilege Manager……,,第一天,產(chǎn)品體系介紹產(chǎn)品安裝配置系統(tǒng)管理介紹開(kāi)發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試,開(kāi)發(fā)六大步驟示意圖,,,,定義源定義目標(biāo)創(chuàng)建映射定義任務(wù)創(chuàng)建工作流工作流調(diào)度監(jiān)控,Designer: ①~③Workflow Manager: ④~⑤Workflow Monitor: ⑥,第一步：定義源,引入源

8、的類型 Relational database Flat file COBOL file XML object Application,源分析器,Informatica Service,,,,ODBC Mapped DriveNFS MountingLocal Directory,Save Meta Data of Sources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_…

9、…,第二步：定義目標(biāo),引入目標(biāo)的類型 Relational database Flat file COBOL file XML object Application,目標(biāo)分析器,Save Meta Data of Targets:OPB_TARGOPB_TARG_OPB_TARG_FLDOPB_TARG_FLD_……,第三步：創(chuàng)建映射,第四步：定義任務(wù),第五步：定義工作流,第六步：工作流調(diào)度監(jiān)控,,第一天,產(chǎn)品體系

10、介紹產(chǎn)品安裝配置系統(tǒng)管理介紹開(kāi)發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試,數(shù)據(jù)轉(zhuǎn)換調(diào)試,組件介紹Expression組件Filter與RouterJoiner與LookupAggregator組件Update Strategy組件,,第二天,組件列表,Source Qualifier: 從數(shù)據(jù)源讀取數(shù)據(jù)Expression: 行級(jí)轉(zhuǎn)換 Filter: 數(shù)據(jù)過(guò)濾Sorter: 數(shù)據(jù)排序 Aggregator: 聚合Joiner:

11、 異構(gòu)數(shù)據(jù)關(guān)接連接Lookup: 查詢連接 Update Strategy: 對(duì)目標(biāo)編輯 insert, update, delete, rejectRouter: 條件分發(fā)Sequence Generator: 序列號(hào)生成器,組件列表,Normalizer: 記錄規(guī)范化Rank: 對(duì)記錄進(jìn)行TOPxUnion: 數(shù)據(jù)合并Transaction Control: 對(duì)裝載數(shù)據(jù)按條件進(jìn)行事務(wù)控制Stored Proce

12、dure: 存儲(chǔ)過(guò)程組件 Custom: 用戶自定義組件HTTP: WWW組件Java: Java自編程組件,其它應(yīng)用組件,組件類型,Passive組件流入流出組件的行數(shù)不發(fā)生變化例如：Expression、Lookup、HTTP組件Active組件流入流出組件的行數(shù)會(huì)發(fā)生變化例如：Aggregator、Router、Filter組件,×,P,A,√,函數(shù)分類,聚合函數(shù)字符串函數(shù)轉(zhuǎn)換函數(shù)數(shù)據(jù)清洗函數(shù)日期

13、函數(shù)編碼函數(shù)財(cái)務(wù)函數(shù)數(shù)值函數(shù)數(shù)學(xué)函數(shù)特有函數(shù)判斷函數(shù)用戶自定義函數(shù),函數(shù)列表,組件介紹Expression組件Source Qualifier、 Filter與RouterJoiner與LookupAggregator組件Update Strategy組件,,第二天,Expression組件,組件功能基于行級(jí)的數(shù)據(jù)項(xiàng)賦值、修改、計(jì)算在同行記錄中可新增、減少數(shù)據(jù)項(xiàng)組件類型Passive組件應(yīng)用范圍數(shù)據(jù)類

14、型轉(zhuǎn)換，例如Expression：to_date(Port1,’yyyymmdd’)數(shù)據(jù)項(xiàng)計(jì)算，例如Expression：(Port1+Port2)/Port3新增變量，例如Expression： i=i+1,Expression組件,練習(xí)一：Expression組件,描述將原始客戶信息記錄轉(zhuǎn)換成合格標(biāo)準(zhǔn)的數(shù)據(jù)導(dǎo)入到暫存區(qū)。 源表：customer_east.txtcustomer_west.txtcustomer_cen

15、tral.txt目標(biāo)：TDBU.STG_CUSTOMERS要點(diǎn)姓與名合并為姓名；電話號(hào)碼轉(zhuǎn)換成易讀格式的電話號(hào)碼，如：(466)766-283；性別轉(zhuǎn)換，將F 轉(zhuǎn)換成FEMALE、M 轉(zhuǎn)換成MALE、其它轉(zhuǎn)換成UNK；年齡分段，20 歲以下、20~29、30~39、40~49、50~60、60 歲以上；解決方案詳見(jiàn)m_LAB_01,組件介紹Expression組件Source Qualifier、Filter與Ro

16、uterJoiner與LookupAggregator組件Update Strategy組件,,第二天,Source Qualifier、Filter組件,組件功能對(duì)流入組件中的記錄數(shù)據(jù)進(jìn)行過(guò)濾類似于關(guān)系型數(shù)據(jù)庫(kù)Where應(yīng)用與Source Qualifier的過(guò)濾功能區(qū)別在執(zhí)行位置上組件類型Active組件應(yīng)用范圍數(shù)據(jù)過(guò)濾,Source Qualifier、Filter組件,注意：在Source Qualifie

17、r中的User Defined Join、Source Filter、Number of Sorted Ports中定義了SQL條件，那么，在Sql Query中就不要在重寫相關(guān)的SQL條件，否則，將不會(huì)生效。,Router組件,組件功能對(duì)流入組件中的記錄數(shù)據(jù)按照條件進(jìn)行分發(fā)類似于Java語(yǔ)言中的Switch語(yǔ)句組件類型Active組件應(yīng)用范圍數(shù)據(jù)分發(fā),Router組件,練習(xí)二,描述將暫存區(qū)的客戶信息按照性別分別導(dǎo)入

18、到男、女、性別不明三張表內(nèi)。 源表：TDBU.STG_CUSTOMERS目標(biāo)：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要點(diǎn)償試用Filter組件多種方法對(duì)目標(biāo)進(jìn)行裝載解決方案詳見(jiàn)m_LAB_02,練習(xí)三,描述將暫存區(qū)的客戶信息按照性別分別導(dǎo)入到男、女、性別不明三張表內(nèi)。源表：TDBU.STG_CUSTOMERS

19、目標(biāo)：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要點(diǎn)使用Router組件對(duì)數(shù)據(jù)進(jìn)行分發(fā)比較Filter與Router各種方法的應(yīng)用特點(diǎn)、性能解決方案詳見(jiàn)m_LAB_03,組件介紹Expression組件Source Qualifier、 Filter與RouterJoiner與LookupAggregator組件U

20、pdate Strategy組件,,第二天,Joiner組件,組件功能對(duì)異構(gòu)數(shù)據(jù)進(jìn)行關(guān)聯(lián)（同構(gòu)關(guān)聯(lián)用Source Qualify組件）類似于SQL 中的Join語(yǔ)句組件類型Active組件應(yīng)用范圍2個(gè)異構(gòu)數(shù)據(jù)類型的表關(guān)聯(lián),同構(gòu)Joins與異構(gòu)Joins,,,同構(gòu)Joins,同種結(jié)構(gòu)數(shù)據(jù)Source Qualify組件從源直接Joinsn個(gè)源可用1個(gè)SQ組件在源中先定義連接關(guān)系,,,異構(gòu)Joins,不同DB或Flat與

21、Flat之間Joiner組件在PowerCenter中Joinsn-1個(gè)Joiner組件在Joiner中定義連接條件,Joiner組件,Join類型,練習(xí)四,描述將員工信息與員工工資2個(gè)異構(gòu)表關(guān)聯(lián)后，將關(guān)聯(lián)結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_centra

22、l.txt Salary.txt 目標(biāo)：TDBU.STG_EMPLOYEES要點(diǎn)用Joiner組件進(jìn)行Mapping設(shè)計(jì)注意Master與Detail的設(shè)置選擇(關(guān)聯(lián)時(shí)建議將數(shù)據(jù)量少的設(shè)置為Master.)解決方案詳見(jiàn)m_LAB_04,練習(xí)五,描述將員工信息與員工工資2個(gè)同構(gòu)表關(guān)聯(lián)后，將關(guān)聯(lián)結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：SDBU.EMPLOYEESSDBU.SALARY目標(biāo)：TDBU.STG_ EMPLOYEE

23、S要點(diǎn)用Source Qualify組件進(jìn)行Mapping設(shè)計(jì)注意關(guān)聯(lián)關(guān)系設(shè)置建議N個(gè)同構(gòu)數(shù)據(jù)源只需用1個(gè)Source Qualifier組件關(guān)聯(lián)，關(guān)聯(lián)時(shí)建議將在Source設(shè)計(jì)區(qū)將需要關(guān)聯(lián)的源表手工用連線關(guān)聯(lián)起來(lái)，在Mapping設(shè)計(jì)區(qū)刪除各個(gè)源所帶的Source Qualifier組件，用一個(gè)新的Source Qualifier組件包含所有源的字段內(nèi)容。解決方案詳見(jiàn)m_LAB_05,Lookup組件,組件功能對(duì)Fla

24、t File或數(shù)據(jù)庫(kù)根據(jù)關(guān)聯(lián)的條件進(jìn)行查詢返回符合條件的值，否則為空連接關(guān)聯(lián)與非連接關(guān)聯(lián)類似于SQL 中的Join語(yǔ)句組件類型Passive組件應(yīng)用范圍查詢文本文件的關(guān)聯(lián)數(shù)據(jù)查詢數(shù)據(jù)庫(kù)的關(guān)聯(lián)數(shù)據(jù),連接Lookup與非連接Lookup,Lookup源,Lookup組件,,,查詢條件：ITEM_ID = IN_ITEM_ID PRICE <= IN_PRICE,,,流入值,查詢輸出值,流入值,查詢到的值,Look

25、up組件,組件,,,查詢條件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_no),customer_id),,,是否查詢 Y,返回查詢到的值,,,Lookup組件,練習(xí)六,描述將員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認(rèn)為0，最后將結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_ea

26、st.txtEmployees_west.txtEmployees_central.txtSalary.txt目標(biāo)：TDBU.STG_EMPLOYEES要點(diǎn)用連接Lookup組件進(jìn)行Mapping設(shè)計(jì)注意Salary（Flat File）的設(shè)置解決方案詳見(jiàn)m_LAB_06,練習(xí)七,描述將合格的員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默認(rèn)為0，最后將結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_

27、layout結(jié)構(gòu)Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目標(biāo)：TDBU.STG_EMPLOYEES要點(diǎn)用非連接Lookup組件進(jìn)行Mapping設(shè)計(jì)注意Salary（Flat File）的設(shè)置注意數(shù)據(jù)查詢的條件解決方案詳見(jiàn)m_LAB_07,組件介紹Expression組件

28、Source Qualifier、 Filter與RouterJoiner與LookupAggregator組件Update Strategy組件,,第二天,Aggregator組件,組件功能對(duì)數(shù)據(jù)集進(jìn)行聚合聚合分有SUM、AVG、Count、Max、Min……組件類型Active組件應(yīng)用范圍分組匯總平均值、最大值,Aggregator組件,Aggregator組件函數(shù),注意區(qū)別：SUM ( IN_count ,

29、IIF ( ID < 20, IN_count) )－－將不符合條件的值默認(rèn)賦值為nullIIF ( ID < 20 , SUM ( IN_count ) )－－將不符合條件的值默認(rèn)賦值為0,Aggregator組件屬性,Aggregator組件排序的區(qū)別,不對(duì)流入到Aggregator組件的數(shù)據(jù)進(jìn)行排序,練習(xí)八,描述將采購(gòu)清單按照數(shù)據(jù)倉(cāng)庫(kù)星型設(shè)計(jì)原則進(jìn)行標(biāo)準(zhǔn)化存儲(chǔ)，對(duì)貨物庫(kù)存量、訂單量和貨物費(fèi)用按照采購(gòu)編號(hào)、貨物品名、

30、代理商、訂單日期、接收日期和發(fā)貨日期進(jìn)行匯總。源表：TDBU.STG_INVENTORY目標(biāo)：TDBU.FACT_INVENTORYLOOKUP表：產(chǎn)品維表為DIM_PRODUCT日期維表為DIM_DATE 要點(diǎn)訂單文本文件與產(chǎn)品表的關(guān)聯(lián)匯總前排序分組匯總解決方案詳見(jiàn)m_LAB_08,,第二天,組件介紹Expression組件Source Qualifier、 Filter與RouterJoiner與Lo

31、okupAggregator組件Update Strategy組件,Update Strategy組件,組件功能對(duì)流過(guò)組件的每一條記錄賦一個(gè)操作標(biāo)志根據(jù)操作標(biāo)志對(duì)目標(biāo)關(guān)系型數(shù)據(jù)庫(kù)表生成SQL操作操作標(biāo)志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT組件類型Active組件應(yīng)用范圍數(shù)據(jù)增量更新對(duì)目標(biāo)編輯,Update Strategy組件,練習(xí)九,描述將暫存區(qū)的發(fā)生變更了的員工信息倒

32、入到員工維表中。 源表：TDBU.STG_EMPLOYEES 目標(biāo)：TDBU.DIM_EMPLOYEES要點(diǎn)使用Router組件對(duì)數(shù)據(jù)按不同要求進(jìn)行編輯操作償試用一個(gè)Update Strategy組件完成上述功能解決方案詳見(jiàn)m_LAB_09,,第三天,增量抽取實(shí)例參數(shù)文件控制斷點(diǎn)續(xù)傳實(shí)例存儲(chǔ)過(guò)程實(shí)例行列轉(zhuǎn)換實(shí)例系統(tǒng)性能調(diào)優(yōu),增量抽取實(shí)例,實(shí)例描述對(duì)流過(guò)組件的每一條記錄賦一個(gè)操作標(biāo)志根據(jù)操作標(biāo)志對(duì)目標(biāo)關(guān)系型

33、數(shù)據(jù)庫(kù)表生成SQL操作操作標(biāo)志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT解決方案全表比較方法時(shí)間戳方法詳見(jiàn)m_LAB_10字段壓縮比較PowerExchange,,第三天,增量抽取實(shí)例參數(shù)文件控制斷點(diǎn)續(xù)傳實(shí)例存儲(chǔ)過(guò)程實(shí)例行列轉(zhuǎn)換實(shí)例系統(tǒng)性能調(diào)優(yōu),參數(shù)與變量存在的三種形式,系統(tǒng)級(jí)變量SYSDATE系統(tǒng)日期SESSSTARTTIMESESSION啟動(dòng)時(shí)間$$$Sess

34、StartTime 返回Session啟動(dòng)時(shí)間的字符串值Mapping級(jí)參數(shù)與變量SETMAXVARIABLE($$Variable,value)設(shè)置最大值變量SETMINVARIABLE($$Variable,value)設(shè)置最小值變量SETVARIABLE($$Variable,value)設(shè)置變量值SETCOUNTVARIABLE($$Variable)設(shè)置遞增、減變量文件級(jí)參數(shù)與變量固定格式,Mappi

35、ng參數(shù)與變量形式,從Designer 中的Mappings/Mapplets 菜單中進(jìn)行定義在相應(yīng)的Mapping或Mapplet中進(jìn)行引用即可,參數(shù)文件形式,,全局變量,,域級(jí)服務(wù)變量,,節(jié)點(diǎn)級(jí)服務(wù)處理變量,,Workflow級(jí)變量 優(yōu)先于前幾級(jí)定義的變量,參數(shù)文件設(shè)置,Workflow參數(shù)文件設(shè)置,,參數(shù)文件的級(jí)別規(guī)則,,GLOBAL,SERVICE,SERVICE PROCESS,WORKFLOW,SESSION,,使用范圍

36、,,執(zhí)行優(yōu)先權(quán),高,低,低,高,Mapping與Workflow/Worklet之間進(jìn)行變量傳遞,使用不同參數(shù)文件并行運(yùn)行同一個(gè)Workflow,參數(shù)文件實(shí)例,實(shí)例描述對(duì)源文本文件名進(jìn)行參數(shù)化對(duì)源表名進(jìn)行參數(shù)化對(duì)目標(biāo)輸出文本文件名進(jìn)行參數(shù)化對(duì)源與目標(biāo)的數(shù)據(jù)庫(kù)連接進(jìn)行參數(shù)化對(duì)日志文件及路徑進(jìn)行參數(shù)化解決方案詳見(jiàn)m_LAB_11注意事項(xiàng)注意變量的命名規(guī)則：特別是固定的前綴,,第三天,增量抽取實(shí)例參數(shù)文件控制斷點(diǎn)續(xù)傳實(shí)例

37、存儲(chǔ)過(guò)程實(shí)例行列轉(zhuǎn)換實(shí)例系統(tǒng)性能調(diào)優(yōu),斷點(diǎn)續(xù)傳實(shí)例,實(shí)例描述當(dāng)在數(shù)據(jù)抽取時(shí)，因意外致使數(shù)據(jù)抽取發(fā)生中斷，重新啟動(dòng)服務(wù)時(shí)仍可從斷點(diǎn)執(zhí)行數(shù)據(jù)抽取解決方案通過(guò)表pm_recovery和PM_TGT_RUN_ID記載最近提交點(diǎn)的位置，當(dāng)session失敗(或停止)后可從斷點(diǎn)處接著裝載數(shù)據(jù)，在monitor中，recover task。在源表數(shù)據(jù)未發(fā)生變化的前提下詳見(jiàn)m_LAB_12監(jiān)控腳本select * from pm_r

38、ecovery ;select row_count from pm_recovery ;select * from PM_TGT_RUN_ID;select count(*) from SessionRecovery_Target ;truncate table SessionRecovery_Target ;,斷點(diǎn)續(xù)傳實(shí)例,,第三天,增量抽取實(shí)例參數(shù)文件控制斷點(diǎn)續(xù)傳實(shí)例存儲(chǔ)過(guò)程實(shí)例行列轉(zhuǎn)換實(shí)例系統(tǒng)性能調(diào)優(yōu),存儲(chǔ)過(guò)

39、程實(shí)例,實(shí)例描述將原始客戶信息記錄轉(zhuǎn)換成合格標(biāo)準(zhǔn)的數(shù)據(jù)倒入到暫存區(qū)，轉(zhuǎn)換處理在存儲(chǔ)過(guò)程中完成 源表：customer_east.txtcustomer_west.txtcustomer_central.txt目標(biāo)：TDBU.STG_CUSTOMERS解決方案見(jiàn)存儲(chǔ)過(guò)程EMP_INFA_TRANSFORM詳見(jiàn)m_LAB_13,,第三天,增量抽取實(shí)例參數(shù)文件控制斷點(diǎn)續(xù)傳實(shí)例存儲(chǔ)過(guò)程實(shí)例行列轉(zhuǎn)換實(shí)例系統(tǒng)性能調(diào)優(yōu),

40、列行轉(zhuǎn)換實(shí)例,實(shí)例描述源數(shù)據(jù)一條記錄有多個(gè)字段格式一樣，經(jīng)過(guò)格式化，到目標(biāo)生成多條記錄，并且只保留一個(gè)該格式字段。解決方案使用Normalizer組件，實(shí)現(xiàn)列/行轉(zhuǎn)變?cè)斠?jiàn)m_LAB_14_1行列轉(zhuǎn)轉(zhuǎn)用Aggregator組件實(shí)現(xiàn)，詳見(jiàn)m_LAB_14_2,,第三天,增量抽取實(shí)例參數(shù)文件控制斷點(diǎn)續(xù)傳實(shí)例存儲(chǔ)過(guò)程實(shí)例行列轉(zhuǎn)換實(shí)例系統(tǒng)性能調(diào)優(yōu),瓶頸類型,Source瓶頸Target瓶頸Mapping瓶頸Sessio

41、n瓶頸System瓶頸,Source調(diào)優(yōu),源為文本文件調(diào)優(yōu)Line Sequential Buffer Length(1024) 源為關(guān)系型數(shù)據(jù)庫(kù)在Source Qualify優(yōu)化SQL在源數(shù)據(jù)增加索引增加Database network Packet size當(dāng)DB跟Informatica在同一機(jī)器上，使用IPC協(xié)議,Target調(diào)優(yōu),目標(biāo)為文本文件調(diào)優(yōu)Line Sequential Buffer Length(102

42、4) 目標(biāo)為關(guān)系型數(shù)據(jù)庫(kù)刪除目標(biāo)索引和約束增加checkpoint interval使用Bulk loading和External Loading增加Database network Packet sizeOracle調(diào)優(yōu)數(shù)據(jù)庫(kù)：Large intial and next value (storage clause)Rollback segments最優(yōu)化redo log，見(jiàn)：init.ora當(dāng)Oracle跟Info

43、rmatica在同一機(jī)器上，使用IPC協(xié)議,Mapping調(diào)優(yōu),最少化轉(zhuǎn)換組件減少不必要的link對(duì)Aggregator, Joiner, Rank, Lookup 等組件，減少連接的input/output和output字段。Single Pass：讀一次數(shù)據(jù)，多處使用。減少數(shù)據(jù)類型轉(zhuǎn)換：數(shù)值的比較比字符串要快。減少轉(zhuǎn)換錯(cuò)誤：使用session tracing terse。組件調(diào)優(yōu)：lookup組件、Filter組件、Ag

44、gregator組件、Joiner組件、調(diào)優(yōu)Sequence Generator調(diào)優(yōu)表達(dá)式,Session調(diào)優(yōu),增加Partition調(diào)優(yōu)Session參數(shù)增加：DTM buffer pool size: 可以增加Buffer Block的數(shù)目。增加：buffer block size: 可以增加一次處理的數(shù)據(jù)的行數(shù)。增加：Commit IntervalEnable high precision ：double 15 to

45、decimal 28,System調(diào)優(yōu),增加network speed：本地速度一般是網(wǎng)絡(luò)的5-20倍；文件拷貝到本地。使用Informatica Grid當(dāng)只處理7-bit ASCII 或EBCDIC數(shù)據(jù)時(shí)，選用ASCII data movement mode：只使用一個(gè)字節(jié)存儲(chǔ)數(shù)據(jù)。減少Paging(虛擬內(nèi)存)：在UNIX系統(tǒng)下，使用processor binding將資源分配給Informatica,Thank you !,