復雜數據流分析關鍵技術研究.pdf

1、近些年，在傳感器網絡、互聯(lián)網監(jiān)控、金融交易等領域，出現了數據流分析的應用需求。然而，傳統(tǒng)的數據處理方式不能很好地解決這種數據流分析應用，針對這些應用的數據流分析技術在學術上和工業(yè)上都受到了高度關注。隨著復雜數據流分析的需求增加，研究復雜數據流分析的關鍵技術也越來越重要。在進行復雜數據流分析時，現有的解決方法通常是設計特定的復雜概要數據分析算法來解決。但對于越來越多的各種復雜數據流分析應用，每次都開發(fā)相應的分析算法來解決的方式顯然不能很好

2、地滿足需求，一種更好的方式是重復利用一些比較通用的分析算法，通過與其他算法的組合來完成復雜數據流分析。然而，在組合分析時一個分析算子的輸出數據如何很好地傳給后續(xù)分析算子的問題需要得到解決，也就是兩個算子之間的數據交換問題。
　　結合數據流分析要求的高效的時間空間性能，設計了較為高效和通用的數據交換方式。數據交換采用了基于模式匹配的星狀交換方式，該方式中需要解決中間數據模型，數據模式的描述，模式匹配過程和模式轉換描述幾個關鍵問題。結

3、合數據流分析中關系數據和復雜數據的不同特點，設計了中間數據的元數據模型；同時設計了基于XML標簽對該數據模型中的數據模式進行描述；給出了模式匹配的兩個要點：結構匹配與類型匹配，同時為了最佳匹配考慮了名稱匹配的問題；最后利用可根據數據模式預分配實際數據的特點，設計了簡單高效的模式轉換描述。
　　介紹了研究中實現的數據流實時分析平臺系統(tǒng)，同時介紹了其中數據交換的測試分析。對于復雜數據流分析中數據交換的設計能夠比較高效和通用地解決組合數