一種準實時數(shù)據(jù)處理云視頻QoE分析平臺.pdf

1、隨著日新月異的技術發(fā)展，視頻服務業(yè)也涌現(xiàn)出了一批優(yōu)秀的服務提供商。為了給視頻服務提供商提供參考，研究者的研究方向也逐漸從服務質量（QoS）轉到用戶參與度（用戶體驗的一種QoE）。另一方面，隨著社會節(jié)奏的加快數(shù)據(jù)時效性也越來越重要，而視頻數(shù)據(jù)量的增大也給數(shù)據(jù)處理能力帶來了更大的挑戰(zhàn)。傳統(tǒng)數(shù)據(jù)分析方案效性差、準確性低且不易擴展和移植。因此，構建一種具有大規(guī)模實時數(shù)據(jù)分析處理能力的QoE分析方案勢在必行。本文重點闡述了算法選擇與改進、數(shù)據(jù)處理

2、平臺的部署與改進、實時數(shù)據(jù)處理方式三方面改進工作，具體內容如下：
　?。?）本文提出了改進的均值歸一化AMKNN算法
　　為了證明匹配算法的適用范圍，本文參照數(shù)據(jù)分析一般規(guī)則，在不同數(shù)據(jù)集下比較了多種算法，最終選取了改進的均值歸一化MKNN算法用于實時數(shù)據(jù)匹配。為了進一步提高匹配實時性，本文結合K-means聚類提出了改進的均值歸一化AMKNN算法，它具有準確性高、處理速度快、適用范圍廣三方面特點。具體工作可以總結為以下兩部

3、分：第一，本文改進了模擬實時匹配階段數(shù)據(jù)集，提出了均值歸一化MKNN算法，這種算法不僅匹配錯誤率降低了70％，而且同時適用于在線和離線匹配。第二，本文結合K-means聚類，引入交叉聚類的概念并提出了均值歸一化AMKNN算法，該算法以1%的誤差為代價減少40%的計算復雜度。
　?。?）本文基于Lambda架構在DCOS上部署了改進的LKS系統(tǒng)
　　為了改進傳統(tǒng)數(shù)據(jù)分析處理平臺，本文引入并改進了LKS（Logstash+Kaf

4、ka+Spark）數(shù)據(jù)處理方案并在自主搭建的DCOS上構建數(shù)據(jù)處理平臺。LKS可以大大增強平臺的數(shù)據(jù)處理能力，DCOS又為平臺帶來了資源利用率高、可擴展可移植性好等特點。為了提高容錯性，本文還引入了Kafka緩存和WAL技術。實際使用結果表明，基于DCOS構建的改進LKS方案與基于傳統(tǒng)方式構建的ELK方案相比，無論在部署速度、可擴展、可移植性、吐出量、還是處理能力上都更勝一籌。
　　（3）本文引入雙層窗口數(shù)據(jù)預處理和被動定位