視頻網站優(yōu)酷的技術架構揭秘

1、視頻網站優(yōu)酷的技術架構揭秘視頻網站優(yōu)酷的技術架構揭秘八月112011byEugeneLeaveaComment概述概述優(yōu)酷優(yōu)酷作為一家大型視頻網站，擁有海量播放流暢的視頻。我們秉承注重用戶體驗這一產品技術理念，將絕大部分存儲用在視頻資源上。通過建設專用的視頻CDN，建立了可自由擴展、性能優(yōu)異的架構，在提供更好用戶體驗的同時優(yōu)化了存儲資源。在除視頻資源外的其他方面，我們也累積了海量數據：僅運營數據，每天收集到的網站各類訪問日志總量已經達到

2、TB級，經分析及壓縮處理后留存下來的歷史運營數據已達數百TB，很快將會達到PB級，5年后數據量將會達到幾十PB級。如何更好地處理和分析這些海量數據，以挖掘出其中的價值？挖掘數據中的價值挖掘數據中的價值對企業(yè)來說，尤其是對于為用戶提供服務的行業(yè)，僅提供基礎服務已經越來越難應付日趨細化的商業(yè)模式。如何為用戶提供差異化的優(yōu)質服務成為這類企業(yè)必須解決的問題。而數據好比燈塔，能為企業(yè)指引前進的方向?；ヂ摼W、電信、金融等行業(yè)都在加大數據的探索及應用

3、力度，這為企業(yè)創(chuàng)造了可觀的經濟效益。對優(yōu)酷而言，通過用戶的每次播放流程，我們都對頁面瀏覽、評論收藏、視頻播放以及播放時的各種操作進行了記錄。經處理后的分析結果會反饋給不同的業(yè)務模塊，對包括產品、內容運營、用戶的個性化推薦及廣告投放等方面的提升，都起到了關鍵作用。網站頁面、客戶端的UIUE的設計及效果，都需要數據進行支持。通過AB測試系統(tǒng)，我們收集到用戶對不同UI下的操作反饋，進而評估UI的改變對用戶的影響。內容方面，通過對用戶網絡情況的

4、統(tǒng)計：每次播放是否發(fā)生了緩沖，平均下載速度是多少等，進行實時的統(tǒng)計和計算，獲取每個地區(qū)每個運營商下用戶的加載表現，以此來決定CDN節(jié)點的分布和分配策略，為不同地區(qū)、不同運營商的用戶提供清晰流暢的視頻服務。在推薦方面，通過對大量視頻播放行為的分析，歸納不同時長、不同類型、不同內容的視頻之間的相互關聯，挖掘不同人群用戶的同質化觀看習慣，對每次用戶的觀看進行有針對性的后續(xù)推薦，并借助后續(xù)數據的分析，迭代地改善現有服務，為用戶提供量身定制的推送

5、服務。層出不窮的NoSQL技術，無疑是現在極其熱門的領域，依托高可用性、高水平擴展性、高效存取及支持MapReduce等特性使其在應對Web2.0網站時比關系型數據庫更加得心應手。目前優(yōu)酷大量數據依然存儲在MySQL等平臺上，這是考慮到關系型數據庫大都經歷了長時間的實踐檢驗，比較成熟，遵循相同標準，能獲得較好的支持。而且，主流關系型數據庫也都積極嘗試從海量數據等方面改進產品。此外，NoSQL分KeyValue、document、colu

6、mn、圖等多種類型，特性各不相同，這種總稱屏蔽了彼此之間的差異；而且各NoSQL產品還在不斷變化，甚至API也有所更改，這在技術掌握上及維護上成本較高，畢竟找一個懂MySQL及SQL的開發(fā)工程師比找一個MongoDB專家要容易得多。盡管如此，仍阻擋不住我們對NoSQL產品進行嘗試的熱情：一方面對不同業(yè)務應用適合的產品，另一方面對同類產品也在做評估對比。目前優(yōu)酷的在線評論業(yè)務已部分遷移到MongoDB，運營數據分析及挖掘處理我們在使用Ha

7、doopHBase；在KeyValue產品方面，我們也在尋找更優(yōu)的Memcache替代品，如Redis，相對于Memcache，除了對Value的存儲支持三種不同的數據結構外，同一個Key的Value進行部分更新也會更適合一些對Value頻繁修改的在線業(yè)務；同時我們在搜索產品中應用了TokyoTyrant；對于Cassra等產品我們也進行過研究?？梢哉f，我們會一直持續(xù)關注NoSQL技術，未來可能會根據需要選擇合適的產品應用到實際業(yè)務中。

8、目前NoSQL技術依然處于發(fā)展階段，只有少數蘊涵優(yōu)秀的技術，并最終幸免淘汰，與其他數據解決方案一起生存下來，未來也許會有新的NoSQL產品出現。開發(fā)人員，尤其是各大公司的技術團隊在使用NoSQL項目的同時，根據使用經驗，會對一些針對特定使用場景的特性及服務加以抽象并實現，形成類似于基于Hadoop平臺的Pig這類衍生項目。在這方面未來的發(fā)展?jié)摿κ蔷薮蟮模热缭贐I領域，目前的NoSQL產品與現有BI產品幾乎沒有交集。將來一些NoSQL產

9、品應該能夠通過現有主流BI產品直接訪問，或者提供自己的BI模塊。類似的功能也許會形成新的標準，顛覆現有開發(fā)模式。機遇大于挑戰(zhàn)機遇大于挑戰(zhàn)海量數據時代對企業(yè)的影響，并非直接來自數據，而在于社會的飛速進步及不斷涌現的商業(yè)模式。2007年，微軟CEO鮑爾默說，Google公司現在幾乎是每年翻一番。優(yōu)酷從起步，到刷新5年多來美國IPO最大漲幅紀錄，只用了短短4年時間。而隨著變革速度不斷加快，各企業(yè)掉隊落伍的可能性已明顯增大。從海量數據中挖掘潛在