大數(shù)據(jù)技術及應用 ppt課件

1、大數(shù)據(jù)原理及技術,關于大數(shù)據(jù)？？？,你怎么看,最近幾年，關于物聯(lián)網(wǎng)，大數(shù)據(jù)，云計算，炒的沸沸揚揚。似乎隨便2個節(jié)點之間能夠?qū)崿F(xiàn)通信就能稱作物聯(lián)網(wǎng)；只要數(shù)據(jù)足夠大就稱之為大數(shù)據(jù)；只要有數(shù)據(jù)足夠大的計算就叫做云計算。,當時國外社交媒體對于大數(shù)據(jù)的熱度稱呼其為：Big Data is like teenage sex: Everyone talks about it, nobody really knows how to do it, eve

2、ryone thinks everyone else is doing it, so everyone claims they are doing it too。 這比喻恰到好處。似懂非懂，似是而非的感覺。,大數(shù)據(jù)是近兩年被反復吟唱的一首驪歌。自從1980年，著名未來學家阿爾文·托夫勒在《第三次浪潮》一書中將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂章”開始，IT界就不斷的為之傾倒。不過，“大數(shù)據(jù)”真的闖入凡人世界成為這個時代的

3、流行詞匯還是從2012年開始。從baidu指數(shù)當中可以清晰地看到，“大數(shù)據(jù)”在2012年6月之前還處在默默無聞階段，自此之后“大數(shù)據(jù)”指數(shù)一路飆升。,努力回憶下生活中的小場景吧!,此刻做PPT，稍微一轉(zhuǎn)眼，又看到了這些，這就不能算巧合吧！,1. 好友親密度、qq空間、淘寶推送的東西等等～涉及到數(shù)據(jù)與數(shù)據(jù)之間的相互關系，而并不是因果關系（往往習慣于因果思維邏輯去思考和理解問題）2.DT（分銷商），可以設想一下，當淘寶下單20分鐘就收到到

4、貨信息，該是一種什么樣的體驗。（其實你的信息，什么時候想要什么東西都已經(jīng)被商戶預測啦，已經(jīng)提前將商品運往目的地。甚至你路過的廣告屏，視頻網(wǎng)站，包括使用的APP都將引導你消費。）3.數(shù)據(jù)足夠大就稱呼其為大數(shù)據(jù)嗎？（其實不然，關鍵在于其中承載的信息。數(shù)據(jù)處理之后才可以稱之為信息或者叫做知識。其實大數(shù)據(jù)可以這樣理解，當數(shù)據(jù)增長速度超過了計算機處理能力的增長速度，這時就產(chǎn)生了「大數(shù)據(jù)」問題，好比馬車怎么也趕不上汽車，更別看汽車后備箱里面裝了什

5、么東西。當前流行的Hadoop等工具、MapReduce等方法有效地形成一套可以靈活擴展的解決方案，允許用空間（集群規(guī)模）換取時間（運算時間），通過良好地管理，集群的處理能力能夠跟得上數(shù)據(jù)的增長速度，由此允許人們處理更大的數(shù)據(jù)（趕上汽車），從中提取出小數(shù)據(jù)所無法獲得的信息與價值（發(fā)現(xiàn)汽車后備箱里面藏的東西）。）當然這里面設計很多技術，數(shù)據(jù)采樣、數(shù)據(jù)處理、并行計算、建模、機器學習，如何使用這些數(shù)學工具以及專業(yè)知識，便成為核心問題。,Som

6、e fantastic scenes,Some funny ideas,1.現(xiàn)在的數(shù)據(jù)挖掘、人工智能以及大數(shù)據(jù)的結合還只在一個較淺顯的層面，這方面還存在很大的突破瓶頸。大數(shù)據(jù)的應用應該體現(xiàn)在數(shù)據(jù)挖掘的深度上面。例如深圳的大疆無人機雖然占據(jù)全世界消費級無人機百分之70的市場份額，但是相比軍事無人機，與美國的許多無人機存在不小的差距。因為大疆的大多數(shù)產(chǎn)品還是依靠遙控控制，離真正的人工智能還是有一定的距離的。2.在baidu關鍵詞中對比了“

7、大數(shù)據(jù)”和“云計算”的近幾年趨勢，發(fā)現(xiàn)了一個有意思的曲線，2012年“云計算”熱度消退后，“大數(shù)據(jù)”走上了前臺，但卻再也沒有恢復到“云計算”的高度。這是不是表示“大數(shù)據(jù)”是“云計算”概念落空后的一餐冷飯呢？也許，誰知道呢。3.快速的處理數(shù)據(jù)盡快用于公司決策當最低限度的數(shù)據(jù)邊界找到后，保證數(shù)據(jù)的快速處理就是你的能力所在。盡你的最大可能快速與客戶、設備、平臺基于這些數(shù)據(jù)進行接受和反饋，將分析和決策工作與執(zhí)行行動實時對接。,4.小規(guī)模的數(shù)

8、據(jù)分析，會有很大噪音。1個人買了啤酒又買了尿不濕就說兩者有什么關聯(lián)，但是如果幾百萬個用戶都顯示了這樣的關聯(lián)，那就能說明一些問題了?？墒菙?shù)據(jù)量一旦上了規(guī)模，傳統(tǒng)的系統(tǒng)就沒辦法很好的處理了。此案例還是被納為營銷界最成功的案例之一，究其竟還是巧妙的產(chǎn)品捆綁銷售方式！PS：（發(fā)現(xiàn)啤酒和尿不濕多為男人在周末采購，而且購買這兩種產(chǎn)品的顧客一般都是年齡在25至35周歲的青年男子，由于孩子尚在哺乳期，多數(shù)男人都接到了夫人的“圣旨”，下班后帶尿不濕回

9、家，而周末正是美國體育比賽的高峰期，一杯啤酒就著比賽是多么愜意的事?。┯谑怯袖N售人員得到啟發(fā)，在超市刻意將這2件商品擺放距離放近了許多，并且放置了一些牛肉干之類的。最后每年可增加幾百美元的銷售額。 阿里亞馬遜ebay這些，成千上萬種貨物，每天成TB的甚至PB的數(shù)據(jù)量，要對大量不同的貨品種類作分析和推薦，近實時地更新給用戶看；推特和Facebook這些，根據(jù)用戶發(fā)布的信息和行為模式，快速地分析整合數(shù)據(jù)給出精確廣告投放是這些

10、公司生存的根本。等移動互聯(lián)網(wǎng)或者物聯(lián)網(wǎng)更普及，數(shù)據(jù)量只會更大，結構更隨意，分析更困難。能從中找到有意思的信息，用傳統(tǒng)手段就更難了。,,大數(shù)據(jù)的產(chǎn)生,大數(shù)據(jù)技術的介紹,大數(shù)據(jù)技術的應用,大數(shù)據(jù)的產(chǎn)生,來源,基于歷史數(shù)據(jù)，利用數(shù)據(jù)建模定量分析不同球員特點，合理搭配，重新組隊；,打破傳統(tǒng)思維，通過分析比賽數(shù)據(jù)，尋找“性價比”最高球員，運用數(shù)據(jù)取得成功；,布拉德?皮特主演的《點球成金》是一部美國奧斯卡獲獎影片，所講述的是皮特扮演的棒球隊總經(jīng)理

11、利用計算機數(shù)據(jù)分析，對球隊進行了翻天覆地的改造，讓一家不起眼的小球隊能夠取得巨大的成功。,來源,數(shù)據(jù)的爆炸式增長,每分鐘的數(shù)據(jù),來源,大量新數(shù)據(jù)源的出現(xiàn)則導致了非結構化、半結構化數(shù)據(jù)爆發(fā)式的增長。,這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠遠超越了目前人力所能處理的范疇。,來源,傳統(tǒng)數(shù)據(jù)管理方式的缺陷：,范圍——非結構化數(shù)據(jù)、內(nèi)外部數(shù)據(jù)混搭、云化處理等都會沖擊傳統(tǒng)管理模式。,形式——數(shù)據(jù)加工的復雜度和速度要求越來越高，也對傳

12、統(tǒng)管理模式提出挑戰(zhàn)。,內(nèi)涵——數(shù)據(jù)的交換、轉(zhuǎn)讓、租賃、交易等各種創(chuàng)新模式，也要求新的管理手段。,來源,,,,每天幾百 GB、 幾 TB 的資料，且持續(xù)成長中,,儲存Storing,在收數(shù)據(jù)的同時做必要的前置處理 (pre-processing)，并區(qū)分數(shù)據(jù)處理的優(yōu)先等級 (prioritizing),,計算Processing,如何有效的避免因硬件毀壞所導致的資料損毀,,管理Managing,如何從中挖掘出所關注事件的 pat

13、tern 或 behavior,,分析Analyzing,我們需要什么樣的數(shù)據(jù)管理方式？,來源,大數(shù)據(jù)應運而生,,那么，什么是大數(shù)據(jù)？,大數(shù)據(jù)技術的介紹,目前對大數(shù)據(jù)尚未有一個公認的定義，不同的定義基本上是從特征出發(fā)，試圖給出大數(shù)據(jù)的定義。,大數(shù)據(jù)技術介紹,大數(shù)據(jù)很抽象，表示數(shù)據(jù)規(guī)模的龐大。 大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中 挖掘出有價值的信息而受到重視。 《華爾街日報》將大數(shù)據(jù)時代、智能化生

14、 產(chǎn)、 無線網(wǎng)絡革命稱為引領未來繁榮發(fā) 展的重大技術變革。,,,,,,大數(shù)據(jù)技術介紹,,,何為大數(shù)據(jù),大數(shù)據(jù)指的是規(guī)模超過現(xiàn)有數(shù)據(jù)庫工具獲取、存儲、管理和分析能力的數(shù)據(jù)集額，并同時強調(diào)并不是超過某個特定數(shù)量級的數(shù)據(jù)集才是大數(shù)據(jù),大數(shù)據(jù)是具備海量、高速、多樣、可變等特征的多維數(shù)據(jù)集，需要通過可伸縮的體系結構實現(xiàn)高效的存儲、處理和分析。,技術能力視角,大數(shù)據(jù)內(nèi)涵視角,大數(shù)據(jù)技術,大數(shù)據(jù)是需要新處理模式才能具有更強的

15、決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來的新石油”。,大數(shù)據(jù)帶來的思維變革：,更多—— 不是隨機樣本而是全部數(shù)據(jù),更雜—— 不是精確性而是混雜性,更好—— 不是因果關系而是相關關系,大數(shù)據(jù)技術,,更多,人口大普查全數(shù)據(jù)模式,隨機采樣樣本模式,大數(shù)據(jù)應用全數(shù)據(jù)模式,是指在國家統(tǒng)一規(guī)定的時間內(nèi)，按照統(tǒng)一的方法、統(tǒng)一的項目、統(tǒng)一的調(diào)查

16、表和統(tǒng)一的標準，對全國人口普遍地、逐戶逐人地進行的一次性調(diào)查登記；主要特點是調(diào)查組織高度集中性，普查對象的全面完整性；人口大普查耗時費力，一般來講是十年一次，新中國成立以來共進行了6次人口大普查；人口大普查是一種典型的全數(shù)據(jù)模式；,大數(shù)據(jù)時代,小數(shù)據(jù)時代,大數(shù)據(jù)技術,,更多,人口大普查全數(shù)據(jù)模式,隨機采樣樣本模式,大數(shù)據(jù)應用全數(shù)據(jù)模式,人口大普查是一種耗時耗費的工程，一般是以十年為單位；各國每年需要進行幾百次的小規(guī)模人口調(diào)

17、查，采取隨機采樣分析的方式，這是一種樣本模式；源于實用并且很好的創(chuàng)新！隨機采樣分析是小數(shù)據(jù)時代的產(chǎn)物；,大數(shù)據(jù)時代,小數(shù)據(jù)時代,大數(shù)據(jù)技術,,更多,人口大普查全數(shù)據(jù)模式,隨機采樣樣本模式,大數(shù)據(jù)應用全數(shù)據(jù)模式,我們已具備了大數(shù)據(jù)的各種技術能力，思維需要轉(zhuǎn)換到大數(shù)據(jù)的全數(shù)據(jù)模式：樣本=全部；大數(shù)據(jù)不用隨機分析法這樣的捷徑，而采用所有數(shù)據(jù)的方法；這里的“大”是相對的——相撲比賽所有數(shù)據(jù)存儲還不需要一個TB，但是是所有的數(shù)據(jù)！

18、在大數(shù)據(jù)時代采用隨機采樣法，就像在汽車時代騎馬一樣，雖然特定情況下仍可采樣隨機采樣法，但是慢慢地我們會放棄它；,大數(shù)據(jù)時代,小數(shù)據(jù)時代,大數(shù)據(jù)技術,,更多,大數(shù)據(jù)技術,,更雜,從皮尺到哈勃望遠鏡，人類一直在追求測量的精確性，一方面源于對未知世界的認知；一方面也源于收集信息的有限性；,大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復雜算法更有效；IBM的機器翻譯 VS Google的機器翻譯；紛繁的數(shù)據(jù)越多越好；大數(shù)據(jù)時代要求我們重新審視數(shù)據(jù)精確性的優(yōu)

19、略；大數(shù)據(jù)不僅讓我們不再期待精確性，也讓我們無法實現(xiàn)精確性；錯誤不是大數(shù)據(jù)固有的問題，而是一個需要我們?nèi)ソ鉀Q的問題，而且會將長期存在；混雜性，不是竭力避免，而是標準途徑；,大數(shù)據(jù)技術,,更好,Kaggle，一個為所有人提供數(shù)據(jù)挖掘競賽的公司，在一次關于二手車的數(shù)據(jù)分析比賽中得到，橙色汽車有質(zhì)量問題的可能性是其它顏色汽車的一半。為什么？探尋事物的因果關系是人類的本性，但是大數(shù)據(jù)時代可以做某種程度的妥協(xié)，可以只需要關注“是什么”，

20、而忽略“為什么？”,大數(shù)據(jù)技術,,Volume,Variety,Value,Velocity,非結構化數(shù)據(jù)的超大規(guī)模和增長；總數(shù)據(jù)量的80~90%；比結構化數(shù)據(jù)增長快10倍到50倍；是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍。,大數(shù)據(jù)的異構和多樣性；很多不同形式（文本、圖像、視頻、機器數(shù)據(jù)）；無模式或者模式不明顯；不連貫的語法或句義。,大量的不相關信息；對未來趨勢與模式的可預測分析；深度復雜分析（機器學習、人工智能Vs傳統(tǒng)商務智能）,實時分析

21、而非批量式分析；數(shù)據(jù)輸入、處理與丟棄；立竿見影而非事后見效,4V特征,大數(shù)據(jù)技術,,Volume,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,大數(shù)據(jù)技術,,Variety,數(shù)據(jù)來源多,數(shù)據(jù)類型多,關聯(lián)性強,企業(yè)內(nèi)部多個應用系統(tǒng)的數(shù)據(jù)、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起，帶來了微博、社交網(wǎng)站、傳感器等多種來源。,保存在關系數(shù)據(jù)庫中的結構化數(shù)據(jù)只占少數(shù)，70~80%的數(shù)據(jù)是如圖片、音頻、視頻、模型、連接信息、文檔等非

22、結構化和半結構化數(shù)據(jù)。,數(shù)據(jù)之間頻繁交互，比如游客在旅行途中上傳的圖片和日志，就與游客的位置、行程等信息有了很強的關聯(lián)性。,大數(shù)據(jù)技術,,Value,大數(shù)據(jù)不僅僅是技術，關鍵是產(chǎn)生價值,可以從各個層面進行優(yōu)化，更要考慮整體,挖掘大數(shù)據(jù)的價值類似沙里淘金，從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息；價值密度低，是大數(shù)據(jù)的一個典型特征；,大數(shù)據(jù)技術,,Velocity,中央政府對大數(shù)據(jù)的重視程度,31,大數(shù)據(jù)涉及的關鍵技術,需求

23、 海量數(shù)據(jù)存儲技術 實時數(shù)據(jù)處理技術 數(shù)據(jù)高速傳輸技術 搜索技術 數(shù)據(jù)分析技術,技術Hadoop，X86/MPPMap ReduceStreaming dataInfini BandEnterprise SearchText Analytics EngineVisual Data Modeling,描

24、述分布式文件系統(tǒng)流計算引擎服務器、存儲間高速通信文本檢索、智能搜索、實時搜索自然語言處理、文本情感分析、機器學習、聚類關聯(lián)、數(shù)據(jù)模型,大數(shù)據(jù)的技術生態(tài),大數(shù)據(jù)本身是個很寬泛的概念，Hadoop生態(tài)圈（或者泛生態(tài)圈）基本上都是為了處理超過單機尺度的數(shù)據(jù)處理而誕生的。你可以把它比作一個廚房所以需要的各種工具。鍋碗瓢盆，各有各的用處，互相之間又有重合。但是每個工具有自己的特性，雖然奇怪的組合也能工作，但是未必是

25、最佳選擇。這里限于時間考慮只介紹了Hadoop HSFS和MapReduce / Tez / Spark。,,該圖為一個Hadoop生態(tài)圈示意圖,HDFS（Hadoop Distributed FileSystem分布式文件系統(tǒng)）的設計本質(zhì)上是為了大量的數(shù)據(jù)能橫跨成百上千臺機器，但是你看到的是一個文件系統(tǒng)而不是很多文件系統(tǒng)。比如你說我要獲取/hdfs/tmp/file1的數(shù)據(jù)，你引用的是一個文件路徑，但是實際的數(shù)據(jù)存放在很多不同的機器上

26、。你作為用戶，不需要知道這些，就好比在單機上你不關心文件分散在什么磁道什么扇區(qū)一樣。HDFS為你管理這些數(shù)據(jù)。 接下來處理數(shù)據(jù)，雖然HDFS可以為你整體管理不同機器上的數(shù)據(jù)，但是這些數(shù)據(jù)太大了。那么我如果要用很多臺機器處理，我就面臨了如何分配工作，如果一臺機器掛了如何重新啟動相應的任務，機器之間如何互相通信交換數(shù)據(jù)以完成復雜的計算等等。這就是MapReduce / Tez / Spark的功能。MapReduce是第一代計

27、算引擎，Tez和Spark是第二代。MapReduce的設計，采用了很簡化的計算模型，只有Map和Reduce兩個計算過程（中間用Shuffle串聯(lián)）,什么是Map什么是Reduce？ 考慮如果你要統(tǒng)計一個巨大的文本文件存儲在類似HDFS上，你想要知道這個文本里各個詞的出現(xiàn)頻率。你啟動了一個MapReduce程序。Map階段，幾百臺機器同時讀取這個文件的各個部分，分別把各自讀到的部分分別統(tǒng)計出詞頻，產(chǎn)生類似（hello,

28、 12100次），（world，15214次）等等這樣的Pair（我這里把Map和Combine放在一起說以便簡化）；這幾百臺機器各自都產(chǎn)生了如上的集合，然后又有幾百臺機器啟動Reduce處理。Reducer機器A將從Mapper機器收到所有以A開頭的統(tǒng)計結果，機器B將收到B開頭的詞匯統(tǒng)計結果（當然實際上不會真的以字母開頭做依據(jù)，而是用函數(shù)產(chǎn)生Hash值以避免數(shù)據(jù)串化。因為類似X開頭的詞肯定比其他要少得多，而你不希望數(shù)據(jù)處理各個機器的工

29、作量相差懸殊）。然后這些Reducer將再次匯總，（hello，12100）＋（hello，12311）＋（hello，345881）= （hello，370292）。每個Reducer都如上處理，你就得到了整個文件的詞頻結果。這看似是個很簡單的模型，但很多算法都可以用這個模型描述了。 Map＋Reduce的簡單模型雖然好用，但是很笨重。第二代的Tez和Spark除了內(nèi)存Cache之類的新feature，本質(zhì)上來說，是讓

30、Map/Reduce模型更通用，讓Map和Reduce之間的界限更模糊，數(shù)據(jù)交換更靈活，更少的磁盤讀寫，以便更方便地描述復雜算法，取得更高的吞吐量。,大數(shù)據(jù)涉及的關鍵技術,,基于SQL語言: 面對OLAP的傳統(tǒng)行和列,不基于SQL或map-reduce的: 由谷歌率先發(fā)起,數(shù)據(jù)流: 基于運行商數(shù)據(jù)直接生成任意圖形,,,,,數(shù)據(jù)入口/匯聚,數(shù)據(jù)平臺,分析,,傳統(tǒng)交付模式 - 單片或基于設備的解決方案,云: 能夠充分

31、利用物理設施的彈性，以實現(xiàn)處理快速增長數(shù)據(jù)的能力,“數(shù)據(jù)庫將演變成一個虛擬的，基于云計算，超級可擴展的分布式平臺?！? Forrester analyst Jim Kobielus,,,,,,,大數(shù)據(jù)涉及的關鍵技術,關于大數(shù)據(jù)相關性關系的一些爭議性的觀點,我覺得大數(shù)據(jù)的信息來源還存在著局限性。首先，目前網(wǎng)絡并不能覆蓋生活的全部。依然存在一部分人群與網(wǎng)絡的聯(lián)系不密切。如果單憑網(wǎng)絡數(shù)據(jù)就對信息做判斷，其實是很片面的。還有關于在不少關于大

32、數(shù)據(jù)的書籍或是論文中強調(diào)的以相關關系替代因果關系的說法。我表示不太明白這點。因為目前計算機所作出的都是相關關系的判斷，而無法提供給人類明確的因果關系。但是基于自己以前的知識積累，感覺人類在利用計算機進行數(shù)據(jù)處理的時候，基本上都是由計算機給出的基礎之上再加以人為的因果判斷。哪怕是格蘭杰因果檢驗，雖然沒學過，但是個人理解其實質(zhì)也不是反映兩個變量之間的因果關系，而是“依賴于使用過去某些時點上所有信息的最佳最小二乘預測的方差”。因此在多數(shù)情況下

33、，比如在學習多元統(tǒng)計、計量經(jīng)濟課程的時候，我們還是考慮變量之間的相關性。但是相關不代表因果。這就跟女士的裙長和股市漲跌一樣，不是說女士裙子越短股市就越能往上走的。而大數(shù)據(jù)就真的沒運用到因果關系嗎？我覺得也不是這樣。比如說之前谷歌通過大數(shù)據(jù)做的流行病預測，其實還是運用了因果關系。谷歌就是假定人們?nèi)ゾW(wǎng)上進行相關搜索的原因是人們自己或者身邊的人出現(xiàn)了相關癥狀。我覺得這個世界是不可能單純地依靠“相關性”來決策的，因為這違背了人類的好奇心。事物之

34、間相關性越大，就越是讓人想要知道這背后的原因。對我來說，僅僅基于相關關系而不考慮背后的因果關系的決策有點空中樓閣，不太靠譜。因此我不認為因果關系會退出歷史舞臺。,大數(shù)據(jù)技術,大數(shù)據(jù)目前所存在的安全隱患：,大數(shù)據(jù)基礎設施安全威脅,大數(shù)據(jù)存儲安全威脅,隱私泄露問題,針對大數(shù)據(jù)的高級持續(xù)性攻擊,數(shù)據(jù)訪問安全威脅,其它安全威脅,大數(shù)據(jù)時代下沒有隱私,一個技術領域的大牛討論過關于隱私信息重組(這個詞我們自己造)，實際就是充分利用掌握的信息去破解密

35、碼。常規(guī)的算法是跑密碼字典，不得不承認，中國人在密碼上不在乎，當初學校我在的校區(qū)我同級的共7000多人，有3000多人的密碼，我能用我設計的37個密碼跑出來，37個啊。在利用學校bug后，我拿到個人信息，然后通過我們設計的算法，利用了個人信息，得出幾組最可能的密碼，加入37個密碼中，經(jīng)過測試有4900多個人密碼被破解…自那以后我發(fā)現(xiàn)人們對密碼設置規(guī)則固定…而且與個人信息有關…在大數(shù)據(jù)下，基于云計算，加上特定的網(wǎng)絡爬蟲，完全可以爬取任何

36、一個人的信息。接著，我們可以嘗試撞庫了，常用的126.163。新浪，QQ郵箱，雅虎，天涯，csdn等等只要設計再設計時將所有網(wǎng)站的后臺或者前臺登錄模擬出來了，完全可以利用這些信息去嘗試登錄。,搜索電影女主角的故事（人肉搜索）,Some tips,一、謹防釣魚網(wǎng)站二、慎連免費WiFi三、不在社交平臺中隨意透露個人信息四、慎重參加網(wǎng)絡調(diào)查、抽獎活動五、妥善處理快遞單、車票、快遞包裝盒上六、及時清除舊手機的數(shù)據(jù)信息、廢棄的手機卡,大

37、數(shù)據(jù)的應用,,應用,分析,預測,大數(shù)據(jù)的應用,此事經(jīng)被《紐約時報》報道后，塔吉特“大數(shù)據(jù)”的巨大威力轟動全美。 在美國，有一位父親怒氣沖沖地跑到塔吉特賣場，質(zhì)問為何將帶有嬰兒用品優(yōu)惠券的廣告郵件，寄送給他正在念高中的女兒? 然而后來證實，他的女兒果真懷孕了。這名女孩搜尋商品的關鍵詞，以及在社交網(wǎng)站所顯露的行為軌跡，使沃爾瑪捕捉到了她的懷孕信息。 模型發(fā)現(xiàn)，許多孕婦在第2個妊娠期的

38、開始會買許多大包裝的無香味護手霜；在懷孕的最初20周大量購買補充鈣、鎂、鋅的善存片之類的保健品。最后塔吉特選出了25種典型商品的消費數(shù)據(jù)構建了“懷孕預測指數(shù)”，通過這個指數(shù)，Target能夠在很小的誤差范圍內(nèi)預測到顧客的懷孕情況，因此Target就能早早地把孕婦優(yōu)惠廣告寄發(fā)給顧客。,大數(shù)據(jù)的應用,亞馬遜 “預測式發(fā)貨”的新專利，可以通過對用戶數(shù)據(jù)的分析，在他們還沒有下單購物前，提前發(fā)出包裹。 這項技術可以縮短

39、發(fā)貨時間，從而降低消費者前往實體店的沖動。從下單到收貨之間的時間延遲可能會降低人們的購物意愿，導致他們放棄網(wǎng)上購物。 所以，亞馬遜可能會根據(jù)之前的訂單和其他因素，預測用戶的購物習慣，從而在他們實際下單前便將包裹發(fā)出。根據(jù)該專利文件，雖然包裹會提前從亞馬遜發(fā)出，但在用戶正式下單前，這些包裹仍會暫存在快遞公司的轉(zhuǎn)運中心或卡車里。 亞馬遜為了決定要運送哪些貨物，亞馬遜可能會參考之前的訂單、商品

40、搜索記錄、愿望清單、購物車，甚至包括用戶的鼠標在某件商品上懸停的時間。,大數(shù)據(jù)的應用,在籌備大選的過程中，奧巴馬背后的數(shù)據(jù)分析團隊一直在收集、存儲和分析選民數(shù)據(jù)。 在這次的大選中，奧巴馬競選陣營的高級助理們決定將參考這一團隊所得出的數(shù)據(jù)分析結果來制定下一步的競選方案。利用在競選中可獲得的選民行動、行為、支持偏向方面的大量數(shù)據(jù)。 比如，在東海岸找到一位對女性群體具備相同號召力的名人，從而復制“克魯尼效應”并為奧巴

41、馬籌集競選資金。 “Twitter的政治指數(shù)”提供了一個衡量社會化媒體平臺的用戶如何評價候選人的方式。奧巴馬積極的情緒指數(shù)是59，而羅姆尼的只有53。,大數(shù)據(jù)的應用,回顧“老鼠倉”的查處過程，在馬樂一案中，“大數(shù)據(jù)”首次介入。深交所此前通過“大數(shù)據(jù)”查出的可疑賬戶高達300個。 實際上，早在2009年，上交所曾經(jīng)有過利用“大數(shù)據(jù)”設置“捕鼠器”的設想。通過建立相關的模型，設定一定的指標預警，

42、即相關指標達到某個預警點時監(jiān)控系統(tǒng)會自動報警。 而此次在馬樂案中亮相的深交所的“大數(shù)據(jù)” 監(jiān)測系統(tǒng)，更是引起了廣泛關注。深交所有幾十人的監(jiān)控室，設置了200多個指標用于監(jiān)測估計，一旦出現(xiàn)股價偏離大盤走勢，深交所利用大數(shù)據(jù)查探異動背后是哪些人或機構在參與。,大數(shù)據(jù)的應用,在摩托車生產(chǎn)廠商哈雷·戴維森公司位于賓尼法尼亞州約克市新翻新的摩托車制造廠，軟件不停的在記錄著微小的制造數(shù)據(jù)，如噴漆室風扇的速度等等。當

43、軟件察覺風扇速度、溫度、濕度或其它變量脫離規(guī)定數(shù)值，它就會自動調(diào)節(jié)機械。哈雷·戴維森同時還使用軟件，還尋找制約公司每86秒完成一臺摩托車制造工作的瓶頸。最近，這家公司的管理者通過研究數(shù)據(jù)，認為安裝后擋泥板的時間過長。通過調(diào)整工廠配置，哈雷·戴維森提高了安裝該配件的速度。 美國一些紡織及化工生產(chǎn)商，根據(jù)從不同的百貨公司POS機上收集的產(chǎn)品銷售速度信息，將原來的18周送貨速度減少到3周，這對百貨公

44、司分銷商來說，能以更快的速度拿到貨物，減少倉儲。對生產(chǎn)商來說，積攢的材料倉儲也能減少很多。,大數(shù)據(jù)的應用,谷歌基于每天來自全球的30 多億條搜索指令設立了一個系統(tǒng)，這個系統(tǒng)在2009 年甲流爆發(fā)之前就開始對美國各地區(qū)進行“流感預報”，并推出了“谷歌流感趨勢”服務。 谷歌在這項服務的產(chǎn)品介紹中寫道：搜索流感相關主題的人數(shù)與實際患有流感癥狀的人數(shù)之間存在著密切的關系。雖然并非每個搜索“流感”的人都患有流感，但谷歌發(fā)現(xiàn)

45、了一些檢索詞條的組合并用特定的數(shù)學模型對其進行分析后發(fā)現(xiàn)，這些分析結果與傳統(tǒng)流感監(jiān)測系統(tǒng)監(jiān)測結果的相關性高達97%。 這也就表示，谷歌公司能做出與疾控部門同樣準確的傳染源位置判斷，并且在時間上提前了一到兩周?！?大數(shù)據(jù)的應用,國際大石油公司一直都非常重視數(shù)據(jù)管理。如雪佛龍公司將5萬臺桌面系統(tǒng)與1800個公司站點連接，消除煉油、銷售與運輸“下游系統(tǒng)”中的重復流程和系統(tǒng)，每年節(jié)省5000萬美元，過去4年已獲得了凈現(xiàn)

46、值約為2億美元的回報。 準確預測太陽能和風能需要分析大量數(shù)據(jù)，包括風速、云層等氣象數(shù)據(jù)。丹麥風輪機制造商維斯塔斯( Vestas Wind Systems)，通過在世界上最大的超級計算機上部署IBM大數(shù)據(jù)解決方案，得以通過分析包括PB量級氣象報告＼潮汐相位、地理空間、衛(wèi)星圖像等結構化及非結構化的海量數(shù)據(jù)，優(yōu)化風力渦輪機布局，有效提高風力渦輪機的性能，為客戶提供精確和優(yōu)化的風力渦輪機配置方案不但幫助客戶降低每千瓦

47、時的成本，并且提高了客戶投資回報估計的準確度，同時它將業(yè)務用戶請求的響應時間從幾星期縮短到幾小時。,大數(shù)據(jù)的應用,UPS最新的大數(shù)據(jù)來源是安裝在公司4.6萬多輛卡車上的遠程通信傳感器，這些傳感器能夠傳回車速、方向、剎車和動力性能等方面的數(shù)據(jù)。收集到的數(shù)據(jù)流不僅能說明車輛的日常性能，還能幫助公司重新設計物流路線。 大量的在線地圖數(shù)據(jù)和優(yōu)化算法，最終能幫助UPS實時地調(diào)配駕駛員的收貨和配送路線。該系統(tǒng)為UPS減少了8

48、500萬英里的物流里程，由此節(jié)約了840萬加侖的汽油。,大數(shù)據(jù)的應用,與傳統(tǒng)電視劇有別，《紙牌屋》是一部根據(jù)“大數(shù)據(jù)”制作的作品。制作方Netflix是美國最具影響力的影視網(wǎng)站之一，在美國本土有約2900萬的訂閱用戶。 Netflix成功之處在于其強大的推薦系統(tǒng)Cinematch，該系統(tǒng)基于用戶視頻點播的基礎數(shù)據(jù)如評分、播放、快進、時間、地點、終端等，儲存在數(shù)據(jù)庫后通過數(shù)據(jù)分析，計算出用戶可能喜愛的影片，并為他提

49、供定制化的推薦。 Netflix發(fā)布的數(shù)據(jù)顯示，用戶在Netflix上每天產(chǎn)生3000多萬個行為，比如暫停、回放或者快進，同時，用戶每天還會給出400萬個評分，以及300萬次搜索請求。Netflix遂決定用這些數(shù)據(jù)來制作一部電視劇，投資過億美元制作出《紙牌屋》。 Netflix發(fā)現(xiàn)，其用戶中有很多人仍在點播1991年BBC經(jīng)典老片《紙牌屋》，這些觀眾中許多人喜歡大衛(wèi)·芬奇，觀眾大多

50、愛看奧斯卡得主凱文·史派西的電影，由此Netflix邀請大衛(wèi)·芬奇為導演，凱文·史派西為主演翻拍了《紙牌屋》這一政治題材劇。2013年2月《紙牌屋》上線后，用戶數(shù)增加了300萬，達到2920萬。,大數(shù)據(jù)的應用,Farecast 已經(jīng)擁有驚人的約2 000 億條飛行數(shù)據(jù)記錄。用來推測當前網(wǎng)頁上的機票價格是否合理。作為一種商品，同一架飛機上每個座位的價格本來不應該有差別。但實際上，價格卻千差萬別，其中緣由只有航

51、空公司自己清楚。Farecast預測當前的機票價格在未來一段時間內(nèi)會上漲還是下降。這個系統(tǒng)需要分析所有特定航線機票的銷售價格并確定票價與提前購買天數(shù)的關系。 Farecast 票價預測的準確度已經(jīng)高達75 ％，使用Farecast 票價預測工具購買機票的旅客，平均每張機票可節(jié)省50 美元。,大數(shù)據(jù)的應用,大數(shù)據(jù)挖掘技術的底層技術最早是英國軍情六處研發(fā)用來追蹤恐怖分子的技術。 中國大數(shù)據(jù)的概念其實

52、源于最早公安部抓法輪功分子。 大數(shù)據(jù)篩選犯罪團伙，與鎖定的罪犯乘坐同一班列車，住同一酒店的兩個人可能是同伙，過去，刑偵人員要證明這一點，需要通過把不同線索拼湊起來排查疑犯。 通過對越來越多數(shù)據(jù)的挖掘分析，某一片區(qū)域的犯罪率以及犯罪模式都將清晰可見。大數(shù)據(jù)可以幫助警方定位最易受到不法分子侵擾的區(qū)域，創(chuàng)建一張犯罪高發(fā)地區(qū)熱點圖和時間表。不但有利于警方精準分配警力，預防打擊犯罪，也能幫助市民了解情況