×
NEWS CENTER

新聞中心

大(dà)數據思維的(de)十大(dà)核心原理(lǐ)

時(shí)間:2018-09-05 10:29:28 次數:5316

大(dà)數據思維是客觀存在,大(dà)數據思維是新的(de)思維觀。用(yòng)大(dà)數據思維方式思考問題,解決問題是當下(xià)企業潮流。大(dà)數據思維開啓了(le)一次重大(dà)的(de)時(shí)代轉型。


大(dà)數據思維原理(lǐ)是什(shén)麽?下(xià)文爲概括的(de)10項原理(lǐ)。


一、數據核心原理(lǐ)


大(dà)數據時(shí)代,計算(suàn)模式也(yě)發生了(le)轉變,從‘流程’核心轉變爲‘數據’核心。Hadoop體系的(de)分(fēn)布式計算(suàn)框架已經是‘數據’爲核心的(de)範式。非結構化(huà)數據及分(fēn)析需求,将改變IT系統的(de)升級方式:從簡單增量到架構變化(huà)。大(dà)數據下(xià)的(de)新思維-計算(suàn)模式的(de)轉變。

例如:IBM将使用(yòng)以數據爲中心的(de)設計,目的(de)是降低在超級計算(suàn)機之間進行大(dà)量數據交換的(de)必要性。大(dà)數據下(xià),雲計算(suàn)找到了(le)破繭重生的(de)機會,在存儲和(hé)計算(suàn)上都體現了(le)數據爲核心的(de)理(lǐ)念。大(dà)數據和(hé)雲計算(suàn)的(de)關系:雲計算(suàn)爲大(dà)數據提供了(le)有力的(de)工具和(hé)途徑,大(dà)數據爲雲計算(suàn)提供了(le)很有價值的(de)用(yòng)武之地。而大(dà)數據比雲計算(suàn)更爲落地,可(kě)有效利用(yòng)已大(dà)量建設的(de)雲計算(suàn)資源,最後加以利用(yòng)。

科學進步越來(lái)越多(duō)地由數據來(lái)推動,海量數據給數據分(fēn)析既帶來(lái)了(le)機遇,也(yě)構成了(le)新的(de)挑戰。大(dà)數據往往是利用(yòng)衆多(duō)技術和(hé)方法,綜合源自多(duō)個(gè)渠道、不同時(shí)間的(de)信息而獲得(de)的(de)。爲了(le)應對(duì)大(dà)數據帶來(lái)的(de)挑戰,我們需要新的(de)統計思路和(hé)計算(suàn)方法。

說明(míng):用(yòng)數據核心思維方式思考問題,解決問題。以數據爲核心,反映了(le)當下(xià)IT産業的(de)變革,數據成爲人(rén)工智能的(de)基礎,也(yě)成爲智能化(huà)的(de)基礎,數據比流程更重要,數據庫、記錄數據庫,都可(kě)開發出深層次信息。雲計算(suàn)機可(kě)以從數據庫、記錄數據庫中搜索出你是誰,你需要什(shén)麽,從而推薦給你需要的(de)信息。


二、數據價值原理(lǐ)


功能是價值轉變爲數據是價值


大(dà)數據真正有意思的(de)是數據變得(de)在線了(le),這(zhè)個(gè)恰恰是互聯網的(de)特點。非互聯網時(shí)期的(de)産品,功能一定是它的(de)價值,今天互聯網的(de)産品,數據一定是它的(de)價值。

例如:大(dà)數據的(de)真正價值在于創造,在于填補無數個(gè)還(hái)未實現過的(de)空白。有人(rén)把數據比喻爲蘊藏能量的(de)煤礦,煤炭按照(zhào)性質有焦煤、無煙(yān)煤、肥煤、貧煤等分(fēn)類,而露天煤礦、深山煤礦的(de)挖掘成本又不一樣。與此類似,大(dà)數據并不在‘大(dà)’,而在于‘有用(yòng)’,價值含量、挖掘成本比數量更爲重要。不管大(dà)數據的(de)核心價值是不是預測,但是基于大(dà)數據形成決策的(de)模式已經爲不少的(de)企業帶來(lái)了(le)盈利和(hé)聲譽。

數據能告訴我們,每一個(gè)客戶的(de)消費傾向,他(tā)們想要什(shén)麽,喜歡什(shén)麽,每個(gè)人(rén)的(de)需求有哪些區(qū)别,哪些又可(kě)以被集合到一起來(lái)進行分(fēn)類。大(dà)數據是數據數量上的(de)增加,以至于我們能夠實現從量變到質變的(de)過程。舉例來(lái)說,這(zhè)裏有一張照(zhào)片,照(zhào)片裏的(de)人(rén)在騎馬,這(zhè)張照(zhào)片每一分(fēn)鐘(zhōng),每一秒都要拍(pāi)一張,但随著(zhe)處理(lǐ)速度越來(lái)越快(kuài),從1分(fēn)鐘(zhōng)一張到1秒鐘(zhōng)1張,突然到1秒鐘(zhōng)10張後,就産生了(le)電影(yǐng)。當數量的(de)增長(cháng)實現質變時(shí),就從照(zhào)片變成了(le)一部電影(yǐng)。

美(měi)國有一家創新企業Decide.com;它可(kě)以幫助人(rén)們做(zuò)購(gòu)買決策,告訴消費者什(shén)麽時(shí)候買什(shén)麽産品,什(shén)麽時(shí)候買最便宜,預測産品的(de)價格趨勢,這(zhè)家公司背後的(de)驅動力就是大(dà)數據。他(tā)們在全球各大(dà)網站上搜集數以十億計的(de)數據,然後幫助數以十萬計的(de)用(yòng)戶省錢,爲他(tā)們的(de)采購(gòu)找到最好的(de)時(shí)間,降低交易成本,爲終端的(de)消費者帶去更多(duō)價值。

在這(zhè)類模式下(xià),盡管一些零售商的(de)利潤會進一步受擠壓,但從商業本質上來(lái)講,可(kě)以把錢更多(duō)地放回到消費者的(de)口袋裏,讓購(gòu)物(wù)變得(de)更理(lǐ)性,這(zhè)是依靠大(dà)數據催生出的(de)一項全新産業。這(zhè)家爲數以十萬計的(de)客戶省錢的(de)公司,在幾個(gè)星期前,被eBay以高(gāo)價收購(gòu)。

再舉一個(gè)例子,SWIFT是全球最大(dà)的(de)支付平台,在該平台上的(de)每一筆交易都可(kě)以進行大(dà)數據的(de)分(fēn)析,他(tā)們可(kě)以預測一個(gè)經濟體的(de)健康性和(hé)增長(cháng)性。比如,該公司現在爲全球性客戶提供經濟指數,這(zhè)又是一個(gè)大(dà)數據服務。,定制化(huà)服務的(de)關鍵是數據。《大(dà)數據時(shí)代》的(de)作者維克托,邁爾,舍恩伯格認爲,大(dà)量的(de)數據能夠讓傳統行業更好地了(le)解客戶需求,提供個(gè)性化(huà)的(de)服務。

說明(míng):用(yòng)數據價值思維方式思考問題,解決問題。信息總量的(de)變化(huà)導緻了(le)信息形态的(de)變化(huà),量變引發了(le)質變,最先經曆信息爆炸的(de)學科,如天文學和(hé)基因學,創造出了(le)‘大(dà)數據’這(zhè)個(gè)概念。如今,這(zhè)個(gè)概念幾乎應用(yòng)到了(le)所有人(rén)類緻力于發展的(de)領域中。從功能爲價值轉變爲數據爲價值,說明(míng)數據和(hé)大(dà)數據的(de)價值在擴大(dà),數據爲‘王’的(de)時(shí)代出現了(le)。數據被解釋是信息,信息常識化(huà)是知識,所以說數據解釋、數據分(fēn)析能産生價值。


三、全樣本原理(lǐ)


從抽樣轉變爲需要全部數據樣本


需要全部數據樣本而不是抽樣,你不知道的(de)事情比你知道的(de)事情更重要,但如果現在數據足夠多(duō),它會讓人(rén)能夠看得(de)見、摸得(de)著(zhe)規律。數據這(zhè)麽大(dà)、這(zhè)麽多(duō),所以人(rén)們覺得(de)有足夠的(de)能力把握未來(lái),對(duì)不确定狀态的(de)一種判斷,從而做(zuò)出自己的(de)決定。這(zhè)些東西我們聽(tīng)起來(lái)都是非常原始的(de),但是實際上背後的(de)思維方式,和(hé)我們今天所講的(de)大(dà)數據是非常像的(de)。

舉例:在大(dà)數據時(shí)代,無論是商家還(hái)是信息的(de)搜集者,會比我們自己更知道你可(kě)能會想幹什(shén)麽。現在的(de)數據還(hái)沒有被真正挖掘,如果真正挖掘的(de)話(huà),通(tōng)過信用(yòng)卡消費的(de)記錄,可(kě)以成功預測未來(lái)5年内的(de)情況。統計學裏頭最基本的(de)一個(gè)概念就是,全部樣本才能找出規律。爲什(shén)麽能夠找出行爲規律?一個(gè)更深層的(de)概念是人(rén)和(hé)人(rén)是一樣的(de),如果是一個(gè)人(rén)特例出來(lái),可(kě)能很有個(gè)性,但當人(rén)口樣本數量足夠大(dà)時(shí),就會發現其實每個(gè)人(rén)都是一模一樣的(de)。

說明(míng):用(yòng)全數據樣本思維方式思考問題,解決問題。從抽樣中得(de)到的(de)結論總是有水(shuǐ)分(fēn)的(de),而全部樣本中得(de)到的(de)結論水(shuǐ)分(fēn)就很少,大(dà)數據越大(dà),真實性也(yě)就越大(dà),因爲大(dà)數據包含了(le)全部的(de)信息。


四、關注效率原理(lǐ)


由關注精确度轉變爲關注效率


關注效率而不是精确度,大(dà)數據标志著(zhe)人(rén)類在尋求量化(huà)和(hé)認識世界的(de)道路上前進了(le)一大(dà)步,過去不可(kě)計量、存儲、分(fēn)析和(hé)共享的(de)很多(duō)東西都被數據化(huà)了(le),擁有大(dà)量的(de)數據和(hé)更多(duō)不那麽精确的(de)數據爲我們理(lǐ)解世界打開了(le)一扇新的(de)大(dà)門。大(dà)數據能提高(gāo)生産效率和(hé)銷售效率,原因是大(dà)數據能夠讓我們知道市場(chǎng)的(de)需要,人(rén)的(de)消費需要。大(dà)數據讓企業的(de)決策更科學,由關注精确度轉變爲關注效率的(de)提高(gāo),大(dà)數據分(fēn)析能提高(gāo)企業的(de)效率。

例如:在互聯網大(dà)數據時(shí)代,企業産品叠代的(de)速度在加快(kuài)。三星、小米手機制造商半年就推出一代新智能手機。利用(yòng)互聯網、大(dà)數據提高(gāo)企業效率的(de)趨勢下(xià),快(kuài)速就是效率、預測就是效率、預見就是效率、變革就是效率、創新就是效率、應用(yòng)就是效率。

競争是企業的(de)動力,而效率是企業的(de)生命,效率低與效率高(gāo)是衡量企來(lái)成敗的(de)關鍵。一般來(lái)講,投入與産出比是效率,追求高(gāo)效率也(yě)就是追求高(gāo)價值。手工、機器、自動機器、智能機器之間效率是不同的(de),智能機器效率更高(gāo),已能代替人(rén)的(de)思維勞動。智能機器核心是大(dà)數據制動,而大(dà)數據制動的(de)速度更快(kuài)。在快(kuài)速變化(huà)的(de)市場(chǎng),快(kuài)速預測、快(kuài)速決策、快(kuài)速創新、快(kuài)速定制、快(kuài)速生産、快(kuài)速上市成爲企業行動的(de)準則,也(yě)就是說,速度就是價值,效率就是價值,而這(zhè)一切離不開大(dà)數據思維。

說明(míng):用(yòng)關注效率思維方式思考問題,解決問題。大(dà)數據思維有點像混沌思維,确定與不确定交織在一起,過去那種一元思維結果,已被二元思維結果取代。過去尋求精确度,現在尋求高(gāo)效率;過去尋求因果性,現在尋求相關性;過去尋找确定性,現在尋找概率性,對(duì)不精确的(de)數據結果已能容忍。隻要大(dà)數據分(fēn)析指出可(kě)能性,就會有相應的(de)結果,從而爲企業快(kuài)速決策、快(kuài)速動作、創占先機提高(gāo)了(le)效率。


五、關注相關性原理(lǐ)


由因果關系轉變爲關注相關性


關注相關性而不是因果關系,社會需要放棄它對(duì)因果關系的(de)渴求,而僅需關注相關關系,也(yě)就是說隻需要知道是什(shén)麽,而不需要知道爲什(shén)麽。這(zhè)就推翻了(le)自古以來(lái)的(de)慣例,而我們做(zuò)決定和(hé)理(lǐ)解現實的(de)最基本方式也(yě)将受到挑戰。

例如:大(dà)數據思維一個(gè)最突出的(de)特點,就是從傳統的(de)因果思維轉向相關思維,傳統的(de)因果思維是說我一定要找到一個(gè)原因,推出一個(gè)結果來(lái)。而大(dà)數據沒有必要找到原因,不需要科學的(de)手段來(lái)證明(míng)這(zhè)個(gè)事件和(hé)那個(gè)事件之間有一個(gè)必然,先後關聯發生的(de)一個(gè)因果規律。它隻需要知道,出現這(zhè)種迹象的(de)時(shí)候,我就按照(zhào)一般的(de)情況,這(zhè)個(gè)數據統計的(de)高(gāo)概率顯示它會有相應的(de)結果,那麽我隻要發現這(zhè)種迹象的(de)時(shí)候,我就可(kě)以去做(zuò)一個(gè)決策,我該怎麽做(zuò)。這(zhè)是和(hé)以前的(de)思維方式很不一樣,老實說,它是一種有點反科學的(de)思維,科學要求實證,要求找到準确的(de)因果關系。

在這(zhè)個(gè)不确定的(de)時(shí)代裏面,等我們去找到準确的(de)因果關系,再去辦事的(de)時(shí)候,這(zhè)個(gè)事情早已經不值得(de)辦了(le)。所以‘大(dà)數據’時(shí)代的(de)思維有點像回歸了(le)工業社會的(de)這(zhè)種機械思維-機械思維就是說我按那個(gè)按鈕,一定會出現相應的(de)結果,是這(zhè)樣狀态。而農業社會往前推,不需要找到中間非常緊密的(de)、明(míng)确的(de)因果關系,而隻需要找到相關關系,隻需要找到迹象就可(kě)以了(le)。社會因此放棄了(le)尋找因果關系的(de)傳統偏好,開始挖掘相關關系的(de)好處。

例如:美(měi)國人(rén)開發一款‘個(gè)性化(huà)分(fēn)析報告自動可(kě)視化(huà)程序’軟件從網上挖掘數據信息,這(zhè)款數據挖掘軟件将自動從各種數據中提取重要信息,然後進行分(fēn)析,并把此信息與以前的(de)數據關聯起來(lái),分(fēn)析出有用(yòng)的(de)信息。

非法在屋内打隔斷的(de)建築物(wù)著(zhe)火的(de)可(kě)能性比其他(tā)建築物(wù)高(gāo)很多(duō)。紐約市每年接到2.5萬宗有關房(fáng)屋住得(de)過于擁擠的(de)投訴,但市裏隻有200名處理(lǐ)投訴的(de)巡視員(yuán),市長(cháng)辦公室一個(gè)分(fēn)析專家小組覺得(de)大(dà)數據可(kě)以幫助解決這(zhè)一需求與資源的(de)落差。該小組建立了(le)一個(gè)市内全部90萬座建築物(wù)的(de)數據庫,并在其中加入市裏19個(gè)部門所收集到的(de)數據:欠稅扣押記錄、水(shuǐ)電使用(yòng)異常、繳費拖欠、服務切斷、救護車使用(yòng)、當地犯罪率、鼠患投訴,諸如此類。

接下(xià)來(lái),他(tā)們将這(zhè)一數據庫與過去5年中按嚴重程度排列的(de)建築物(wù)著(zhe)火記錄進行比較,希望找出相關性。果然,建築物(wù)類型和(hé)建造年份是與火災相關的(de)因素。不過,一個(gè)沒怎麽預料到的(de)結果是,獲得(de)外磚牆施工許可(kě)的(de)建築物(wù)與較低的(de)嚴重火災發生率之間存在相關性。利用(yòng)所有這(zhè)些數據,該小組建立了(le)一個(gè)可(kě)以幫助他(tā)們确定哪些住房(fáng)擁擠投訴需要緊急處理(lǐ)的(de)系統。他(tā)們所記錄的(de)建築物(wù)的(de)各種特征數據都不是導緻火災的(de)原因,但這(zhè)些數據與火災隐患的(de)增加或降低存在相關性。這(zhè)種知識被證明(míng)是極具價值的(de):過去房(fáng)屋巡視員(yuán)出現場(chǎng)時(shí)簽發房(fáng)屋騰空令的(de)比例隻有13%,在采用(yòng)新辦法之後,這(zhè)個(gè)比例上升到了(le)70%-效率**提高(gāo)了(le)。

全世界的(de)商界人(rén)士都在高(gāo)呼大(dà)數據時(shí)代來(lái)臨的(de)優勢:一家超市如何從一個(gè)17歲女(nǚ)孩的(de)購(gòu)物(wù)清單中,發現了(le)她已懷孕的(de)事實;或者将啤酒與尿不濕放在一起銷售,神奇地提高(gāo)了(le)雙方的(de)銷售額。大(dà)數據透露出來(lái)的(de)信息有時(shí)确實會起颠覆。比如,騰訊一項針對(duì)社交網絡的(de)統計顯示,愛(ài)看家庭劇的(de)男(nán)人(rén)是女(nǚ)性的(de)兩倍還(hái)多(duō);最關心金價的(de)是中國大(dà)媽,但緊随其後的(de)卻是90後。而在過去一年,支付寶中無線支付比例排名前十的(de)竟然全部在青海、西藏和(hé)内蒙古地區(qū)。

說明(míng):用(yòng)關注相關性思維方式來(lái)思考問題,解決問題。尋找原因是一種現代社會的(de)一神論,大(dà)數據推翻了(le)這(zhè)個(gè)論斷。過去尋找原因的(de)信念正在被‘更好’的(de)相關性所取代。當世界由探求因果關系變成挖掘相關關系,我們怎樣才能既不損壞建立在因果推理(lǐ)基礎之上的(de)社會繁榮和(hé)人(rén)類進步的(de)基石,又取得(de)實際的(de)進步呢(ne)?這(zhè)是值得(de)思考的(de)問題。

解釋:轉向相關性,不是不要因果關系,因果關系還(hái)是基礎,科學的(de)基石還(hái)是要的(de)。隻是在高(gāo)速信息化(huà)的(de)時(shí)代,爲了(le)得(de)到即時(shí)信息,實時(shí)預測,在快(kuài)速的(de)大(dà)數據分(fēn)析技術下(xià),尋找到相關性信息,就可(kě)預測用(yòng)戶的(de)行爲,爲企業快(kuài)速決策提供提前量。

比如預警技術,隻有提前幾十秒察覺,防禦系統才能起作用(yòng)。比如,雷達顯示有個(gè)提前量,如果沒有這(zhè)個(gè)預知的(de)提前量,雷達的(de)作用(yòng)也(yě)就沒有了(le),相關性也(yě)是這(zhè)個(gè)原理(lǐ)。比如,相對(duì)論與量子論的(de)争論也(yě)能說明(míng)問題,一個(gè)說上帝不擲骰子,一個(gè)說上帝擲骰子,争論幾十年,最後承認兩個(gè)都存在,而且量子論取得(de)更大(dà)的(de)發展-一個(gè)适用(yòng)于宇宙尺度,一個(gè)适用(yòng)于原子尺度。


六、預測原理(lǐ)


從不能預測轉變爲可(kě)以預測


大(dà)數據的(de)核心就是預測,大(dà)數據能夠預測體現在很多(duō)方面。大(dà)數據不是要教機器像人(rén)一樣思考,相反,它是把數學算(suàn)法運用(yòng)到海量的(de)數據上來(lái)預測事情發生的(de)可(kě)能性。正因爲在大(dà)數據規律面前,每個(gè)人(rén)的(de)行爲都跟别人(rén)一樣,沒有本質變化(huà),所以商家會比消費者更了(le)消費者的(de)行爲。
例如:大(dà)數據助微軟準确預測世界懷。微軟大(dà)數據團隊在2014年巴西世界足球賽前設計了(le)世界懷模型,該預測模型正确預測了(le)賽事最後幾輪每場(chǎng)比賽的(de)結果,包括預測德國隊将最終獲勝。預測成功歸功于微軟在世界懷進行過程中獲取的(de)大(dà)量數據,到淘汰賽階段,數據如滾雪(xuě)球般增多(duō),常握了(le)有關球員(yuán)和(hé)球隊的(de)足夠信息,以适當校準模型并調整對(duì)接下(xià)來(lái)比賽的(de)預測。
世界杯預測模型的(de)方法與設計其它事件的(de)模型相同,訣竅就是在預測中去除主觀性,讓數據說話(huà)。預測性數學模型幾乎不算(suàn)新事物(wù),但它們正變得(de)越來(lái)越準确。在這(zhè)個(gè)時(shí)代,數據分(fēn)析能力終于開始趕上數據收集能力,分(fēn)析師不僅有比以往更多(duō)的(de)信息可(kě)用(yòng)于構建模型,也(yě)擁有在很短時(shí)間内通(tōng)過計算(suàn)機将信息轉化(huà)爲相關數據的(de)技術。
幾年前,得(de)等每場(chǎng)比賽結束以後才能獲取所有數據,現在,數據是自動實時(shí)發送的(de),這(zhè)讓預測模型能獲得(de)更好的(de)調整且更準确。微軟世界懷模型的(de)成績說明(míng)了(le)其模型的(de)實力,它的(de)成功爲大(dà)數據的(de)力量提供了(le)強有力的(de)證明(míng),利用(yòng)同樣的(de)方法還(hái)可(kě)預測選舉或關注股票(piào)。類似的(de)大(dà)數據分(fēn)析正用(yòng)于商業、政府、經濟學和(hé)社會科學,它們都關于原始數據進行分(fēn)析。
我們進入了(le)一個(gè)用(yòng)數據進行預測的(de)時(shí)代,雖然我們可(kě)能無法解釋其背後的(de)原因。如果一個(gè)醫生隻要求病人(rén)遵從醫囑,卻沒法說明(míng)醫學幹預的(de)合理(lǐ)性的(de)話(huà),情況會怎麽樣呢(ne)?實際上,這(zhè)是依靠大(dà)數據取得(de)病理(lǐ)分(fēn)析的(de)醫生們一定會做(zuò)的(de)事情。
從一個(gè)人(rén)亂穿馬路時(shí)行進的(de)軌迹和(hé)速度來(lái)看他(tā)能及時(shí)穿過馬路的(de)可(kě)能性,都是大(dà)數據可(kě)以預測的(de)範圍。當然,如果一個(gè)人(rén)能及時(shí)穿過馬路,那麽他(tā)亂穿馬路時(shí),車子就隻需要稍稍減速就好。但是這(zhè)些預測系統之所以能夠成功,關鍵在于它們是建立在海量數據的(de)基礎之上的(de)。
此外,随著(zhe)系統接收到的(de)數據越來(lái)越多(duō),通(tōng)過記錄找到的(de)最好的(de)預測與模式,可(kě)以對(duì)系統進行改進。它通(tōng)常被視爲人(rén)工智能的(de)一部分(fēn),或者更确切地說,被視爲一種機器學**。真正的(de)革命并不在于分(fēn)析數據的(de)機器,而在于數據本身和(hé)我們如何運用(yòng)數據。一旦把統計學和(hé)現在大(dà)規模的(de)數據融合在一起,将會颠覆很多(duō)我們原來(lái)的(de)思維。所以現在能夠變成數據的(de)東西越來(lái)越多(duō),計算(suàn)和(hé)處理(lǐ)數據的(de)能力越來(lái)越強,所以大(dà)家突然發現這(zhè)個(gè)東西很有意思。所以,大(dà)數據能幹啥?能幹很多(duō)很有意思的(de)事情。
例如,預測當年葡萄酒的(de)品質。
很多(duō)品酒師品的(de)不是葡萄酒,那時(shí)候葡萄酒還(hái)沒有真正的(de)做(zuò)成,他(tā)們品的(de)是發爛的(de)葡萄。因此在那個(gè)時(shí)間點就預測當年葡萄酒的(de)品質是比較冒險的(de)。而且人(rén)的(de)心理(lǐ)的(de)因素是會影(yǐng)響他(tā)做(zuò)的(de)這(zhè)個(gè)預測,比如說地位越高(gāo)的(de)品酒師,在做(zuò)預測時(shí)會越保守,因爲他(tā)一旦預測錯了(le),要損失的(de)名譽代價是很大(dà)的(de)。所以的(de)品酒大(dà)師一般都不敢貿然說今年的(de)酒特别好,或者是特别差;而剛出道的(de)品酒師往往會‘語不驚人(rén)死不休的(de)’。
普林(lín)斯頓大(dà)學有一個(gè)英語學教授,他(tā)也(yě)很喜歡喝酒,喜歡儲藏葡萄酒,所以他(tā)就想是否可(kě)以分(fēn)析到底哪年酒的(de)品質好。然後他(tā)就找了(le)很多(duō)數據,比如說降雨(yǔ)量、平均氣溫、土壤成分(fēn)等等,然後他(tā)做(zuò)回歸,最後他(tā)說把參數都找出來(lái),做(zuò)了(le)個(gè)網站,告訴大(dà)家今年葡萄酒的(de)品質好壞以及秘訣是什(shén)麽。
當他(tā)的(de)研究公布的(de)時(shí)候,引起了(le)業界的(de)軒然大(dà)波,因爲他(tā)做(zuò)預測做(zuò)的(de)很提前,因爲今年的(de)葡萄收獲後要經過一段的(de)時(shí)間發酵,酒的(de)味道才會好,但這(zhè)個(gè)教授突然預測說今年的(de)酒是世紀最好的(de)酒。大(dà)家說怎麽敢這(zhè)麽說,太瘋狂了(le)。更瘋狂的(de)是到了(le)第二年,他(tā)預測今年的(de)酒比去年的(de)酒更好,連續兩次預測說是百年最好的(de)酒,但他(tā)真的(de)預測對(duì)了(le)。現在品酒師在做(zuò)評判之前,要先到他(tā)的(de)網站上看看他(tā)的(de)預測,然後再做(zuò)出自己的(de)判斷。有很多(duō)的(de)規律我們不知道,但是它潛伏在這(zhè)些大(dà)數據裏頭。
例如,大(dà)數據描繪‘傷害圖譜’;
廣州市傷害監測信息系統通(tōng)過廣州市紅十字會醫院、番禺區(qū)中心醫院、越秀區(qū)兒(ér)童醫院3個(gè)傷害監測哨點醫院,持續收集市内發生的(de)傷害信息,分(fēn)析傷害發生的(de)原因及危險因素,系統共收集傷害患者14681例,接近九成半都是意外事故。整體上,傷害多(duō)發生于男(nán)性,占61.76%,5歲以下(xià)兒(ér)童傷害比例高(gāo)達14.36%,家長(cháng)和(hé)社會應高(gāo)度重視,45.19%的(de)傷害都是發生在家中,其次才是公路和(hé)街(jiē)道。
收集到監測數據後,關鍵是通(tōng)過分(fēn)析處理(lǐ),把數據‘深加工’以利用(yòng)。比如,監測數據顯示,老人(rén)跌倒多(duō)數不是發生在雨(yǔ)天屋外,而是發生在家裏,尤其是旱上剛起床時(shí)和(hé)浴室裏,這(zhè)就提示,防控老人(rén)跌倒的(de)對(duì)策應該著(zhe)重在家居,起床要注意不要動作過猛,浴室要防滑,加扶手等等。
說明(míng):用(yòng)大(dà)數據預測思維方式來(lái)思考問題,解決問題。數據預測、數據記錄預測、數據統計預測、數據模型預測,數據分(fēn)析預測、數據模式預測、數據深層次信息預測等等,已轉變爲大(dà)數據預測、大(dà)數據記錄預測、大(dà)數據統計預測、大(dà)數據模型預測,大(dà)數據分(fēn)析預測、大(dà)數據模式預測、大(dà)數據深層次信息預測。
互聯網、移動互聯網和(hé)雲計算(suàn)機保證了(le)大(dà)數據實時(shí)預測的(de)可(kě)能性,也(yě)爲企業和(hé)用(yòng)戶提供了(le)實時(shí)預測的(de)信息,相關性預測的(de)信息,讓企業和(hé)用(yòng)戶搶占先機。由于大(dà)數據的(de)全樣本性,人(rén)和(hé)人(rén)都是一樣的(de),所以雲計算(suàn)機軟件預測的(de)效率和(hé)準确性**提高(gāo),有這(zhè)種迹象,就有這(zhè)種結果。


七、信息找人(rén)原理(lǐ)


從人(rén)找信息,轉變爲信息找人(rén)


互聯網和(hé)大(dà)數據的(de)發展,是一個(gè)從人(rén)找信息,到信息找人(rén)的(de)過程。先是人(rén)找信息,人(rén)找人(rén),信息找信息,現在是信息找人(rén)的(de)這(zhè)樣一個(gè)時(shí)代。信息找人(rén)的(de)時(shí)代,就是說一方面我們回到了(le)一種最初的(de),廣播模式是信息找人(rén),我們聽(tīng)收音(yīn)機,我們看電視,它是信息推給我們的(de),但是有一個(gè)缺陷,不知道我們是誰,後來(lái)互聯網反其道而行,提供搜索引擎技術,讓我知道如何找到我所需要的(de)信息,所以搜索引擎是一個(gè)很關鍵的(de)技術。
例如:從搜索引擎-向推薦引擎轉變。今天,後搜索引擎時(shí)代已經正式來(lái)到,什(shén)麽叫做(zuò)後搜索引擎時(shí)代呢(ne)?使用(yòng)搜索引擎的(de)頻(pín)率會**降低,使用(yòng)的(de)時(shí)長(cháng)也(yě)會**的(de)縮短,爲什(shén)麽使用(yòng)搜索引擎的(de)頻(pín)率在下(xià)降?時(shí)長(cháng)在下(xià)降?原因是推薦引擎的(de)誕生。就是說從人(rén)找信息到信息找人(rén)越來(lái)越成爲了(le)一個(gè)趨勢,推薦引擎就是說它很懂(dǒng)我,知道我要知道,所以是最好的(de)技術。喬布斯說,讓人(rén)感受不到技術的(de)技術是最好的(de)技術。
大(dà)數據還(hái)改變了(le)信息優勢。按照(zhào)循證醫學,現在治病的(de)第一件事情不是去研究病理(lǐ)學,而是拿過去的(de)數據去研究,相同情況下(xià)是如何治療的(de)。這(zhè)導緻專家和(hé)普通(tōng)人(rén)之間的(de)信息優勢沒有了(le)。原來(lái)我相信醫生,因爲醫生知道的(de)多(duō),但現在我可(kě)以到谷歌(gē)上查一下(xià),知道自己得(de)了(le)什(shén)麽病。
谷歌(gē)有一個(gè)機器翻譯的(de)團隊,最開始的(de)時(shí)候翻譯之後的(de)文字根本看不懂(dǒng),但是現在60%的(de)内容都能讀得(de)懂(dǒng)。谷歌(gē)機器翻譯團隊裏頭有一個(gè)笑(xiào)話(huà),說從團隊每離開一個(gè)語言學家,翻譯質量就會提高(gāo)。越是專家越搞不明(míng)白,但打破常規讓數據說話(huà),得(de)到真理(lǐ)的(de)速度反而更快(kuài)。
說明(míng):用(yòng)信息找人(rén)的(de)思維方式思考問題,解決問題。從人(rén)找信息到信息找人(rén),是交互時(shí)代一個(gè)轉變,也(yě)是智能時(shí)代的(de)要求。智能機器已不是冷(lěng)冰冰的(de)機器,而是具有一定智能的(de)機器。信息找人(rén)這(zhè)四個(gè)字,預示著(zhe)大(dà)數據時(shí)代可(kě)以讓信息找人(rén),原因是企業懂(dǒng)用(yòng)戶,機器懂(dǒng)用(yòng)戶,你需要什(shén)麽信息,企業和(hé)機器提前知道,而且主動提供你需要的(de)信息。


八、機器懂(dǒng)人(rén)原理(lǐ)


由人(rén)懂(dǒng)機器轉變爲機器更懂(dǒng)人(rén)


不是讓人(rén)更懂(dǒng)機器,而是讓機器更懂(dǒng)人(rén),或者說是能夠在使用(yòng)者很笨的(de)情況下(xià),仍然可(kě)以使用(yòng)機器。甚至不是讓人(rén)懂(dǒng)環境,而是讓我們的(de)環境來(lái)懂(dǒng)我們,環境來(lái)适應人(rén),某種程度上自然環境不能這(zhè)樣講,但是在數字化(huà)環境中已經是這(zhè)樣的(de)一個(gè)趨勢,就是我們所在的(de)生活世界,越來(lái)越趨向于它更适應于我們,更懂(dǒng)我們。哪個(gè)企業能夠真正做(zuò)到讓機器更懂(dǒng)人(rén),讓環境更懂(dǒng)人(rén),讓我們随身攜帶的(de)整個(gè)的(de)生活世界更懂(dǒng)得(de)我們的(de)話(huà),那他(tā)一定是具有競争力的(de)了(le),而‘大(dà)數據’技術能夠助我們一臂之力。
例如:亞馬遜網站,隻要買書(shū),就會提供一個(gè)今天司空見慣的(de)推薦,買了(le)這(zhè)本書(shū)的(de)人(rén)還(hái)買了(le)什(shén)麽書(shū),後來(lái)發現相關推薦的(de)書(shū)比我想買的(de)書(shū)還(hái)要好,時(shí)間久之後就會對(duì)它産生一種信任。這(zhè)種信任就像在北(běi)京的(de)那麽多(duō)書(shū)店(diàn)裏面,以前買書(shū)的(de)時(shí)候就在幾家,原因在于我買書(shū)比較多(duō),他(tā)都已經認識我了(le),都是我一去之後,我不說我要買什(shén)麽書(shū),他(tā)會推薦最近上來(lái)的(de)幾本書(shū),可(kě)能是我感興趣的(de)。這(zhè)樣我就不會到别的(de)很近的(de)書(shū)店(diàn),因爲這(zhè)家書(shū)店(diàn)更懂(dǒng)我。
例如,解題機器人(rén)挑戰大(dà)型預科學校高(gāo)考模拟試題的(de)結果,解題機器人(rén)的(de)學曆水(shuǐ)平應該比肩普通(tōng)高(gāo)三學生。計算(suàn)機不擅長(cháng)對(duì)語言和(hé)知識進行綜合解析,但通(tōng)過借助大(dà)規模數據庫對(duì)普通(tōng)文章(zhāng)做(zuò)出判斷的(de)方法,在對(duì)話(huà)填空和(hé)語句重排等題型上成績有所提高(gāo)。
讓機器懂(dǒng)人(rén),是讓機器具有學**的(de)功能。人(rén)工智能已轉變爲研究機器學**。大(dà)數據分(fēn)析要求機器更智能,具有分(fēn)析能力,機器即時(shí)學**變得(de)更重要。機器學**是指:計算(suàn)機利用(yòng)經驗改善自身性能的(de)行爲。機器學**主要研究如何使用(yòng)計算(suàn)機模拟和(hé)實現人(rén)類獲取知識(學**)過程、創新、重構已有的(de)知識,從而提升自身處理(lǐ)問題的(de)能力,機器學**的(de)最終目的(de)是從數據中獲取知識。
大(dà)數據技術的(de)其中一個(gè)核心目标是要從體量巨大(dà)、結構繁多(duō)的(de)數據中挖掘出隐蔽在背後的(de)規律,從而使數據發揮最大(dà)化(huà)的(de)價值。由計算(suàn)機代替人(rén)去挖掘信息,獲取知識。從各種各樣的(de)數據(包括結構化(huà)、半結構化(huà)和(hé)非結構化(huà)數據)中快(kuài)速獲取有價值信息的(de)能力,就是大(dà)數據技術。大(dà)數據機器分(fēn)析中,半監督學**、集成學**、 概率模型等技術尤爲重要。
說明(míng):用(yòng)機器更懂(dǒng)人(rén)的(de)思維方式思考問題,解決問題。機器從沒有常識到逐步有點常識,這(zhè)是很大(dà)的(de)變化(huà)。去年,美(měi)國人(rén)把一台雲計算(suàn)機送到大(dà)學裏去進修,增加知識和(hé)常識。最近俄羅斯人(rén)開發一台計算(suàn)機軟件通(tōng)過圖林(lín)測試,表明(míng)計算(suàn)機已初步具有智能。
讓機器懂(dǒng)人(rén),這(zhè)是人(rén)工智能的(de)成功,同時(shí),也(yě)是人(rén)的(de)大(dà)數據思維轉變。你的(de)機器、你的(de)軟件、你的(de)服務是否更懂(dǒng)人(rén)?将是衡量一個(gè)機器、一件軟件、一項服務好壞的(de)标準。人(rén)機關系已發生很大(dà)變化(huà),由人(rén)機分(fēn)離,轉化(huà)爲人(rén)機溝通(tōng),人(rén)機互補,機器懂(dǒng)人(rén),現在年青人(rén)已離不開智能手機是一個(gè)很好的(de)例證。在互聯網大(dà)數據時(shí)代,有問題問機器問百度,成爲生活的(de)一部分(fēn)。機器什(shén)麽都知道,原因是有大(dà)數據庫,機器可(kě)搜索到相關數據,從而使機器懂(dǒng)人(rén)。是人(rén)讓機器更懂(dǒng)人(rén),如果機器更懂(dǒng)人(rén),那麽機器的(de)價值更高(gāo)。


九、電子商務智能原理(lǐ)


大(dà)數據改變了(le)電子商務模式,讓電子商務更智能


商務智能,在今天大(dà)數據時(shí)代它獲得(de)的(de)重新的(de)定義

例如:傳統企業進入互聯網,在掌握了(le)‘大(dà)數據’技術應用(yòng)途徑之後,會發現有一種豁然開朗的(de)感覺,我整天就像在黑(hēi)屋子裏面找東西,找不著(zhe),突然碰到了(le)一個(gè)開關,發現那麽費力的(de)找東西,原來(lái)很容易找得(de)到。大(dà)數據思維,事實上它不是一個(gè)全稱的(de)判斷,隻是對(duì)我們所處的(de)時(shí)代某一個(gè)緯度的(de)描述。


十、定制産品原理(lǐ)

由企業生産産品轉變爲由客戶定制産品

下(xià)一波的(de)改革是大(dà)規模定制,爲大(dà)量客戶定制産品和(hé)服務,成本低、又兼具個(gè)性化(huà)。比如消費者希望他(tā)買的(de)車有紅色、綠(lǜ)色,廠商有能力滿足要求,但價格又不至于像手工制作那般讓人(rén)無法承擔。因此,在廠家可(kě)以負擔得(de)起大(dà)規模定制帶去的(de)高(gāo)成本的(de)前提下(xià),要真正做(zuò)到個(gè)性化(huà)産品和(hé)服務,就必須對(duì)客戶需求有很好的(de)了(le)解,這(zhè)背後就需要依靠大(dà)數據技術。
例如:大(dà)數據改變了(le)企業的(de)競争力。定制産品這(zhè)是一個(gè)很好的(de)技術,但是能不能夠形成企業的(de)競争力呢(ne)?在産業經濟學裏面有一個(gè)很重要的(de)區(qū)别,就是生産力和(hé)競争力的(de)區(qū)别,就是說一個(gè)東西是具有生産力的(de),那這(zhè)種生産力變成一種通(tōng)用(yòng)生産力的(de)時(shí)候,就不能形成競争力,因爲每一個(gè)人(rén),每一個(gè)企業都有這(zhè)個(gè)生産力的(de)時(shí)候,隻能提高(gāo)自己的(de)生産力,過去沒有車的(de)時(shí)候和(hé)有車的(de)時(shí)候,你的(de)活動半徑、運行速度大(dà)大(dà)提高(gāo)了(le),但是當每一個(gè)人(rén)都沒有車的(de)時(shí)候,你有車,就會形成競争力。大(dà)數據也(yě)一樣,你有大(dà)數據定制産品,别人(rén)沒有,就會形成競争力。
在互聯網大(dà)數據的(de)時(shí)代,商家最後很可(kě)能可(kě)以針對(duì)每一個(gè)顧客進行精準的(de)價格歧視。我們現在很多(duō)的(de)行爲都是比較粗放的(de),航空公司會給我們裏程卡,根據飛(fēi)行公裏數來(lái)累計裏程,但其實不同顧客所飛(fēi)行的(de)不同裏程對(duì)航空公司的(de)利潤貢獻是不一樣的(de)。所以有一天某位顧客可(kě)能會收到一封信,“恭喜先生,您已經被我們選爲幸運顧客,我們提前把您升級到白金卡。”這(zhè)說明(míng)這(zhè)個(gè)顧客對(duì)航空公司的(de)貢獻已經夠多(duō)了(le)。有一天銀行說“恭喜您,您的(de)額度又被提高(gāo)了(le),”就說明(míng)錢花得(de)已經太多(duō)了(le)。
正因爲在大(dà)數據規律面前,每個(gè)人(rén)的(de)行爲都跟别人(rén)一樣,沒有本質變化(huà)。所以商家會比消費者更了(le)消費者的(de)行爲。也(yě)許你正在想,工作了(le)一年很辛苦,要不要去哪裏度假?打開e-Mail,就有航空公司、旅行社的(de)郵件。
說明(míng):用(yòng)定制産品思維方式思考問題,解決問題。大(dà)數據時(shí)代讓企業找到了(le)定制産品、訂單生産、用(yòng)戶銷售的(de)新路子。用(yòng)戶在家購(gòu)買商品已成爲趨勢,快(kuài)遞的(de)快(kuài)速,讓用(yòng)戶體驗到實時(shí)購(gòu)物(wù)的(de)快(kuài)感,進而成爲網購(gòu)迷,個(gè)人(rén)消費不是減少了(le),反而是增加了(le)。爲什(shén)麽企業要互聯網化(huà)大(dà)數據化(huà),也(yě)許有這(zhè)個(gè)原因。2000萬家互聯網網店(diàn)的(de)出現,說明(míng)數據廣告、數據傳媒的(de)重要性。
企業産品直接銷售給用(yòng)戶,省去了(le)中間商流通(tōng)環節,使産品的(de)價格可(kě)以以出廠價銷售,讓銷費者獲得(de)了(le)好處,網上産品便宜成爲用(yòng)戶的(de)信念,網購(gòu)市場(chǎng)形成了(le)。要讓用(yòng)戶成爲你的(de)産品粉絲,就必須了(le)解用(yòng)戶需要,定制産品成爲用(yòng)戶的(de)心願,也(yě)就成爲企業發展的(de)新方向。
大(dà)數據思維客觀存在,大(dà)數據思維是新的(de)思維觀。用(yòng)大(dà)數據思維方式思考問題,解決問題是當下(xià)企業潮流。大(dà)數據思維開啓了(le)一次重大(dà)的(de)時(shí)代轉型。

掃一掃分(fēn)享當前頁面
分(fēn)享到