大數據很火，也都認可它很重要。那都有哪些細分領(lǐng)域在用實(shí)時(shí)大數據分析?大數據分析目前有哪些主流技術(shù)?大數據分析有什么挑戰?

上海云人科技有限公司，專(zhuān)注于大數據實(shí)時(shí)分析。CEO吳朱華，2006年、2009年都在中關(guān)村軟件園，IBM中國研究院做一些云操作系統的開(kāi)發(fā)工作。2009年年底，從中國IBI中國研究院離職。2010年回到上海，寫(xiě)一本書(shū)《云計算核心技術(shù)剖析》。2011年，在上海組建云人科技的團隊，推出了一個(gè)產(chǎn)品叫Yun table。以下是他在“2013云世界大會(huì )”上的分享：

大數據在各行業(yè)的機遇如下：金融證券(高頻交易、量化交易)，電信業(yè)務(wù)(支撐系統、統一營(yíng)帳、商業(yè)智能)，能源(電廠(chǎng)電網(wǎng)監控、用電信息采集分析)，互聯(lián)網(wǎng)與電商(用戶(hù)行為分析、商品模型分析、信用分析)，其他行業(yè)如智慧城市、物聯(lián)網(wǎng)。

經(jīng)典的案例：

智慧城市，一個(gè)城市，大概有十幾萬(wàn)的攝像頭在城市里面，每秒都會(huì )發(fā)數據到云端的數據中心里面，每天有TB級別的數據需要處理，并且需要實(shí)時(shí)的反饋，這個(gè)場(chǎng)景需要實(shí)時(shí)處理的技術(shù)。

車(chē)聯(lián)網(wǎng)，我們有一個(gè)客戶(hù)做車(chē)聯(lián)網(wǎng)，他大概一個(gè)城市每臺電腦上，都要裝終端，這個(gè)終端每分鐘會(huì )發(fā)一個(gè)路況的信息發(fā)到云端，要發(fā)一億條數據到云端里面，并且是每分鐘進(jìn)行一些計算，實(shí)時(shí)的判斷路況，給用戶(hù)最好的行車(chē)建議。

金融證券，比如金融交易電話(huà)交易是一個(gè)主流的方向，我們?yōu)橐粋€(gè)證券的機構構建了一個(gè)非常大的云平臺，有幾百億條數據放在后臺里面，可以實(shí)時(shí)的提供數據的分析，數據的接口，讓他們快速的運行。

電信，我們這邊在移動(dòng)那邊有一個(gè)案例。我們在一個(gè)省里面，我們把一個(gè)省的所有上網(wǎng)的信息，都加載到我們的集權里面，我們的集權可以把一些統計反饋給他們，支撐他們一些業(yè)務(wù)的支撐系統，還有商業(yè)技能，還有統計相關(guān)的。

能源，主要用于電廠(chǎng)電網(wǎng)的監控，用電信息采集的分析。

電商，實(shí)時(shí)的推廣廣告給用戶(hù)，他們可以做商品模型的分析，把最好的產(chǎn)品推薦給用戶(hù)。比如說(shuō)互聯(lián)網(wǎng)里面，有一個(gè)商品模型，還有信用分析。我有一個(gè)朋友是做信用分析的，在十幾秒鐘之內把這個(gè)人的數據進(jìn)行一個(gè)分析，給用戶(hù)做一個(gè)評級，迅速的判斷這個(gè)用戶(hù)是不是值得放貸款給他。

為什么需要大數據實(shí)時(shí)的分析?

第一、實(shí)時(shí)的決策，量化交易，可以實(shí)時(shí)的計算數據，迅速的判斷我是買(mǎi)股票還是不買(mǎi)。

第二、提高業(yè)務(wù)效率。

第三、對于到數據，我們可以自由的嘗試一些新的算法，或者是新的策略。這樣通過(guò)實(shí)時(shí)的嘗試，我們可以快速發(fā)現新的觀(guān)點(diǎn)和機會(huì )。

第四、提供業(yè)務(wù)產(chǎn)出。

大數據的挑戰是什么呢?首先是要快：10秒以?xún)龋?00毫秒為佳給出結果?；ヂ?lián)網(wǎng)公司，百度他們希望100毫秒給出結果。一些金融機構他們希望微秒給出結果，需要實(shí)時(shí)的能力，第一點(diǎn)就是快，就是實(shí)時(shí)的分析。

第二、就是大，針對的數據量，是10億每TB的級別。之前我們認為數據超過(guò)1000萬(wàn)不算大。我們現在碰到最大的集權，大概是接近萬(wàn)億條數據這樣的級別。

第三、可以做各種各樣的分析操作。最簡(jiǎn)單的是查詢(xún)，也可以是邏輯復雜一些的算法和數據分析。

有哪些技術(shù)可以選擇?

第一個(gè)是hadoop。它本身是谷歌研發(fā)出來(lái)的，它是在大數據方面的算法，對于TB數據，在大方面沒(méi)有問(wèn)題，并且操作多樣化。因為他上線(xiàn)的工具有很多的算法都是非常不錯的。但是它的快比較尷尬，他需要一分鐘以?xún)炔趴梢?，他很多要做一個(gè)reduce，需要很長(cháng)的時(shí)間。

第二、NoSQL(非關(guān)系型的數據庫)。在大方面，應該可以支撐大。Hbase可以滿(mǎn)足大的特點(diǎn)，它可以做到一個(gè)大。Hbase底層是數據庫，只能支持簡(jiǎn)單的查詢(xún)。Hbase很難做一些邏輯復雜的數據分析和挖掘。比如說(shuō)淘寶那邊，他們可能比較有錢(qián)，他們用大量的硬件和大量的開(kāi)發(fā)成本，有一套Hbase的數據開(kāi)發(fā)集群。對于中小企業(yè)，和傳統的企業(yè)是不的太適合用No SQL做分析的。它需要巨大的硬件成本和開(kāi)發(fā)成本。

傳統的數據庫甲骨文支持大數據的分析嗎?支持算法可以，但是天生對大的數據運算比較吃力。