當今，大數據的到來(lái)，已經(jīng)成為現實(shí)生活中無(wú)法逃避的挑戰。每當我們要做出決策的時(shí)候，大數據就無(wú)處不在。大數據術(shù)語(yǔ)廣泛地出現也使得人們漸漸明白了它的重要性。大數據漸漸向人們展現了它為學(xué)術(shù)、工業(yè)和政府帶來(lái)的巨大機遇。與此同時(shí)，大數據也向參與的各方提出了巨大的挑戰，首先是三個(gè)重要的技術(shù)問(wèn)題：

一、如何利用信息技術(shù)等手段處理非結構化和半結構化數據

大數據中，結構化數據只占15%左右，其余的85%都是非結構化的數據，它們大量存在于社交網(wǎng)絡(luò )、互聯(lián)網(wǎng)和電子商務(wù)等領(lǐng)域。另一方面，也許有90%的數據來(lái)自開(kāi)源數據，其余的被存儲在數據庫中。大數據的不確定性表現在高維、多變和強隨機性等方面。股票交易數據流是不確定性大數據的一個(gè)典型例子。

大數據刺激了大量研究問(wèn)題。非結構化和半結構化數據的個(gè)體表現、一般性特征和基本原理尚不清晰，這些都需要通過(guò)包括數學(xué)、經(jīng)濟學(xué)、社會(huì )學(xué)、計算機科學(xué)和管理科學(xué)在內的多學(xué)科交叉來(lái)研究和討論。給定一種半結構化或非結構化數據，比如圖像，如何把它轉化成多維數據表、面向對象的數據模型或者直接基于圖像的數據模型？值得注意的是，大數據每一種表示形式都僅呈現數據本身的側面表現，并非全貌。

如果把通過(guò)數據挖掘提取“粗糙知識”的過(guò)程稱(chēng)為“一次挖掘”過(guò)程，那么將粗糙知識與被量化后主觀(guān)知識，包括具體的經(jīng)驗、常識、本能、情境知識和用戶(hù)偏好，相結合而產(chǎn)生“智能知識”過(guò)程就叫做“二次挖掘”。從“一次挖掘”到“二次挖掘”類(lèi)似事物“量”到“質(zhì)”的飛躍。

由于大數據所具有的半結構化和非結構化特點(diǎn)，基于大數據的數據挖掘所產(chǎn)生的結構化的“粗糙知識”（潛在模式）也伴有一些新的特征。這些結構化的粗糙知識可以被主觀(guān)知識加工處理并轉化，生成半結構化和非結構化的智能知識。尋求“智能知識”反映了大數據研究的核心價(jià)值。

二、如何探索大數據復雜性、不確定性特征描述的刻畫(huà)方法及大數據的系統建模

這一問(wèn)題的突破是實(shí)現大數據知識發(fā)現的前提和關(guān)鍵。從長(cháng)遠角度來(lái)看，依照大數據的個(gè)體復雜性和隨機性所帶來(lái)的挑戰將促使大數據數學(xué)結構的形成，從而導致大數據統一理論的完備。從短期而言，學(xué)術(shù)界鼓勵發(fā)展一種一般性的結構化數據和半結構化、非結構化數據之間的轉化原則，以支持大數據的交叉工業(yè)應用。管理科學(xué)，尤其是基于最優(yōu)化的理論將在發(fā)展大數據知識發(fā)現的一般性方法和規律性中發(fā)揮重要的作用。

大數據的復雜形式導致許多對“粗糙知識”的度量和評估相關(guān)的研究問(wèn)題。已知的最優(yōu)化、數據包絡(luò )分析、期望理論、管理科學(xué)中的效用理論可以被應用到研究如何將主觀(guān)知識融合到數據挖掘產(chǎn)生的粗糙知識的“二次挖掘”過(guò)程中。這里人機交互將起到至關(guān)重要的作用。

三、數據異構性與決策異構性的關(guān)系對大數據知識發(fā)現與管理決策的影響

由于大數據本身的復雜性，這一問(wèn)題無(wú)疑是一個(gè)重要的科研課題，對傳統的數據挖掘理論和技術(shù)提出了新的挑戰。在大數據環(huán)境下，管理決策面臨著(zhù)兩個(gè)“異構性”問(wèn)題：“數據異構性”和“決策異構性”。傳統的管理決定模式取決于對業(yè)務(wù)知識的學(xué)習和日益積累的實(shí)踐經(jīng)驗，而管理決策又是以數據分析為基礎的。

大數據已經(jīng)改變了傳統的管理決策結構的模式。研究大數據對管理決策結構的影響會(huì )成為一個(gè)公開(kāi)的科研問(wèn)題。除此之外，決策結構的變化要求人們去探討如何為支持更高層次的決策而去做“二次挖掘”。無(wú)論大數據帶來(lái)了哪種數據異構性，大數據中的“粗糙知識”仍可被看作“一次挖掘”的范疇。通過(guò)尋找“二次挖掘”產(chǎn)生的“智能知識”來(lái)作為數據異構性和決策異構性之間的橋梁是十分必要的。探索大數據環(huán)境下決策結構是如何被改變的，相當于研究如何將決策者的主觀(guān)知識參與到?jīng)Q策的過(guò)程中。

大數據是一種具有隱藏法則的人造自然，尋找大數據的科學(xué)模式將帶來(lái)對研究大數據之美的一般性方法的探究，盡管這樣的探索十分困難，但是如果我們找到了將非結構化、半結構化數據轉化成結構化數據的方法，已知的數據挖掘方法將成為大數據挖掘的工具。

以上是我對大數據的三個(gè)重要技術(shù)問(wèn)題進(jìn)行研究的一些心得，也僅僅是一個(gè)研究大數據挑戰的起點(diǎn)。除此之外，還有一些數據科學(xué)的問(wèn)題，包括在獲得數據和從數據中產(chǎn)生規則方面可能存在的公理體系，基于數據庫的知識發(fā)現規則與基于開(kāi)放數據源的知識發(fā)現規則以及大數據挖掘的整體和（或）局部解的存在性問(wèn)題等等。在不久的將來(lái)，我相信這些問(wèn)題都需要去仔細研究，以獲得突破性科研與應用成果。