目前大數據的發(fā)展依然存在諸多挑戰，包括七大方面的挑戰：業(yè)務(wù)部門(mén)沒(méi)有清晰的大數據需求導致數據資產(chǎn)逐漸流失;企業(yè)內部數據孤島嚴重，導致數據價(jià)值不能充分挖掘;數據可用性低，數據質(zhì)量差，導致數據無(wú)法利用;數據相關(guān)管理技術(shù)和架構落后，導致不具備大數據處理能力;數據安全能力和防范意識差，導致數據泄露;大數據人才缺乏導致大數據工作難以開(kāi)展;大數據越開(kāi)放越有價(jià)值，但缺乏大數據相關(guān)的政策法規，導致數據開(kāi)放和隱私之間難以平衡，也難以更好的開(kāi)放。

　　挑戰一：業(yè)務(wù)部門(mén)沒(méi)有清晰的大數據需求

　　很多企業(yè)業(yè)務(wù)部門(mén)不了解大數據，也不了解大數據的應用場(chǎng)景和價(jià)值，因此難以提出大數據的準確需求。由于業(yè)務(wù)部門(mén)需求不清晰，大數據部門(mén)又是非盈利部門(mén)，企業(yè)決策層擔心投入比較多的成本，導致了很多企業(yè)在搭建大數據部門(mén)時(shí)猶豫不決，或者很多企業(yè)都處于觀(guān)望嘗試的態(tài)度，從根本上影響了企業(yè)在大數據方向的發(fā)展，也阻礙了企業(yè)積累和挖掘自身的數據資產(chǎn)，甚至由于數據沒(méi)有應用場(chǎng)景，刪除很多有價(jià)值歷史數據，導致企業(yè)數據資產(chǎn)流失。因此，這方面需要大數據從業(yè)者和專(zhuān)家一起，推動(dòng)和分享大數據應用場(chǎng)景，讓更多的業(yè)務(wù)人員了解大數據的價(jià)值。

　　挑戰二：企業(yè)內部數據孤島嚴重

　　企業(yè)啟動(dòng)大數據最重要的挑戰是數據的碎片化。在很多企業(yè)中尤其是大型的企業(yè)，數據常常散落在不同部門(mén)，而且這些數據存在不同的數據倉庫中，不同部門(mén)的數據技術(shù)也有可能不一樣，這導致企業(yè)內部自己的數據都沒(méi)法打通。如果不打通這些數據，大數據的價(jià)值則非常難挖掘。大數據需要不同數據的關(guān)聯(lián)和整合才能更好的發(fā)揮理解客戶(hù)和理解業(yè)務(wù)的優(yōu)勢。如何將不同部門(mén)的數據打通，并且實(shí)現技術(shù)和工具共享，才能更好的發(fā)揮企業(yè)大數據的價(jià)值。

　　挑戰三：數據可用性低，數據質(zhì)量差

　　很多中型以及大型企業(yè)，每時(shí)每刻也都在產(chǎn)生大量的數據，但很多企業(yè)在大數據的預處理階段很不重視，導致數據處理很不規范。大數據預處理階段需要抽取數據把數據轉化為方便處理的數據類(lèi)型，對數據進(jìn)行清洗和去噪，以提取有效的數據等操作。甚至很多企業(yè)在數據的上報就出現很多不規范不合理的情況。以上種種原因，導致企業(yè)的數據的可用性差，數據質(zhì)量差，數據不準確。而大數據的意義不僅僅是要收集規模龐大的數據信息，還有對收集到的數據進(jìn)行很好的預處理處理，才有可能讓數據分析和數據挖掘人員從可用性高的大數據中提取有價(jià)值的信息。Sybase的數據表明，高質(zhì)量的數據的數據應用可以顯著(zhù)提升企業(yè)的商業(yè)表現，數據可用性提高10%，企業(yè)的業(yè)績(jì)至少提升在10%以上。

　　挑戰四：數據相關(guān)管理技術(shù)和架構

　　技術(shù)架構的挑戰包含以下幾方面：(1)傳統的數據庫部署不能處理TB級別的數據，快速增長(cháng)的數據量超越了傳統數據庫的管理能力。如何構建分布式的數據倉庫，并可以方便擴展大量的服務(wù)器成為很多傳統企業(yè)的挑戰;(2)很多企業(yè)采用傳統的數據庫技術(shù)，在設計的開(kāi)始就沒(méi)有考慮數據類(lèi)別的多樣性，尤其是對結構化數據、半結構化和非結構化數據的兼容;(3)傳統企業(yè)的數據庫，對數據處理時(shí)間要求不高，這些數據的統計結果往往滯后一天或兩天才能統計出來(lái)。但大數據需要實(shí)時(shí)處理數據，進(jìn)行分鐘級甚至是秒級計算。傳統的數據庫架構師缺乏實(shí)時(shí)數據處理的能力;(4)海量的數據需要很好的網(wǎng)絡(luò )架構，需要強大的數據中心來(lái)支撐，數據中心的運維工作也將成為挑戰。如何在保證數據穩定、支持高并發(fā)的同時(shí)，減少服務(wù)器的低負載情況，成為海量數據中心運維的一個(gè)重點(diǎn)工作。

　　挑戰五：數據安全

　　網(wǎng)絡(luò )化生活使得犯罪分子更容易獲得關(guān)于人的信息，也有了更多不易被追蹤和防范的犯罪手段，可能會(huì )出現更高明的騙局。如何保證用戶(hù)的信息安全成為大數據時(shí)代非常重要的課題。在線(xiàn)數據越來(lái)越多，黑客犯罪的動(dòng)機比以往都來(lái)的強烈，一些知名網(wǎng)站密碼泄露、系統漏洞導致用戶(hù)資料被盜等個(gè)人敏感信息泄露事件已經(jīng)警醒我們，要加強大數據網(wǎng)絡(luò )安全的建設。另外，大數據的不斷增加，對數據存儲的物理安全性要求會(huì )越來(lái)越高，從而對數據的多副本與容災機制也提出更高的要求。目前很多傳統企業(yè)的數據安全令人擔憂(yōu)。

　　挑戰六：大數據人才缺乏

　　大數據建設的每個(gè)環(huán)節都需要依靠專(zhuān)業(yè)人員完成，因此，必須培養和造就一支掌握大數據技術(shù)、懂管理、有大數據應用經(jīng)驗的大數據建設專(zhuān)業(yè)隊伍。目前大數據相關(guān)人才的欠缺將阻礙大數據市場(chǎng)發(fā)展。據Gartner預測，到2015年，全球將新增440萬(wàn)個(gè)與大數據相關(guān)的工作崗位，且會(huì )有25%的組織設立首席數據官職位。大數據的相關(guān)職位需要的是復合型人才，能夠對數學(xué)、統計學(xué)、數據分析、機器學(xué)習和自然語(yǔ)言處理等多方面知識綜合掌控。未來(lái)，大數據將會(huì )出現約100萬(wàn)的人才缺口，在各個(gè)行業(yè)大數據中高端人才都會(huì )成為最炙手可熱的人才，涵蓋了大數據的數據開(kāi)發(fā)工程師、大數據分析師、數據架構師、大數據后臺開(kāi)發(fā)工程師、算法工程師等多個(gè)方向。因此需要高校和企業(yè)共同努力去培養和挖掘。目前最大的問(wèn)題是很多高校缺乏大數據，所以擁有大數據的企業(yè)應該與學(xué)校聯(lián)合培養人才。

　　挑戰七：數據開(kāi)放與隱私的權衡

　　在大數據應用日益重要的今天，數據資源的開(kāi)放共享已經(jīng)成為在數據大戰中保持優(yōu)勢的關(guān)鍵。商業(yè)數據和個(gè)人數據的共享應用，不僅能促進(jìn)相關(guān)產(chǎn)業(yè)的發(fā)展，也能給我們的生活帶來(lái)巨大的便利。由于政府、企業(yè)和行業(yè)信息化系統建設往往缺少統一規劃，系統之間缺乏統一的標準，形成了眾多“信息孤島”，而且受行政壟斷和商業(yè)利益所限，數據開(kāi)放程度較低，這給數據利用造成極大障礙。另外一個(gè)制約我國數據資源開(kāi)放和共享的一個(gè)重要因素是政策法規不完善，大數據挖掘缺乏相應的立法。無(wú)法既保證共享又防止濫用。因此，建立一個(gè)良性發(fā)展的數據共享生態(tài)系統，是我國大數據發(fā)展需要邁過(guò)去的一道砍。同時(shí)，開(kāi)放與隱私如何平衡，也是大數據開(kāi)放過(guò)程中面臨的最大難題。如何在推動(dòng)數據全面開(kāi)放、應用和共享的同時(shí)有效地保護公民、企業(yè)隱私，逐步加強隱私立法，將是大數據時(shí)代的一個(gè)重大挑戰。