千文網(wǎng)小編為你整理了多篇相關(guān)的《大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)調(diào)研報(bào)告版五篇范文(大全)》，但愿對(duì)你工作學(xué)習(xí)有幫助，當(dāng)然你在千文網(wǎng)還可以找到更多《大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)調(diào)研報(bào)告版五篇范文(大全)》。
第一篇：大數(shù)據(jù)審計(jì)調(diào)研報(bào)告
大數(shù)據(jù)審計(jì)調(diào)研報(bào)告
胡澤君審計(jì)長(zhǎng)曾多次強(qiáng)調(diào)指出，要積極推進(jìn)大數(shù)據(jù)審計(jì)，堅(jiān)持科技強(qiáng)審，通過信息化、數(shù)字化，努力提高審計(jì)監(jiān)督的質(zhì)量和效率。新形勢(shì)下，審計(jì)工作特別離不開大數(shù)據(jù)的支撐，利用大數(shù)據(jù)進(jìn)行審計(jì)，或?qū)⒊蔀閷徲?jì)機(jī)關(guān)應(yīng)對(duì)復(fù)雜社會(huì)經(jīng)濟(jì)管理形勢(shì)、提升審計(jì)工作質(zhì)量的重要手段。以\"金審工程\"為基礎(chǔ)的審計(jì)信息系統(tǒng)經(jīng)過多年的建設(shè)發(fā)展，目前正逐步建立和完善。同時(shí)，在政府各部門中社會(huì)保障大數(shù)據(jù)既具有較高的完整性，也兼具較高的準(zhǔn)確性。這些得天獨(dú)厚的條件，不僅使審計(jì)對(duì)\"大數(shù)據(jù)\"監(jiān)督管理成為可能，更為實(shí)施以\"大數(shù)據(jù)\"為基礎(chǔ)的審計(jì)\"全覆蓋\"奠定了基礎(chǔ)。
一、大數(shù)據(jù)技術(shù)在財(cái)政審計(jì)方面的運(yùn)用
（一）運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)是時(shí)代發(fā)展的必然要求。大數(shù)據(jù)不僅是信息技術(shù)的重大進(jìn)步，更是發(fā)展理念的重大創(chuàng)新，對(duì)經(jīng)濟(jì)社會(huì)發(fā)展起到重要作用，對(duì)與數(shù)據(jù)密切相關(guān)的審計(jì)工作也必將產(chǎn)生深刻影響。當(dāng)前，財(cái)政、稅務(wù)、人民銀行等部門普遍進(jìn)行信息系統(tǒng)建設(shè)，財(cái)政部門開展的\"金財(cái)工程\"覆蓋財(cái)政收支管理的業(yè)務(wù)應(yīng)用系統(tǒng)，涵蓋了預(yù)算管理、國(guó)庫集中收付等業(yè)務(wù)，對(duì)財(cái)政部門的審計(jì)單位信息化的發(fā)展，迫切要求運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)。
（二）運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)是推動(dòng)完善國(guó)家治理的迫切需要。財(cái)政審計(jì)的范圍突破了傳統(tǒng)的財(cái)政收支概念，囊括了政府性收支的全部?jī)?nèi)容。全口徑預(yù)算的審查監(jiān)督付諸實(shí)施，如何在有限的時(shí)間內(nèi)查找和發(fā)現(xiàn)問題，運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)成為推動(dòng)完善國(guó)家治理的迫切需要。
（三）運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)是財(cái)政精細(xì)化管理的要求。在精細(xì)化管理要求之下，財(cái)政預(yù)算審查、預(yù)算執(zhí)行差異分析、預(yù)算與決算的對(duì)比分析都是使用系統(tǒng)大數(shù)據(jù)來完成的。相應(yīng)地，財(cái)政預(yù)算執(zhí)行審計(jì)要實(shí)現(xiàn)全口徑分析，必須使用系統(tǒng)數(shù)據(jù)。如利用國(guó)庫支付系統(tǒng)的數(shù)據(jù)，通過對(duì)指標(biāo)來源、資金性質(zhì)、資金流向的跟蹤分析，實(shí)現(xiàn)所有財(cái)政資金全過程跟蹤審計(jì)。 （四）大數(shù)據(jù)審計(jì)現(xiàn)在的運(yùn)用情況。按照審計(jì)署的要求，建立了財(cái)政數(shù)據(jù)定期報(bào)送機(jī)制，每半年收集一次財(cái)政數(shù)據(jù)，并對(duì)收集的數(shù)據(jù)進(jìn)行整理，生成審計(jì)人員可以使用的標(biāo)準(zhǔn)表。財(cái)政科聯(lián)合信息科，對(duì)預(yù)算編報(bào)系統(tǒng)、預(yù)算指標(biāo)系統(tǒng)、非稅征管系統(tǒng)、決算編報(bào)系統(tǒng)等的財(cái)務(wù)和業(yè)務(wù)數(shù)據(jù)，集中進(jìn)行多系統(tǒng)關(guān)聯(lián)、大數(shù)據(jù)比對(duì)。將數(shù)據(jù)分析形成的審計(jì)中間表和疑點(diǎn)表作為重點(diǎn)進(jìn)行審計(jì)，提高了效率和增強(qiáng)指導(dǎo)性。審計(jì)結(jié)束后，強(qiáng)化經(jīng)驗(yàn)總結(jié)，形成數(shù)據(jù)采集轉(zhuǎn)換指南，歸集整理形成財(cái)政大數(shù)據(jù)審計(jì)模型方法體系表，為進(jìn)一步深化大數(shù)據(jù)審計(jì)積累經(jīng)驗(yàn)。
二、社保審計(jì)大數(shù)據(jù)信息管理現(xiàn)狀
（一）社保部門數(shù)據(jù)管理情況。一是社保業(yè)務(wù)實(shí)現(xiàn)網(wǎng)絡(luò)化。隨著金保工程的推進(jìn)，社會(huì)保險(xiǎn)\"六險(xiǎn)\"統(tǒng)征已經(jīng)實(shí)現(xiàn)，社會(huì)保障業(yè)務(wù)辦理正逐步向社區(qū)（村）、單位及個(gè)人延伸，社會(huì)保障業(yè)務(wù)一體化架構(gòu)正逐漸完善。二是社保資金使用服務(wù)實(shí)現(xiàn)規(guī)范化。衛(wèi)生三級(jí)醫(yī)療服務(wù)網(wǎng)初步實(shí)現(xiàn)信息化，市級(jí)、縣級(jí)醫(yī)院、鄉(xiāng)鎮(zhèn)衛(wèi)生院醫(yī)療業(yè)務(wù)管理系統(tǒng)已經(jīng)平穩(wěn)運(yùn)行，鄉(xiāng)村衛(wèi)生管理一體化正逐步規(guī)范，居民人口及流動(dòng)人口信息統(tǒng)計(jì)系統(tǒng)已趨于成熟。三是民政事業(yè)實(shí)現(xiàn)信息化。民政城鄉(xiāng)居民低保、醫(yī)療救助及優(yōu)撫等業(yè)務(wù)完成了由手工到信息化的轉(zhuǎn)變，數(shù)據(jù)也由紙質(zhì)向信息化轉(zhuǎn)換。
（二）審計(jì)機(jī)關(guān)對(duì)社保數(shù)據(jù)的審計(jì)情況。審計(jì)機(jī)關(guān)在工作中采集了大量的財(cái)務(wù)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，但沒有對(duì)這些數(shù)據(jù)進(jìn)行統(tǒng)一和規(guī)范地管理，一般是保存在審計(jì)人員的電腦中，很難實(shí)現(xiàn)與局內(nèi)其他審計(jì)人員和所屬部門的數(shù)據(jù)共享，導(dǎo)致工作中出現(xiàn)重復(fù)采集數(shù)據(jù)的現(xiàn)象。由于大數(shù)據(jù)信息化環(huán)境下社保系統(tǒng)的特殊性，內(nèi)部控制轉(zhuǎn)變?yōu)閷?duì)人和系統(tǒng)兩方面的控制，而且多數(shù)情況是以計(jì)算機(jī)自動(dòng)控制為主。數(shù)據(jù)網(wǎng)絡(luò)安全存在隱患，大數(shù)據(jù)技術(shù)本身的技術(shù)架構(gòu)，決定了采用\"大數(shù)據(jù)\"技術(shù)架構(gòu)的系統(tǒng)安全防護(hù)的難度。
審計(jì)局在社保資金審計(jì)中，收集了醫(yī)保、養(yǎng)老、低保、公積金等民生資金的業(yè)務(wù)數(shù)據(jù)，建立了審計(jì)數(shù)據(jù)庫，信息技術(shù)人員和社保審計(jì)人員聯(lián)合對(duì)各類數(shù)據(jù)進(jìn)行了深入分析。在審計(jì)分析中，首先明確所面臨問題的類型，然后根據(jù)類型的不同選擇具體的處理方法。例如，在做參保對(duì)象的信用分析時(shí)，首先明確該問題類型屬于分類，如果該問題類型無法用數(shù)據(jù)挖掘工具解決，那么就應(yīng)當(dāng)選擇另外更加適合的方法來進(jìn)行解決。建立審計(jì)方法，對(duì)采集的業(yè)務(wù)數(shù)據(jù)、財(cái)政財(cái)務(wù)數(shù)據(jù)以及相關(guān)外部數(shù)據(jù)進(jìn)行綜合分析，生成審計(jì)中間表和疑點(diǎn)分析數(shù)據(jù)，采取業(yè)務(wù)跟蹤、內(nèi)控測(cè)試、數(shù)據(jù)比對(duì)等方式，發(fā)現(xiàn)審計(jì)疑點(diǎn)并進(jìn)行分析、篩查和分類。運(yùn)用\"互聯(lián)網(wǎng)+\"思維，注重外部數(shù)據(jù)的搜集和運(yùn)用，包括企業(yè)登記信息、稅務(wù)征繳信息、車輛信息、房產(chǎn)信息等與社保審計(jì)相關(guān)的數(shù)據(jù)。注重發(fā)票查詢系統(tǒng)、企業(yè)信用公示系統(tǒng)等在公開資源的使用，積極挖掘和構(gòu)建內(nèi)、外部數(shù)據(jù)間潛在的關(guān)聯(lián)，尋找相關(guān)的線索和突破口，搭建多維度、立體式審計(jì)工作大數(shù)據(jù)平臺(tái)。 （三）當(dāng)前在社保審計(jì)中需解決的幾個(gè)問題。一是解決數(shù)據(jù)價(jià)值認(rèn)識(shí)和利用問題。在審計(jì)機(jī)關(guān)還存在著有些對(duì)于數(shù)據(jù)價(jià)值觀念不強(qiáng)，不注重基礎(chǔ)社保數(shù)據(jù)的積累和分類工作，對(duì)于歷年的重要數(shù)據(jù)只是簡(jiǎn)單記錄儲(chǔ)存，從不進(jìn)行仔細(xì)分析進(jìn)而指導(dǎo)工作實(shí)踐。對(duì)于多樣復(fù)雜的大體量的社保數(shù)據(jù)，要么簡(jiǎn)要進(jìn)行匯總統(tǒng)計(jì)，要么不知所措，甚至直接置之不理。就數(shù)據(jù)的分析方法而言，分析手段有限，專業(yè)性數(shù)據(jù)分析能力欠缺，不能夠深度挖掘數(shù)據(jù)價(jià)值，加以充分吸收利用。二是解決架構(gòu)模式改變問題。隨著\"大數(shù)據(jù)\"、\"云計(jì)算\"在各行業(yè)的不斷應(yīng)用，數(shù)據(jù)架構(gòu)與以往相比有了很大的變化，對(duì)數(shù)據(jù)的采集利用提出了新的、更高的要求。三是解決高端數(shù)據(jù)人才培養(yǎng)問題。多培養(yǎng)通曉相關(guān)專業(yè)知識(shí)和信息技術(shù)的復(fù)合型的人才，培養(yǎng)一批懂得大數(shù)據(jù)，收集大數(shù)據(jù)，并且善于研究大數(shù)據(jù)，深挖大數(shù)據(jù)的專家。加大對(duì)現(xiàn)有信息管理人員的大數(shù)據(jù)培訓(xùn)力度，掌握大數(shù)據(jù)相關(guān)技術(shù)。
三、大數(shù)據(jù)審計(jì)發(fā)展方向 面對(duì)大數(shù)據(jù)時(shí)代對(duì)審計(jì)工作帶來的挑戰(zhàn)，審計(jì)方式和途徑將實(shí)現(xiàn)以下四個(gè)方面的轉(zhuǎn)變。
（一）應(yīng)用大數(shù)據(jù)分析技術(shù)，實(shí)現(xiàn)審計(jì)方法從數(shù)據(jù)驗(yàn)證性分析向數(shù)據(jù)挖掘性分析轉(zhuǎn)變。
傳統(tǒng)的計(jì)算機(jī)審計(jì)，是通過電子數(shù)據(jù)采集轉(zhuǎn)換對(duì)數(shù)據(jù)進(jìn)行驗(yàn)證，通過構(gòu)建查詢分析、多維分析等方法模型進(jìn)行數(shù)據(jù)分析，而應(yīng)用大數(shù)據(jù)分析技術(shù)，則能夠使審計(jì)數(shù)據(jù)分析逐步由傳統(tǒng)的驗(yàn)證性分析向挖掘性分析轉(zhuǎn)變。挖掘性分析是指采用大數(shù)據(jù)處理技術(shù)，利用數(shù)據(jù)倉庫、數(shù)據(jù)挖掘和模型預(yù)測(cè)工具進(jìn)行審計(jì)分析，從大量數(shù)據(jù)中發(fā)現(xiàn)蘊(yùn)涵的數(shù)據(jù)模式和規(guī)律。
（二）應(yīng)用大數(shù)據(jù)分析模式，實(shí)現(xiàn)審計(jì)方式從發(fā)現(xiàn)問題向風(fēng)險(xiǎn)預(yù)警轉(zhuǎn)變。
傳統(tǒng)審計(jì)工作以發(fā)現(xiàn)問題為主，對(duì)經(jīng)濟(jì)形勢(shì)進(jìn)行預(yù)測(cè)分析，因而須等到相關(guān)事件發(fā)生并且形成一定規(guī)模后，再根據(jù)搜集到的足夠數(shù)據(jù)進(jìn)行分析研究，具有滯后性。而大數(shù)據(jù)技術(shù)可通過對(duì)跨領(lǐng)域的大規(guī)模經(jīng)濟(jì)、社會(huì)行為數(shù)據(jù)進(jìn)行分析，對(duì)經(jīng)濟(jì)社會(huì)相關(guān)異常動(dòng)態(tài)實(shí)現(xiàn)早期關(guān)注，利用其對(duì)異常數(shù)據(jù)的敏感性實(shí)現(xiàn)早期預(yù)警。審計(jì)可以運(yùn)用大數(shù)據(jù)相關(guān)技術(shù)，對(duì)宏觀經(jīng)濟(jì)社會(huì)風(fēng)險(xiǎn)問題展開初步分析。 （三）應(yīng)用大數(shù)據(jù)審計(jì)作業(yè)平臺(tái)，實(shí)現(xiàn)單機(jī)審計(jì)向云審計(jì)轉(zhuǎn)變。
以審計(jì)大數(shù)據(jù)為中心建設(shè)\"云審計(jì)\"平臺(tái)，實(shí)現(xiàn)遠(yuǎn)程存儲(chǔ)和移動(dòng)計(jì)算，使審計(jì)機(jī)關(guān)能夠通過網(wǎng)絡(luò)接入\"云\"實(shí)施審計(jì)，利用大數(shù)據(jù)分析、人工智能等信息技術(shù)，解決數(shù)據(jù)采集分析和管理中存在的問題，實(shí)現(xiàn)審計(jì)成果共享。其次，應(yīng)完善聯(lián)網(wǎng)審計(jì)系統(tǒng)，逐步建立預(yù)算、執(zhí)行、財(cái)政、地稅、社會(huì)保障、醫(yī)療機(jī)構(gòu)、公積金等重要行業(yè)和部門的審計(jì)實(shí)時(shí)監(jiān)督系統(tǒng)。再次，應(yīng)建設(shè)審計(jì)數(shù)據(jù)綜合分析平臺(tái)，運(yùn)用大數(shù)據(jù)技術(shù)，加大業(yè)務(wù)數(shù)據(jù)與財(cái)務(wù)數(shù)據(jù)、單位數(shù)據(jù)與行業(yè)數(shù)據(jù)，以及跨行業(yè)、跨領(lǐng)域數(shù)據(jù)的綜合比對(duì)和關(guān)聯(lián)分析，提高運(yùn)用信息化技術(shù)查核問題、評(píng)價(jià)判斷、宏觀分析的能力。最后，應(yīng)推廣\"總體分析、發(fā)現(xiàn)疑點(diǎn)、分散核實(shí)、系統(tǒng)研究\"的審計(jì)模式。
（四）構(gòu)建專業(yè)的審計(jì)分析隊(duì)伍，實(shí)現(xiàn)傳統(tǒng)紙質(zhì)賬本審計(jì)向大數(shù)據(jù)審計(jì)轉(zhuǎn)變。
審計(jì)工作應(yīng)實(shí)現(xiàn)\"六大轉(zhuǎn)變\"，即由單點(diǎn)離散審計(jì)向多點(diǎn)聯(lián)動(dòng)審計(jì)轉(zhuǎn)變、由局部審計(jì)向全覆蓋審計(jì)轉(zhuǎn)變、由靜態(tài)審計(jì)向靜態(tài)與動(dòng)態(tài)審計(jì)相結(jié)合轉(zhuǎn)變、由事后審計(jì)向事后與事中審計(jì)相結(jié)合轉(zhuǎn)變、由現(xiàn)場(chǎng)審計(jì)向現(xiàn)場(chǎng)審計(jì)與非現(xiàn)場(chǎng)審計(jì)相結(jié)合轉(zhuǎn)變、由微觀審計(jì)向微觀與宏觀審計(jì)相結(jié)合轉(zhuǎn)變。為此，需要在組織方式、人員結(jié)構(gòu)、思維方式等方面與之相適應(yīng)。在組織方式上，應(yīng)嘗試開展無項(xiàng)目審計(jì)，依托審計(jì)數(shù)據(jù)中心積累的數(shù)據(jù)資源，橫向關(guān)聯(lián)比對(duì)分析，縱向深入挖掘分析，從數(shù)據(jù)中發(fā)現(xiàn)審計(jì)疑點(diǎn)和線索。在人員結(jié)構(gòu)上，應(yīng)不斷提升\"四種能力\"，即大數(shù)據(jù)分析能力、綜合研究能力、創(chuàng)新能力和跨領(lǐng)域知識(shí)運(yùn)用能力，不斷加強(qiáng)對(duì)大數(shù)據(jù)先進(jìn)理念和前沿技術(shù)的學(xué)習(xí)，掌握大數(shù)據(jù)分析方法，提升審計(jì)人員綜合素質(zhì)。在思維方式上，應(yīng)培養(yǎng)\"數(shù)據(jù)先行\(zhòng)"意識(shí)，以數(shù)據(jù)為核心，使數(shù)據(jù)分析在審計(jì)工作開展前先行實(shí)施，根據(jù)數(shù)據(jù)分析結(jié)果，有重點(diǎn)、有步驟、有深度地在審計(jì)實(shí)施過程中進(jìn)行核查驗(yàn)證、追蹤線索、發(fā)現(xiàn)問題，全面深化大數(shù)據(jù)技術(shù)在審計(jì)工作中的應(yīng)用。
第二篇：大數(shù)據(jù)調(diào)研報(bào)告
大數(shù)據(jù)技術(shù)市場(chǎng)調(diào)查報(bào)告：“BigData浪潮”迫使企業(yè)做出抉擇
發(fā)表于2012-02-06 13:26| 2517次閱讀| 來源CSDN| 0 條評(píng)論| 作者李智
數(shù)據(jù)中心浪潮數(shù)據(jù)挖掘數(shù)據(jù)分析大數(shù)據(jù)
摘要：大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性 首先讓我們先來了解一下大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性。從IT角度來看，信息結(jié)構(gòu)類型大致經(jīng)歷了三次浪潮。必須注意這一點(diǎn)，新的浪潮并沒取代舊浪潮，它們?nèi)栽诓粩喟l(fā)展，三種數(shù)據(jù)結(jié)構(gòu)類型一直存在，只是其中一種結(jié)構(gòu)類型往往主導(dǎo)于其他結(jié)構(gòu)： 結(jié)構(gòu)化信息這種信息可以在關(guān)...
根據(jù)IDC的調(diào)查報(bào)告預(yù)測(cè)到2020年全球電子設(shè)備存儲(chǔ)的數(shù)據(jù)將暴增30倍，達(dá)到35ZB（相當(dāng)于10億塊1TB的硬盤的容量）。大數(shù)據(jù)浪潮的到來也為企業(yè)帶來了新一輪的挑戰(zhàn)。對(duì)于有準(zhǔn)備的企業(yè)來說這無疑是一座信息金礦，能夠合理的將大數(shù)據(jù)轉(zhuǎn)換為有價(jià)值信息成為未來企業(yè)的必備技能。恰逢此時(shí)，CSDN專門針對(duì)企業(yè)相關(guān)人員進(jìn)行了大規(guī)模問卷調(diào)研，并在數(shù)千份的調(diào)查報(bào)告中總結(jié)出現(xiàn)今企業(yè)大數(shù)據(jù)業(yè)務(wù)的現(xiàn)狀。在此我們也將調(diào)研結(jié)果展示與此以供大家參考。
大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性 首先讓我們先來了解一下大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性。從IT角度來看，信息結(jié)構(gòu)類型大致經(jīng)歷了三次浪潮。必須注意這一點(diǎn)，新的浪潮并沒取代舊浪潮，它們?nèi)栽诓粩喟l(fā)展，三種數(shù)據(jù)結(jié)構(gòu)類型一直存在，只是其中一種結(jié)構(gòu)類型往往主導(dǎo)于其他結(jié)構(gòu)：
結(jié)構(gòu)化信息——這種信息可以在關(guān)系數(shù)據(jù)庫中找到，多年來一直主導(dǎo)著IT應(yīng)用。這是關(guān)鍵任務(wù)OLTP系統(tǒng)業(yè)務(wù)所依賴的信息，另外，還可對(duì)結(jié)構(gòu)數(shù)據(jù)庫信息進(jìn)行排序和查詢； 半結(jié)構(gòu)化信息——這是IT的第二次浪潮，包括電子郵件，文字處理文件以及大量保存和發(fā)布在網(wǎng)絡(luò)上的信息。半結(jié)構(gòu)化信息是以內(nèi)容為基礎(chǔ)，可以用于搜索，這也是谷歌存在的理由； 非結(jié)構(gòu)化信息——該信息在本質(zhì)形式上可認(rèn)為主要是位映射數(shù)據(jù)。數(shù)據(jù)必須處于一種可感知的形式中（諸如可在音頻、視頻和多媒體文件中被聽或被看）。許多大數(shù)據(jù)都是非結(jié)構(gòu)化的，其龐大規(guī)模和復(fù)雜性需要高級(jí)分析工具來創(chuàng)建或利用一種更易于人們感知和交互的結(jié)構(gòu)。
企業(yè)內(nèi)部大數(shù)據(jù)處理基礎(chǔ)設(shè)施普遍落后
從調(diào)查結(jié)果可以看出，接近50%的企業(yè)服務(wù)器數(shù)量在100臺(tái)以內(nèi)，而擁有100至500臺(tái)占據(jù)了22%的比例。500至2000臺(tái)服務(wù)器則占據(jù)剩下28.4%的比例。可以看出面對(duì)大數(shù)據(jù)現(xiàn)今大部分企業(yè)還沒有完善其硬件基礎(chǔ)架構(gòu)設(shè)施。以現(xiàn)階段企業(yè)內(nèi)大數(shù)據(jù)處理基礎(chǔ)設(shè)施的情況來看50%的企業(yè)面臨大數(shù)據(jù)處理的問題（中小企業(yè)在面對(duì)大數(shù)據(jù)的解決之道應(yīng)遵循采集、導(dǎo)入/處理、查詢、挖掘的流程）。
但這只是暫時(shí)狀況，“廉價(jià)”服務(wù)器設(shè)施會(huì)隨著企業(yè)業(yè)務(wù)的發(fā)展逐漸被淘汰出歷史的舞臺(tái)，在未來企業(yè)基礎(chǔ)架構(gòu)體系的硬件選用上，多核多路處理器以及SSD等設(shè)備會(huì)成為企業(yè)的首選。Facebook的Open Compute Project就在業(yè)界樹立了榜樣，Open Compute Project利用開源社區(qū)的理念改善服務(wù)器硬件以及機(jī)架的設(shè)計(jì)。其數(shù)據(jù)中心PUE值也是領(lǐng)先與業(yè)內(nèi)的其他對(duì)手。
而在具有大數(shù)據(jù)處理需求的企業(yè)中52.2%的日數(shù)據(jù)生成量在100GB以下，日數(shù)據(jù)生成量100GB到50TB占據(jù)了43.5%，而令人驚訝的是，日數(shù)據(jù)生成量50TB以上也有4.4%的份額。數(shù)據(jù)量持續(xù)的增長(zhǎng)，公司將被迫增加基礎(chǔ)設(shè)施的部署。專利費(fèi)用將一直增加，而開源技術(shù)，則省了這筆一直持續(xù)的專利費(fèi)。對(duì)于急需改變自己傳統(tǒng)IT架構(gòu)的企業(yè)而言，傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的融合，成了所有人關(guān)心的問題。
企業(yè)面對(duì)大數(shù)據(jù)處理的挑戰(zhàn)與問題
現(xiàn)今大數(shù)據(jù)呈現(xiàn)出“4V + 1C”的特點(diǎn)。既Variety：一般包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等多類數(shù)據(jù)，而且它們處理和分析方式有區(qū)別；Volume：通過各種設(shè)備產(chǎn)生了大量的數(shù)據(jù)，PB級(jí)別是常態(tài)；Velocity：要求快速處理，存在時(shí)效性；Vitality：分析和處理模型必須快速變化，因?yàn)樾枨笤谧?；Complexity：處理和分析的難度非常大。
從圖中我們可以看出資源利用率低、擴(kuò)展性差以及應(yīng)用部署過于復(fù)雜是現(xiàn)今企業(yè)數(shù)據(jù)系統(tǒng)架構(gòu)面臨的主要問題。其實(shí)大數(shù)據(jù)的基礎(chǔ)架構(gòu)首要需要考慮就是前瞻性，隨著數(shù)據(jù)的不斷增長(zhǎng)，用戶需要從硬體、軟件層面思考需要怎樣的架構(gòu)去實(shí)現(xiàn)。而具備資源高利用率、高擴(kuò)展性并對(duì)文件存儲(chǔ)友好的文件系統(tǒng)必將是未來的發(fā)展趨勢(shì)。
應(yīng)用部署過于復(fù)雜也催生了大數(shù)據(jù)處理系統(tǒng)管理員這一新興職業(yè)，其主要負(fù)責(zé)日常Hadoop集群正常運(yùn)行。例如直接或間接的管理硬件，當(dāng)需要添加硬件時(shí)需保證集群仍能夠穩(wěn)定運(yùn)行。同時(shí)還要負(fù)責(zé)系統(tǒng)監(jiān)控和配置，保證Hadoop與其他系統(tǒng)的有機(jī)結(jié)合。
而多格式數(shù)據(jù)、讀寫速度（讀寫速度是指數(shù)據(jù)從端點(diǎn)移動(dòng)到處理器和存儲(chǔ)的速度）以及海量數(shù)據(jù)是企業(yè)面臨大數(shù)據(jù)處理急需解決的技術(shù)挑戰(zhàn)。眾所周知隨著大容量數(shù)據(jù)（TB級(jí)、PB級(jí)甚至EB級(jí)）的出現(xiàn)，業(yè)務(wù)數(shù)據(jù)對(duì)IT系統(tǒng)帶來了更大的挑戰(zhàn)，數(shù)據(jù)的存儲(chǔ)和安全以及在未來訪問和使用這些數(shù)據(jù)已成為難點(diǎn)。同時(shí)大數(shù)據(jù)不只是關(guān)于數(shù)據(jù)量而已。大數(shù)據(jù)包括了越來越多不同格式的數(shù)據(jù)，這些不同格式的數(shù)據(jù)也需要不同的處理方法。充分利用有用的數(shù)據(jù)，廢棄虛偽無用的數(shù)據(jù)，是數(shù)據(jù)挖掘技術(shù)的最重要的應(yīng)用。
企業(yè)內(nèi)部數(shù)據(jù)分析與挖掘工具應(yīng)用現(xiàn)狀
云時(shí)代企業(yè)數(shù)據(jù)挖掘面臨如下三點(diǎn)挑戰(zhàn)。挖掘效率：進(jìn)入云計(jì)算時(shí)代后，BI的思路發(fā)生了轉(zhuǎn)換。以前是基于封閉的企業(yè)數(shù)據(jù)進(jìn)行挖掘，而面對(duì)引入互聯(lián)網(wǎng)應(yīng)用后海量的異構(gòu)數(shù)據(jù)時(shí)，目前并行挖掘算法的效率很低；多源數(shù)據(jù)：引入云計(jì)算后，企業(yè)數(shù)據(jù)的位置有可能在提供公有云服務(wù)的平臺(tái)上，也可能在企業(yè)自建的私有云上，如何面對(duì)不同的數(shù)據(jù)源進(jìn)行挖掘也是一個(gè)挑戰(zhàn)；異構(gòu)數(shù)據(jù)：Web數(shù)據(jù)的最大特點(diǎn)就是半結(jié)構(gòu)化，如文檔、報(bào)表、網(wǎng)頁、聲音、圖像、視頻等，而云計(jì)算帶來了大量的基于互聯(lián)網(wǎng)模式提供的SaaS應(yīng)用，如何梳理有效數(shù)據(jù)是一個(gè)挑戰(zhàn)。 拋去價(jià)格因素之外可以看出反應(yīng)速度慢、操作不方便、數(shù)據(jù)不準(zhǔn)確、分析不準(zhǔn)確這四項(xiàng)是企業(yè)數(shù)據(jù)分析與數(shù)據(jù)挖掘面臨的主要問題。商業(yè)化解決方案固然成熟，但成本也是顯而易見的。而具備在開源平臺(tái)之上處理分析大數(shù)據(jù)能力的數(shù)據(jù)科學(xué)家則成為另外的一種選擇。數(shù)據(jù)科學(xué)家具備專業(yè)領(lǐng)域知識(shí)并具備研究利用相應(yīng)算法分析對(duì)應(yīng)問題的能力，可幫助創(chuàng)建推動(dòng)業(yè)務(wù)發(fā)展的相應(yīng)的大數(shù)據(jù)產(chǎn)品和大數(shù)據(jù)解決方案。
從調(diào)查結(jié)果中我們可以看出Hadoop占據(jù)了半壁江山，而同為開源的HBase也有將近四分之一的占有率。而商業(yè)化的數(shù)據(jù)分析與挖掘平臺(tái)（如Teradata、Netezza、Greenplum等）總共只有13.9%的份額。短期來講，開源分析將越來越廣泛的使用，并且增長(zhǎng)迅速。長(zhǎng)期來看，混合技術(shù)的應(yīng)用將在高度競(jìng)爭(zhēng)的市場(chǎng)上出現(xiàn)，兩者將同樣有巨大的需求?？梢灶A(yù)見的是，Hadoop作為企業(yè)級(jí)數(shù)據(jù)倉庫體系結(jié)構(gòu)核心技術(shù)，在未來的10年中它將會(huì)保持增長(zhǎng)。 隨著云時(shí)代的到來，企業(yè)面臨的應(yīng)用方式更加多元化，通過云的手段提供海量數(shù)據(jù)挖掘的方法，提高了挖掘的效率，增加了挖掘的精度，更利于挖掘應(yīng)用的推廣以及專業(yè)的行業(yè)知識(shí)庫的構(gòu)建。同時(shí)收集、存儲(chǔ)龐大的新型數(shù)據(jù)充滿了挑戰(zhàn)，然而分析這些數(shù)據(jù)的新方法才是幫助最成功企業(yè)甩開競(jìng)爭(zhēng)對(duì)手的利器。
第三篇：大數(shù)據(jù)審計(jì)調(diào)研報(bào)告
大數(shù)據(jù)審計(jì)調(diào)研報(bào)告
胡澤君審計(jì)長(zhǎng)曾多次強(qiáng)調(diào)指出，要積極推進(jìn)大數(shù)據(jù)審計(jì)，堅(jiān)持科技強(qiáng)審，通過信息化、數(shù)字化，努力提高審計(jì)監(jiān)督的質(zhì)量和效率。新形勢(shì)下，審計(jì)工作特別離不開大數(shù)據(jù)的支撐，利用大數(shù)據(jù)進(jìn)行審計(jì)，或?qū)⒊蔀閷徲?jì)機(jī)關(guān)應(yīng)對(duì)復(fù)雜社會(huì)經(jīng)濟(jì)管理形勢(shì)、提升審計(jì)工作質(zhì)量的重要手段。以\"金審工程\"為基礎(chǔ)的審計(jì)信息系統(tǒng)經(jīng)過多年的建設(shè)發(fā)展，目前正逐步建立和完善。同時(shí)，在政府各部門中社會(huì)保障大數(shù)據(jù)既具有較高的完整性，也兼具較高的準(zhǔn)確性。這些得天獨(dú)厚的條件，不僅使審計(jì)對(duì)\"大數(shù)據(jù)\"監(jiān)督管理成為可能，更為實(shí)施以\"大數(shù)據(jù)\"為基礎(chǔ)的審計(jì)\"全覆蓋\"奠定了基礎(chǔ)。
一、大數(shù)據(jù)技術(shù)在財(cái)政審計(jì)方面的運(yùn)用
（一）運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)是時(shí)代發(fā)展的必然要求。大數(shù)據(jù)不僅是信息技術(shù)的重大進(jìn)步，更是發(fā)展理念的重大創(chuàng)新，對(duì)經(jīng)濟(jì)社會(huì)發(fā)展起到重要作用，對(duì)與數(shù)據(jù)密切相關(guān)的審計(jì)工作也必將產(chǎn)生深刻影響。當(dāng)前，財(cái)政、稅務(wù)、人民銀行等部門普遍進(jìn)行信息系統(tǒng)建設(shè)，財(cái)政部門開展的\"金財(cái)工程\"覆蓋財(cái)政收支管理的業(yè)務(wù)應(yīng)用系統(tǒng)，涵蓋了預(yù)算管理、國(guó)庫集中收付等業(yè)務(wù)，對(duì)財(cái)政部門的審計(jì)單位信息化的發(fā)展，迫切要求運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)。
（二）運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)是推動(dòng)完善國(guó)家治理的迫切需要。財(cái)政審計(jì)的范圍突破了傳統(tǒng)的財(cái)政收支概念，囊括了政府性收支的全部?jī)?nèi)容。全口徑預(yù)算的審查監(jiān)督付諸實(shí)施，如何在有限的時(shí)間內(nèi)查找和發(fā)現(xiàn)問題，運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)成為推動(dòng)完善國(guó)家治理的迫切需要。
（三）運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)是財(cái)政精細(xì)化管理的要求。在精細(xì)化管理要求之下，財(cái)政預(yù)算審查、預(yù)算執(zhí)行差異分析、預(yù)算與決算的對(duì)比分析都是使用系統(tǒng)大數(shù)據(jù)來完成的。相應(yīng)地，財(cái)政預(yù)算執(zhí)行審計(jì)要實(shí)現(xiàn)全口徑分析，必須使用系統(tǒng)數(shù)據(jù)。如利用國(guó)庫支付系統(tǒng)的數(shù)據(jù)，通過對(duì)指標(biāo)來源、資金性質(zhì)、資金流向的跟蹤分析，實(shí)現(xiàn)所有財(cái)政資金全過程跟蹤審計(jì)。 （四）大數(shù)據(jù)審計(jì)現(xiàn)在的運(yùn)用情況。按照審計(jì)署的要求，建立了財(cái)政數(shù)據(jù)定期報(bào)送機(jī)制，每半年收集一次財(cái)政數(shù)據(jù)，并對(duì)收集的數(shù)據(jù)進(jìn)行整理，生成審計(jì)人員可以使用的標(biāo)準(zhǔn)表。財(cái)政科聯(lián)合信息科，對(duì)預(yù)算編報(bào)系統(tǒng)、預(yù)算指標(biāo)系統(tǒng)、非稅征管系統(tǒng)、決算編報(bào)系統(tǒng)等的財(cái)務(wù)和業(yè)務(wù)數(shù)據(jù)，集中進(jìn)行多系統(tǒng)關(guān)聯(lián)、大數(shù)據(jù)比對(duì)。將數(shù)據(jù)分析形成的審計(jì)中間表和疑點(diǎn)表作為重點(diǎn)進(jìn)行審計(jì)，提高了效率和增強(qiáng)指導(dǎo)性。審計(jì)結(jié)束后，強(qiáng)化經(jīng)驗(yàn)總結(jié)，形成數(shù)據(jù)采集轉(zhuǎn)換指南，歸集整理形成財(cái)政大數(shù)據(jù)審計(jì)模型方法體系表，為進(jìn)一步深化大數(shù)據(jù)審計(jì)積累經(jīng)驗(yàn)。
二、社保審計(jì)大數(shù)據(jù)信息管理現(xiàn)狀
（一）社保部門數(shù)據(jù)管理情況。一是社保業(yè)務(wù)實(shí)現(xiàn)網(wǎng)絡(luò)化。隨著金保工程的推進(jìn)，社會(huì)保險(xiǎn)\"六險(xiǎn)\"統(tǒng)征已經(jīng)實(shí)現(xiàn)，社會(huì)保障業(yè)務(wù)辦理正逐步向社區(qū)（村）、單位及個(gè)人延伸，社會(huì)保障業(yè)務(wù)一體化架構(gòu)正逐漸完善。二是社保資金使用服務(wù)實(shí)現(xiàn)規(guī)范化。衛(wèi)生三級(jí)醫(yī)療服務(wù)網(wǎng)初步實(shí)現(xiàn)信息化，市級(jí)、縣級(jí)醫(yī)院、鄉(xiāng)鎮(zhèn)衛(wèi)生院醫(yī)療業(yè)務(wù)管理系統(tǒng)已經(jīng)平穩(wěn)運(yùn)行，鄉(xiāng)村衛(wèi)生管理一體化正逐步規(guī)范，居民人口及流動(dòng)人口信息統(tǒng)計(jì)系統(tǒng)已趨于成熟。三是民政事業(yè)實(shí)現(xiàn)信息化。民政城鄉(xiāng)居民低保、醫(yī)療救助及優(yōu)撫等業(yè)務(wù)完成了由手工到信息化的轉(zhuǎn)變，數(shù)據(jù)也由紙質(zhì)向信息化轉(zhuǎn)換。
（二）審計(jì)機(jī)關(guān)對(duì)社保數(shù)據(jù)的審計(jì)情況。審計(jì)機(jī)關(guān)在工作中采集了大量的財(cái)務(wù)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，但沒有對(duì)這些數(shù)據(jù)進(jìn)行統(tǒng)一和規(guī)范地管理，一般是保存在審計(jì)人員的電腦中，很難實(shí)現(xiàn)與局內(nèi)其他審計(jì)人員和所屬部門的數(shù)據(jù)共享，導(dǎo)致工作中出現(xiàn)重復(fù)采集數(shù)據(jù)的現(xiàn)象。由于大數(shù)據(jù)信息化環(huán)境下社保系統(tǒng)的特殊性，內(nèi)部控制轉(zhuǎn)變?yōu)閷?duì)人和系統(tǒng)兩方面的控制，而且多數(shù)情況是以計(jì)算機(jī)自動(dòng)控制為主。數(shù)據(jù)網(wǎng)絡(luò)安全存在隱患，大數(shù)據(jù)技術(shù)本身的技術(shù)架構(gòu)，決定了采用\"大數(shù)據(jù)\"技術(shù)架構(gòu)的系統(tǒng)安全防護(hù)的難度。
審計(jì)局在社保資金審計(jì)中，收集了醫(yī)保、養(yǎng)老、低保、公積金等民生資金的業(yè)務(wù)數(shù)據(jù)，建立了審計(jì)數(shù)據(jù)庫，信息技術(shù)人員和社保審計(jì)人員聯(lián)合對(duì)各類數(shù)據(jù)進(jìn)行了深入分析。在審計(jì)分析中，首先明確所面臨問題的類型，然后根據(jù)類型的不同選擇具體的處理方法。例如，在做參保對(duì)象的信用分析時(shí)，首先明確該問題類型屬于分類，如果該問題類型無法用數(shù)據(jù)挖掘工具解決，那么就應(yīng)當(dāng)選擇另外更加適合的方法來進(jìn)行解決。建立審計(jì)方法，對(duì)采集的業(yè)務(wù)數(shù)據(jù)、財(cái)政財(cái)務(wù)數(shù)據(jù)以及相關(guān)外部數(shù)據(jù)進(jìn)行綜合分析，生成審計(jì)中間表和疑點(diǎn)分析數(shù)據(jù)，采取業(yè)務(wù)跟蹤、內(nèi)控測(cè)試、數(shù)據(jù)比對(duì)等方式，發(fā)現(xiàn)審計(jì)疑點(diǎn)并進(jìn)行分析、篩查和分類。運(yùn)用\"互聯(lián)網(wǎng)+\"思維，注重外部數(shù)據(jù)的搜集和運(yùn)用，包括企業(yè)登記信息、稅務(wù)征繳信息、車輛信息、房產(chǎn)信息等與社保審計(jì)相關(guān)的數(shù)據(jù)。注重發(fā)票查詢系統(tǒng)、企業(yè)信用公示系統(tǒng)等在公開資源的使用，積極挖掘和構(gòu)建內(nèi)、外部數(shù)據(jù)間潛在的關(guān)聯(lián)，尋找相關(guān)的線索和突破口，搭建多維度、立體式審計(jì)工作大數(shù)據(jù)平臺(tái)。 （三）當(dāng)前在社保審計(jì)中需解決的幾個(gè)問題。一是解決數(shù)據(jù)價(jià)值認(rèn)識(shí)和利用問題。在審計(jì)機(jī)關(guān)還存在著有些對(duì)于數(shù)據(jù)價(jià)值觀念不強(qiáng)，不注重基礎(chǔ)社保數(shù)據(jù)的積累和分類工作，對(duì)于歷年的重要數(shù)據(jù)只是簡(jiǎn)單記錄儲(chǔ)存，從不進(jìn)行仔細(xì)分析進(jìn)而指導(dǎo)工作實(shí)踐。對(duì)于多樣復(fù)雜的大體量的社保數(shù)據(jù)，要么簡(jiǎn)要進(jìn)行匯總統(tǒng)計(jì)，要么不知所措，甚至直接置之不理。就數(shù)據(jù)的分析方法而言，分析手段有限，專業(yè)性數(shù)據(jù)分析能力欠缺，不能夠深度挖掘數(shù)據(jù)價(jià)值，加以充分吸收利用。二是解決架構(gòu)模式改變問題。隨著\"大數(shù)據(jù)\"、\"云計(jì)算\"在各行業(yè)的不斷應(yīng)用，數(shù)據(jù)架構(gòu)與以往相比有了很大的變化，對(duì)數(shù)據(jù)的采集利用提出了新的、更高的要求。三是解決高端數(shù)據(jù)人才培養(yǎng)問題。多培養(yǎng)通曉相關(guān)專業(yè)知識(shí)和信息技術(shù)的復(fù)合型的人才，培養(yǎng)一批懂得大數(shù)據(jù)，收集大數(shù)據(jù)，并且善于研究大數(shù)據(jù)，深挖大數(shù)據(jù)的專家。加大對(duì)現(xiàn)有信息管理人員的大數(shù)據(jù)培訓(xùn)力度，掌握大數(shù)據(jù)相關(guān)技術(shù)。
三、大數(shù)據(jù)審計(jì)發(fā)展方向 面對(duì)大數(shù)據(jù)時(shí)代對(duì)審計(jì)工作帶來的挑戰(zhàn)，審計(jì)方式和途徑將實(shí)現(xiàn)以下四個(gè)方面的轉(zhuǎn)變。
（一）應(yīng)用大數(shù)據(jù)分析技術(shù)，實(shí)現(xiàn)審計(jì)方法從數(shù)據(jù)驗(yàn)證性分析向數(shù)據(jù)挖掘性分析轉(zhuǎn)變。
傳統(tǒng)的計(jì)算機(jī)審計(jì)，是通過電子數(shù)據(jù)采集轉(zhuǎn)換對(duì)數(shù)據(jù)進(jìn)行驗(yàn)證，通過構(gòu)建查詢分析、多維分析等方法模型進(jìn)行數(shù)據(jù)分析，而應(yīng)用大數(shù)據(jù)分析技術(shù)，則能夠使審計(jì)數(shù)據(jù)分析逐步由傳統(tǒng)的驗(yàn)證性分析向挖掘性分析轉(zhuǎn)變。挖掘性分析是指采用大數(shù)據(jù)處理技術(shù)，利用數(shù)據(jù)倉庫、數(shù)據(jù)挖掘和模型預(yù)測(cè)工具進(jìn)行審計(jì)分析，從大量數(shù)據(jù)中發(fā)現(xiàn)蘊(yùn)涵的數(shù)據(jù)模式和規(guī)律。
（二）應(yīng)用大數(shù)據(jù)分析模式，實(shí)現(xiàn)審計(jì)方式從發(fā)現(xiàn)問題向風(fēng)險(xiǎn)預(yù)警轉(zhuǎn)變。
傳統(tǒng)審計(jì)工作以發(fā)現(xiàn)問題為主，對(duì)經(jīng)濟(jì)形勢(shì)進(jìn)行預(yù)測(cè)分析，因而須等到相關(guān)事件發(fā)生并且形成一定規(guī)模后，再根據(jù)搜集到的足夠數(shù)據(jù)進(jìn)行分析研究，具有滯后性。而大數(shù)據(jù)技術(shù)可通過對(duì)跨領(lǐng)域的大規(guī)模經(jīng)濟(jì)、社會(huì)行為數(shù)據(jù)進(jìn)行分析，對(duì)經(jīng)濟(jì)社會(huì)相關(guān)異常動(dòng)態(tài)實(shí)現(xiàn)早期關(guān)注，利用其對(duì)異常數(shù)據(jù)的敏感性實(shí)現(xiàn)早期預(yù)警。審計(jì)可以運(yùn)用大數(shù)據(jù)相關(guān)技術(shù)，對(duì)宏觀經(jīng)濟(jì)社會(huì)風(fēng)險(xiǎn)問題展開初步分析。 （三）應(yīng)用大數(shù)據(jù)審計(jì)作業(yè)平臺(tái)，實(shí)現(xiàn)單機(jī)審計(jì)向云審計(jì)轉(zhuǎn)變。
以審計(jì)大數(shù)據(jù)為中心建設(shè)\"云審計(jì)\"平臺(tái)，實(shí)現(xiàn)遠(yuǎn)程存儲(chǔ)和移動(dòng)計(jì)算，使審計(jì)機(jī)關(guān)能夠通過網(wǎng)絡(luò)接入\"云\"實(shí)施審計(jì)，利用大數(shù)據(jù)分析、人工智能等信息技術(shù)，解決數(shù)據(jù)采集分析和管理中存在的問題，實(shí)現(xiàn)審計(jì)成果共享。其次，應(yīng)完善聯(lián)網(wǎng)審計(jì)系統(tǒng)，逐步建立預(yù)算、執(zhí)行、財(cái)政、地稅、社會(huì)保障、醫(yī)療機(jī)構(gòu)、公積金等重要行業(yè)和部門的審計(jì)實(shí)時(shí)監(jiān)督系統(tǒng)。再次，應(yīng)建設(shè)審計(jì)數(shù)據(jù)綜合分析平臺(tái)，運(yùn)用大數(shù)據(jù)技術(shù)，加大業(yè)務(wù)數(shù)據(jù)與財(cái)務(wù)數(shù)據(jù)、單位數(shù)據(jù)與行業(yè)數(shù)據(jù)，以及跨行業(yè)、跨領(lǐng)域數(shù)據(jù)的綜合比對(duì)和關(guān)聯(lián)分析，提高運(yùn)用信息化技術(shù)查核問題、評(píng)價(jià)判斷、宏觀分析的能力。最后，應(yīng)推廣\"總體分析、發(fā)現(xiàn)疑點(diǎn)、分散核實(shí)、系統(tǒng)研究\"的審計(jì)模式。
（四）構(gòu)建專業(yè)的審計(jì)分析隊(duì)伍，實(shí)現(xiàn)傳統(tǒng)紙質(zhì)賬本審計(jì)向大數(shù)據(jù)審計(jì)轉(zhuǎn)變。
審計(jì)工作應(yīng)實(shí)現(xiàn)\"六大轉(zhuǎn)變\"，即由單點(diǎn)離散審計(jì)向多點(diǎn)聯(lián)動(dòng)審計(jì)轉(zhuǎn)變、由局部審計(jì)向全覆蓋審計(jì)轉(zhuǎn)變、由靜態(tài)審計(jì)向靜態(tài)與動(dòng)態(tài)審計(jì)相結(jié)合轉(zhuǎn)變、由事后審計(jì)向事后與事中審計(jì)相結(jié)合轉(zhuǎn)變、由現(xiàn)場(chǎng)審計(jì)向現(xiàn)場(chǎng)審計(jì)與非現(xiàn)場(chǎng)審計(jì)相結(jié)合轉(zhuǎn)變、由微觀審計(jì)向微觀與宏觀審計(jì)相結(jié)合轉(zhuǎn)變。為此，需要在組織方式、人員結(jié)構(gòu)、思維方式等方面與之相適應(yīng)。在組織方式上，應(yīng)嘗試開展無項(xiàng)目審計(jì)，依托審計(jì)數(shù)據(jù)中心積累的數(shù)據(jù)資源，橫向關(guān)聯(lián)比對(duì)分析，縱向深入挖掘分析，從數(shù)據(jù)中發(fā)現(xiàn)審計(jì)疑點(diǎn)和線索。在人員結(jié)構(gòu)上，應(yīng)不斷提升\"四種能力\"，即大數(shù)據(jù)分析能力、綜合研究能力、創(chuàng)新能力和跨領(lǐng)域知識(shí)運(yùn)用能力，不斷加強(qiáng)對(duì)大數(shù)據(jù)先進(jìn)理念和前沿技術(shù)的學(xué)習(xí)，掌握大數(shù)據(jù)分析方法，提升審計(jì)人員綜合素質(zhì)。在思維方式上，應(yīng)培養(yǎng)\"數(shù)據(jù)先行\(zhòng)"意識(shí)，以數(shù)據(jù)為核心，使數(shù)據(jù)分析在審計(jì)工作開展前先行實(shí)施，根據(jù)數(shù)據(jù)分析結(jié)果，有重點(diǎn)、有步驟、有深度地在審計(jì)實(shí)施過程中進(jìn)行核查驗(yàn)證、追蹤線索、發(fā)現(xiàn)問題，全面深化大數(shù)據(jù)技術(shù)在審計(jì)工作中的應(yīng)用。
第四篇：大數(shù)據(jù)審計(jì)調(diào)研報(bào)告
大數(shù)據(jù)審計(jì)調(diào)研報(bào)告
胡澤君審計(jì)長(zhǎng)曾多次強(qiáng)調(diào)指出，要積極推進(jìn)大數(shù)據(jù)審計(jì)，堅(jiān)持科技強(qiáng)審，通過信息化、數(shù)字化，努力提高審計(jì)監(jiān)督的質(zhì)量和效率。新形勢(shì)下，審計(jì)工作特別離不開大數(shù)據(jù)的支撐，利用大數(shù)據(jù)進(jìn)行審計(jì)，或?qū)⒊蔀閷徲?jì)機(jī)關(guān)應(yīng)對(duì)復(fù)雜社會(huì)經(jīng)濟(jì)管理形勢(shì)、提升審計(jì)工作質(zhì)量的重要手段。以\"金審工程\"為基礎(chǔ)的審計(jì)信息系統(tǒng)經(jīng)過多年的建設(shè)發(fā)展，目前正逐步建立和完善。同時(shí)，在政府各部門中社會(huì)保障大數(shù)據(jù)既具有較高的完整性，也兼具較高的準(zhǔn)確性。這些得天獨(dú)厚的條件，不僅使審計(jì)對(duì)\"大數(shù)據(jù)\"監(jiān)督管理成為可能，更為實(shí)施以\"大數(shù)據(jù)\"為基礎(chǔ)的審計(jì)\"全覆蓋\"奠定了基礎(chǔ)。
一、大數(shù)據(jù)技術(shù)在財(cái)政審計(jì)方面的運(yùn)用
（一）運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)是時(shí)代發(fā)展的必然要求。大數(shù)據(jù)不僅是信息技術(shù)的重大進(jìn)步，更是發(fā)展理念的重大創(chuàng)新，對(duì)經(jīng)濟(jì)社會(huì)發(fā)展起到重要作用，對(duì)與數(shù)據(jù)密切相關(guān)的審計(jì)工作也必將產(chǎn)生深刻影響。當(dāng)前，財(cái)政、稅務(wù)、人民銀行等部門普遍進(jìn)行信息系統(tǒng)建設(shè)，財(cái)政部門開展的\"金財(cái)工程\"覆蓋財(cái)政收支管理的業(yè)務(wù)應(yīng)用系統(tǒng)，涵蓋了預(yù)算管理、國(guó)庫集中收付等業(yè)務(wù)，對(duì)財(cái)政部門的審計(jì)單位信息化的發(fā)展，迫切要求運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)。
（二）運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)是推動(dòng)完善國(guó)家治理的迫切需要。財(cái)政審計(jì)的范圍突破了傳統(tǒng)的財(cái)政收支概念，囊括了政府性收支的全部?jī)?nèi)容。全口徑預(yù)算的審查監(jiān)督付諸實(shí)施，如何在有限的時(shí)間內(nèi)查找和發(fā)現(xiàn)問題，運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)成為推動(dòng)完善國(guó)家治理的迫切需要。
（三）運(yùn)用大數(shù)據(jù)開展財(cái)政審計(jì)是財(cái)政精細(xì)化管理的要求。在精細(xì)化管理要求之下，財(cái)政預(yù)算審查、預(yù)算執(zhí)行差異分析、預(yù)算與決算的對(duì)比分析都是使用系統(tǒng)大數(shù)據(jù)來完成的。相應(yīng)地，財(cái)政預(yù)算執(zhí)行審計(jì)要實(shí)現(xiàn)全口徑分析，必須使用系統(tǒng)數(shù)據(jù)。如利用國(guó)庫支付系統(tǒng)的數(shù)據(jù)，通過對(duì)指標(biāo)來源、資金性質(zhì)、資金流向的跟蹤分析，實(shí)現(xiàn)所有財(cái)政資金全過程跟蹤審計(jì)。 （四）大數(shù)據(jù)審計(jì)現(xiàn)在的運(yùn)用情況。按照審計(jì)署的要求，建立了財(cái)政數(shù)據(jù)定期報(bào)送機(jī)制，每半年收集一次財(cái)政數(shù)據(jù)，并對(duì)收集的數(shù)據(jù)進(jìn)行整理，生成審計(jì)人員可以使用的標(biāo)準(zhǔn)表。財(cái)政科聯(lián)合信息科，對(duì)預(yù)算編報(bào)系統(tǒng)、預(yù)算指標(biāo)系統(tǒng)、非稅征管系統(tǒng)、決算編報(bào)系統(tǒng)等的財(cái)務(wù)和業(yè)務(wù)數(shù)據(jù)，集中進(jìn)行多系統(tǒng)關(guān)聯(lián)、大數(shù)據(jù)比對(duì)。將數(shù)據(jù)分析形成的審計(jì)中間表和疑點(diǎn)表作為重點(diǎn)進(jìn)行審計(jì)，提高了效率和增強(qiáng)指導(dǎo)性。審計(jì)結(jié)束后，強(qiáng)化經(jīng)驗(yàn)總結(jié)，形成數(shù)據(jù)采集轉(zhuǎn)換指南，歸集整理形成財(cái)政大數(shù)據(jù)審計(jì)模型方法體系表，為進(jìn)一步深化大數(shù)據(jù)審計(jì)積累經(jīng)驗(yàn)。
二、社保審計(jì)大數(shù)據(jù)信息管理現(xiàn)狀
（一）社保部門數(shù)據(jù)管理情況。一是社保業(yè)務(wù)實(shí)現(xiàn)網(wǎng)絡(luò)化。隨著金保工程的推進(jìn)，社會(huì)保險(xiǎn)\"六險(xiǎn)\"統(tǒng)征已經(jīng)實(shí)現(xiàn)，社會(huì)保障業(yè)務(wù)辦理正逐步向社區(qū)（村）、單位及個(gè)人延伸，社會(huì)保障業(yè)務(wù)一體化架構(gòu)正逐漸完善。二是社保資金使用服務(wù)實(shí)現(xiàn)規(guī)范化。衛(wèi)生三級(jí)醫(yī)療服務(wù)網(wǎng)初步實(shí)現(xiàn)信息化，市級(jí)、縣級(jí)醫(yī)院、鄉(xiāng)鎮(zhèn)衛(wèi)生院醫(yī)療業(yè)務(wù)管理系統(tǒng)已經(jīng)平穩(wěn)運(yùn)行，鄉(xiāng)村衛(wèi)生管理一體化正逐步規(guī)范，居民人口及流動(dòng)人口信息統(tǒng)計(jì)系統(tǒng)已趨于成熟。三是民政事業(yè)實(shí)現(xiàn)信息化。民政城鄉(xiāng)居民低保、醫(yī)療救助及優(yōu)撫等業(yè)務(wù)完成了由手工到信息化的轉(zhuǎn)變，數(shù)據(jù)也由紙質(zhì)向信息化轉(zhuǎn)換。
（二）審計(jì)機(jī)關(guān)對(duì)社保數(shù)據(jù)的審計(jì)情況。審計(jì)機(jī)關(guān)在工作中采集了大量的財(cái)務(wù)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，但沒有對(duì)這些數(shù)據(jù)進(jìn)行統(tǒng)一和規(guī)范地管理，一般是保存在審計(jì)人員的電腦中，很難實(shí)現(xiàn)與局內(nèi)其他審計(jì)人員和所屬部門的數(shù)據(jù)共享，導(dǎo)致工作中出現(xiàn)重復(fù)采集數(shù)據(jù)的現(xiàn)象。由于大數(shù)據(jù)信息化環(huán)境下社保系統(tǒng)的特殊性，內(nèi)部控制轉(zhuǎn)變?yōu)閷?duì)人和系統(tǒng)兩方面的控制，而且多數(shù)情況是以計(jì)算機(jī)自動(dòng)控制為主。數(shù)據(jù)網(wǎng)絡(luò)安全存在隱患，大數(shù)據(jù)技術(shù)本身的技術(shù)架構(gòu)，決定了采用\"大數(shù)據(jù)\"技術(shù)架構(gòu)的系統(tǒng)安全防護(hù)的難度。
審計(jì)局在社保資金審計(jì)中，收集了醫(yī)保、養(yǎng)老、低保、公積金等民生資金的業(yè)務(wù)數(shù)據(jù)，建立了審計(jì)數(shù)據(jù)庫，信息技術(shù)人員和社保審計(jì)人員聯(lián)合對(duì)各類數(shù)據(jù)進(jìn)行了深入分析。在審計(jì)分析中，首先明確所面臨問題的類型，然后根據(jù)類型的不同選擇具體的處理方法。例如，在做參保對(duì)象的信用分析時(shí)，首先明確該問題類型屬于分類，如果該問題類型無法用數(shù)據(jù)挖掘工具解決，那么就應(yīng)當(dāng)選擇另外更加適合的方法來進(jìn)行解決。建立審計(jì)方法，對(duì)采集的業(yè)務(wù)數(shù)據(jù)、財(cái)政財(cái)務(wù)數(shù)據(jù)以及相關(guān)外部數(shù)據(jù)進(jìn)行綜合分析，生成審計(jì)中間表和疑點(diǎn)分析數(shù)據(jù)，采取業(yè)務(wù)跟蹤、內(nèi)控測(cè)試、數(shù)據(jù)比對(duì)等方式，發(fā)現(xiàn)審計(jì)疑點(diǎn)并進(jìn)行分析、篩查和分類。運(yùn)用\"互聯(lián)網(wǎng)+\"思維，注重外部數(shù)據(jù)的搜集和運(yùn)用，包括企業(yè)登記信息、稅務(wù)征繳信息、車輛信息、房產(chǎn)信息等與社保審計(jì)相關(guān)的數(shù)據(jù)。注重發(fā)票查詢系統(tǒng)、企業(yè)信用公示系統(tǒng)等在公開資源的使用，積極挖掘和構(gòu)建內(nèi)、外部數(shù)據(jù)間潛在的關(guān)聯(lián)，尋找相關(guān)的線索和突破口，搭建多維度、立體式審計(jì)工作大數(shù)據(jù)平臺(tái)。 （三）當(dāng)前在社保審計(jì)中需解決的幾個(gè)問題。一是解決數(shù)據(jù)價(jià)值認(rèn)識(shí)和利用問題。在審計(jì)機(jī)關(guān)還存在著有些對(duì)于數(shù)據(jù)價(jià)值觀念不強(qiáng)，不注重基礎(chǔ)社保數(shù)據(jù)的積累和分類工作，對(duì)于歷年的重要數(shù)據(jù)只是簡(jiǎn)單記錄儲(chǔ)存，從不進(jìn)行仔細(xì)分析進(jìn)而指導(dǎo)工作實(shí)踐。對(duì)于多樣復(fù)雜的大體量的社保數(shù)據(jù)，要么簡(jiǎn)要進(jìn)行匯總統(tǒng)計(jì)，要么不知所措，甚至直接置之不理。就數(shù)據(jù)的分析方法而言，分析手段有限，專業(yè)性數(shù)據(jù)分析能力欠缺，不能夠深度挖掘數(shù)據(jù)價(jià)值，加以充分吸收利用。二是解決架構(gòu)模式改變問題。隨著\"大數(shù)據(jù)\"、\"云計(jì)算\"在各行業(yè)的不斷應(yīng)用，數(shù)據(jù)架構(gòu)與以往相比有了很大的變化，對(duì)數(shù)據(jù)的采集利用提出了新的、更高的要求。三是解決高端數(shù)據(jù)人才培養(yǎng)問題。多培養(yǎng)通曉相關(guān)專業(yè)知識(shí)和信息技術(shù)的復(fù)合型的人才，培養(yǎng)一批懂得大數(shù)據(jù)，收集大數(shù)據(jù)，并且善于研究大數(shù)據(jù)，深挖大數(shù)據(jù)的專家。加大對(duì)現(xiàn)有信息管理人員的大數(shù)據(jù)培訓(xùn)力度，掌握大數(shù)據(jù)相關(guān)技術(shù)。
三、大數(shù)據(jù)審計(jì)發(fā)展方向 面對(duì)大數(shù)據(jù)時(shí)代對(duì)審計(jì)工作帶來的挑戰(zhàn)，審計(jì)方式和途徑將實(shí)現(xiàn)以下四個(gè)方面的轉(zhuǎn)變。
（一）應(yīng)用大數(shù)據(jù)分析技術(shù)，實(shí)現(xiàn)審計(jì)方法從數(shù)據(jù)驗(yàn)證性分析向數(shù)據(jù)挖掘性分析轉(zhuǎn)變。
傳統(tǒng)的計(jì)算機(jī)審計(jì)，是通過電子數(shù)據(jù)采集轉(zhuǎn)換對(duì)數(shù)據(jù)進(jìn)行驗(yàn)證，通過構(gòu)建查詢分析、多維分析等方法模型進(jìn)行數(shù)據(jù)分析，而應(yīng)用大數(shù)據(jù)分析技術(shù)，則能夠使審計(jì)數(shù)據(jù)分析逐步由傳統(tǒng)的驗(yàn)證性分析向挖掘性分析轉(zhuǎn)變。挖掘性分析是指采用大數(shù)據(jù)處理技術(shù)，利用數(shù)據(jù)倉庫、數(shù)據(jù)挖掘和模型預(yù)測(cè)工具進(jìn)行審計(jì)分析，從大量數(shù)據(jù)中發(fā)現(xiàn)蘊(yùn)涵的數(shù)據(jù)模式和規(guī)律。
（二）應(yīng)用大數(shù)據(jù)分析模式，實(shí)現(xiàn)審計(jì)方式從發(fā)現(xiàn)問題向風(fēng)險(xiǎn)預(yù)警轉(zhuǎn)變。
傳統(tǒng)審計(jì)工作以發(fā)現(xiàn)問題為主，對(duì)經(jīng)濟(jì)形勢(shì)進(jìn)行預(yù)測(cè)分析，因而須等到相關(guān)事件發(fā)生并且形成一定規(guī)模后，再根據(jù)搜集到的足夠數(shù)據(jù)進(jìn)行分析研究，具有滯后性。而大數(shù)據(jù)技術(shù)可通過對(duì)跨領(lǐng)域的大規(guī)模經(jīng)濟(jì)、社會(huì)行為數(shù)據(jù)進(jìn)行分析，對(duì)經(jīng)濟(jì)社會(huì)相關(guān)異常動(dòng)態(tài)實(shí)現(xiàn)早期關(guān)注，利用其對(duì)異常數(shù)據(jù)的敏感性實(shí)現(xiàn)早期預(yù)警。審計(jì)可以運(yùn)用大數(shù)據(jù)相關(guān)技術(shù)，對(duì)宏觀經(jīng)濟(jì)社會(huì)風(fēng)險(xiǎn)問題展開初步分析。 （三）應(yīng)用大數(shù)據(jù)審計(jì)作業(yè)平臺(tái)，實(shí)現(xiàn)單機(jī)審計(jì)向云審計(jì)轉(zhuǎn)變。
以審計(jì)大數(shù)據(jù)為中心建設(shè)\"云審計(jì)\"平臺(tái)，實(shí)現(xiàn)遠(yuǎn)程存儲(chǔ)和移動(dòng)計(jì)算，使審計(jì)機(jī)關(guān)能夠通過網(wǎng)絡(luò)接入\"云\"實(shí)施審計(jì)，利用大數(shù)據(jù)分析、人工智能等信息技術(shù)，解決數(shù)據(jù)采集分析和管理中存在的問題，實(shí)現(xiàn)審計(jì)成果共享。其次，應(yīng)完善聯(lián)網(wǎng)審計(jì)系統(tǒng)，逐步建立預(yù)算、執(zhí)行、財(cái)政、地稅、社會(huì)保障、醫(yī)療機(jī)構(gòu)、公積金等重要行業(yè)和部門的審計(jì)實(shí)時(shí)監(jiān)督系統(tǒng)。再次，應(yīng)建設(shè)審計(jì)數(shù)據(jù)綜合分析平臺(tái)，運(yùn)用大數(shù)據(jù)技術(shù)，加大業(yè)務(wù)數(shù)據(jù)與財(cái)務(wù)數(shù)據(jù)、單位數(shù)據(jù)與行業(yè)數(shù)據(jù)，以及跨行業(yè)、跨領(lǐng)域數(shù)據(jù)的綜合比對(duì)和關(guān)聯(lián)分析，提高運(yùn)用信息化技術(shù)查核問題、評(píng)價(jià)判斷、宏觀分析的能力。最后，應(yīng)推廣\"總體分析、發(fā)現(xiàn)疑點(diǎn)、分散核實(shí)、系統(tǒng)研究\"的審計(jì)模式。
（四）構(gòu)建專業(yè)的審計(jì)分析隊(duì)伍，實(shí)現(xiàn)傳統(tǒng)紙質(zhì)賬本審計(jì)向大數(shù)據(jù)審計(jì)轉(zhuǎn)變。
審計(jì)工作應(yīng)實(shí)現(xiàn)\"六大轉(zhuǎn)變\"，即由單點(diǎn)離散審計(jì)向多點(diǎn)聯(lián)動(dòng)審計(jì)轉(zhuǎn)變、由局部審計(jì)向全覆蓋審計(jì)轉(zhuǎn)變、由靜態(tài)審計(jì)向靜態(tài)與動(dòng)態(tài)審計(jì)相結(jié)合轉(zhuǎn)變、由事后審計(jì)向事后與事中審計(jì)相結(jié)合轉(zhuǎn)變、由現(xiàn)場(chǎng)審計(jì)向現(xiàn)場(chǎng)審計(jì)與非現(xiàn)場(chǎng)審計(jì)相結(jié)合轉(zhuǎn)變、由微觀審計(jì)向微觀與宏觀審計(jì)相結(jié)合轉(zhuǎn)變。為此，需要在組織方式、人員結(jié)構(gòu)、思維方式等方面與之相適應(yīng)。在組織方式上，應(yīng)嘗試開展無項(xiàng)目審計(jì)，依托審計(jì)數(shù)據(jù)中心積累的數(shù)據(jù)資源，橫向關(guān)聯(lián)比對(duì)分析，縱向深入挖掘分析，從數(shù)據(jù)中發(fā)現(xiàn)審計(jì)疑點(diǎn)和線索。在人員結(jié)構(gòu)上，應(yīng)不斷提升\"四種能力\"，即大數(shù)據(jù)分析能力、綜合研究能力、創(chuàng)新能力和跨領(lǐng)域知識(shí)運(yùn)用能力，不斷加強(qiáng)對(duì)大數(shù)據(jù)先進(jìn)理念和前沿技術(shù)的學(xué)習(xí)，掌握大數(shù)據(jù)分析方法，提升審計(jì)人員綜合素質(zhì)。在思維方式上，應(yīng)培養(yǎng)\"數(shù)據(jù)先行\(zhòng)"意識(shí)，以數(shù)據(jù)為核心，使數(shù)據(jù)分析在審計(jì)工作開展前先行實(shí)施，根據(jù)數(shù)據(jù)分析結(jié)果，有重點(diǎn)、有步驟、有深度地在審計(jì)實(shí)施過程中進(jìn)行核查驗(yàn)證、追蹤線索、發(fā)現(xiàn)問題，全面深化大數(shù)據(jù)技術(shù)在審計(jì)工作中的應(yīng)用。
第五篇：大數(shù)據(jù)調(diào)研報(bào)告
大數(shù)據(jù)技術(shù)市場(chǎng)調(diào)查報(bào)告：“BigData浪潮”迫使企業(yè)做出抉擇
發(fā)表于2012-02-06 13:26| 2517次閱讀| 來源CSDN| 0 條評(píng)論| 作者李智
數(shù)據(jù)中心浪潮數(shù)據(jù)挖掘數(shù)據(jù)分析大數(shù)據(jù)
摘要：大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性 首先讓我們先來了解一下大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性。從IT角度來看，信息結(jié)構(gòu)類型大致經(jīng)歷了三次浪潮。必須注意這一點(diǎn)，新的浪潮并沒取代舊浪潮，它們?nèi)栽诓粩喟l(fā)展，三種數(shù)據(jù)結(jié)構(gòu)類型一直存在，只是其中一種結(jié)構(gòu)類型往往主導(dǎo)于其他結(jié)構(gòu)： 結(jié)構(gòu)化信息這種信息可以在關(guān)...
根據(jù)IDC的調(diào)查報(bào)告預(yù)測(cè)到2020年全球電子設(shè)備存儲(chǔ)的數(shù)據(jù)將暴增30倍，達(dá)到35ZB（相當(dāng)于10億塊1TB的硬盤的容量）。大數(shù)據(jù)浪潮的到來也為企業(yè)帶來了新一輪的挑戰(zhàn)。對(duì)于有準(zhǔn)備的企業(yè)來說這無疑是一座信息金礦，能夠合理的將大數(shù)據(jù)轉(zhuǎn)換為有價(jià)值信息成為未來企業(yè)的必備技能。恰逢此時(shí)，CSDN專門針對(duì)企業(yè)相關(guān)人員進(jìn)行了大規(guī)模問卷調(diào)研，并在數(shù)千份的調(diào)查報(bào)告中總結(jié)出現(xiàn)今企業(yè)大數(shù)據(jù)業(yè)務(wù)的現(xiàn)狀。在此我們也將調(diào)研結(jié)果展示與此以供大家參考。
大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性 首先讓我們先來了解一下大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性。從IT角度來看，信息結(jié)構(gòu)類型大致經(jīng)歷了三次浪潮。必須注意這一點(diǎn)，新的浪潮并沒取代舊浪潮，它們?nèi)栽诓粩喟l(fā)展，三種數(shù)據(jù)結(jié)構(gòu)類型一直存在，只是其中一種結(jié)構(gòu)類型往往主導(dǎo)于其他結(jié)構(gòu)：
結(jié)構(gòu)化信息——這種信息可以在關(guān)系數(shù)據(jù)庫中找到，多年來一直主導(dǎo)著IT應(yīng)用。這是關(guān)鍵任務(wù)OLTP系統(tǒng)業(yè)務(wù)所依賴的信息，另外，還可對(duì)結(jié)構(gòu)數(shù)據(jù)庫信息進(jìn)行排序和查詢； 半結(jié)構(gòu)化信息——這是IT的第二次浪潮，包括電子郵件，文字處理文件以及大量保存和發(fā)布在網(wǎng)絡(luò)上的信息。半結(jié)構(gòu)化信息是以內(nèi)容為基礎(chǔ)，可以用于搜索，這也是谷歌存在的理由； 非結(jié)構(gòu)化信息——該信息在本質(zhì)形式上可認(rèn)為主要是位映射數(shù)據(jù)。數(shù)據(jù)必須處于一種可感知的形式中（諸如可在音頻、視頻和多媒體文件中被聽或被看）。許多大數(shù)據(jù)都是非結(jié)構(gòu)化的，其龐大規(guī)模和復(fù)雜性需要高級(jí)分析工具來創(chuàng)建或利用一種更易于人們感知和交互的結(jié)構(gòu)。
企業(yè)內(nèi)部大數(shù)據(jù)處理基礎(chǔ)設(shè)施普遍落后
從調(diào)查結(jié)果可以看出，接近50%的企業(yè)服務(wù)器數(shù)量在100臺(tái)以內(nèi)，而擁有100至500臺(tái)占據(jù)了22%的比例。500至2000臺(tái)服務(wù)器則占據(jù)剩下28.4%的比例。可以看出面對(duì)大數(shù)據(jù)現(xiàn)今大部分企業(yè)還沒有完善其硬件基礎(chǔ)架構(gòu)設(shè)施。以現(xiàn)階段企業(yè)內(nèi)大數(shù)據(jù)處理基礎(chǔ)設(shè)施的情況來看50%的企業(yè)面臨大數(shù)據(jù)處理的問題（中小企業(yè)在面對(duì)大數(shù)據(jù)的解決之道應(yīng)遵循采集、導(dǎo)入/處理、查詢、挖掘的流程）。
但這只是暫時(shí)狀況，“廉價(jià)”服務(wù)器設(shè)施會(huì)隨著企業(yè)業(yè)務(wù)的發(fā)展逐漸被淘汰出歷史的舞臺(tái)，在未來企業(yè)基礎(chǔ)架構(gòu)體系的硬件選用上，多核多路處理器以及SSD等設(shè)備會(huì)成為企業(yè)的首選。Facebook的Open Compute Project就在業(yè)界樹立了榜樣，Open Compute Project利用開源社區(qū)的理念改善服務(wù)器硬件以及機(jī)架的設(shè)計(jì)。其數(shù)據(jù)中心PUE值也是領(lǐng)先與業(yè)內(nèi)的其他對(duì)手。
而在具有大數(shù)據(jù)處理需求的企業(yè)中52.2%的日數(shù)據(jù)生成量在100GB以下，日數(shù)據(jù)生成量100GB到50TB占據(jù)了43.5%，而令人驚訝的是，日數(shù)據(jù)生成量50TB以上也有4.4%的份額。數(shù)據(jù)量持續(xù)的增長(zhǎng)，公司將被迫增加基礎(chǔ)設(shè)施的部署。專利費(fèi)用將一直增加，而開源技術(shù)，則省了這筆一直持續(xù)的專利費(fèi)。對(duì)于急需改變自己傳統(tǒng)IT架構(gòu)的企業(yè)而言，傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的融合，成了所有人關(guān)心的問題。
企業(yè)面對(duì)大數(shù)據(jù)處理的挑戰(zhàn)與問題
現(xiàn)今大數(shù)據(jù)呈現(xiàn)出“4V + 1C”的特點(diǎn)。既Variety：一般包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等多類數(shù)據(jù)，而且它們處理和分析方式有區(qū)別；Volume：通過各種設(shè)備產(chǎn)生了大量的數(shù)據(jù)，PB級(jí)別是常態(tài)；Velocity：要求快速處理，存在時(shí)效性；Vitality：分析和處理模型必須快速變化，因?yàn)樾枨笤谧?；Complexity：處理和分析的難度非常大。
從圖中我們可以看出資源利用率低、擴(kuò)展性差以及應(yīng)用部署過于復(fù)雜是現(xiàn)今企業(yè)數(shù)據(jù)系統(tǒng)架構(gòu)面臨的主要問題。其實(shí)大數(shù)據(jù)的基礎(chǔ)架構(gòu)首要需要考慮就是前瞻性，隨著數(shù)據(jù)的不斷增長(zhǎng)，用戶需要從硬體、軟件層面思考需要怎樣的架構(gòu)去實(shí)現(xiàn)。而具備資源高利用率、高擴(kuò)展性并對(duì)文件存儲(chǔ)友好的文件系統(tǒng)必將是未來的發(fā)展趨勢(shì)。
應(yīng)用部署過于復(fù)雜也催生了大數(shù)據(jù)處理系統(tǒng)管理員這一新興職業(yè)，其主要負(fù)責(zé)日常Hadoop集群正常運(yùn)行。例如直接或間接的管理硬件，當(dāng)需要添加硬件時(shí)需保證集群仍能夠穩(wěn)定運(yùn)行。同時(shí)還要負(fù)責(zé)系統(tǒng)監(jiān)控和配置，保證Hadoop與其他系統(tǒng)的有機(jī)結(jié)合。
而多格式數(shù)據(jù)、讀寫速度（讀寫速度是指數(shù)據(jù)從端點(diǎn)移動(dòng)到處理器和存儲(chǔ)的速度）以及海量數(shù)據(jù)是企業(yè)面臨大數(shù)據(jù)處理急需解決的技術(shù)挑戰(zhàn)。眾所周知隨著大容量數(shù)據(jù)（TB級(jí)、PB級(jí)甚至EB級(jí)）的出現(xiàn)，業(yè)務(wù)數(shù)據(jù)對(duì)IT系統(tǒng)帶來了更大的挑戰(zhàn)，數(shù)據(jù)的存儲(chǔ)和安全以及在未來訪問和使用這些數(shù)據(jù)已成為難點(diǎn)。同時(shí)大數(shù)據(jù)不只是關(guān)于數(shù)據(jù)量而已。大數(shù)據(jù)包括了越來越多不同格式的數(shù)據(jù)，這些不同格式的數(shù)據(jù)也需要不同的處理方法。充分利用有用的數(shù)據(jù)，廢棄虛偽無用的數(shù)據(jù)，是數(shù)據(jù)挖掘技術(shù)的最重要的應(yīng)用。
企業(yè)內(nèi)部數(shù)據(jù)分析與挖掘工具應(yīng)用現(xiàn)狀
云時(shí)代企業(yè)數(shù)據(jù)挖掘面臨如下三點(diǎn)挑戰(zhàn)。挖掘效率：進(jìn)入云計(jì)算時(shí)代后，BI的思路發(fā)生了轉(zhuǎn)換。以前是基于封閉的企業(yè)數(shù)據(jù)進(jìn)行挖掘，而面對(duì)引入互聯(lián)網(wǎng)應(yīng)用后海量的異構(gòu)數(shù)據(jù)時(shí)，目前并行挖掘算法的效率很低；多源數(shù)據(jù)：引入云計(jì)算后，企業(yè)數(shù)據(jù)的位置有可能在提供公有云服務(wù)的平臺(tái)上，也可能在企業(yè)自建的私有云上，如何面對(duì)不同的數(shù)據(jù)源進(jìn)行挖掘也是一個(gè)挑戰(zhàn)；異構(gòu)數(shù)據(jù)：Web數(shù)據(jù)的最大特點(diǎn)就是半結(jié)構(gòu)化，如文檔、報(bào)表、網(wǎng)頁、聲音、圖像、視頻等，而云計(jì)算帶來了大量的基于互聯(lián)網(wǎng)模式提供的SaaS應(yīng)用，如何梳理有效數(shù)據(jù)是一個(gè)挑戰(zhàn)。 拋去價(jià)格因素之外可以看出反應(yīng)速度慢、操作不方便、數(shù)據(jù)不準(zhǔn)確、分析不準(zhǔn)確這四項(xiàng)是企業(yè)數(shù)據(jù)分析與數(shù)據(jù)挖掘面臨的主要問題。商業(yè)化解決方案固然成熟，但成本也是顯而易見的。而具備在開源平臺(tái)之上處理分析大數(shù)據(jù)能力的數(shù)據(jù)科學(xué)家則成為另外的一種選擇。數(shù)據(jù)科學(xué)家具備專業(yè)領(lǐng)域知識(shí)并具備研究利用相應(yīng)算法分析對(duì)應(yīng)問題的能力，可幫助創(chuàng)建推動(dòng)業(yè)務(wù)發(fā)展的相應(yīng)的大數(shù)據(jù)產(chǎn)品和大數(shù)據(jù)解決方案。
從調(diào)查結(jié)果中我們可以看出Hadoop占據(jù)了半壁江山，而同為開源的HBase也有將近四分之一的占有率。而商業(yè)化的數(shù)據(jù)分析與挖掘平臺(tái)（如Teradata、Netezza、Greenplum等）總共只有13.9%的份額。短期來講，開源分析將越來越廣泛的使用，并且增長(zhǎng)迅速。長(zhǎng)期來看，混合技術(shù)的應(yīng)用將在高度競(jìng)爭(zhēng)的市場(chǎng)上出現(xiàn)，兩者將同樣有巨大的需求?？梢灶A(yù)見的是，Hadoop作為企業(yè)級(jí)數(shù)據(jù)倉庫體系結(jié)構(gòu)核心技術(shù)，在未來的10年中它將會(huì)保持增長(zhǎng)。 隨著云時(shí)代的到來，企業(yè)面臨的應(yīng)用方式更加多元化，通過云的手段提供海量數(shù)據(jù)挖掘的方法，提高了挖掘的效率，增加了挖掘的精度，更利于挖掘應(yīng)用的推廣以及專業(yè)的行業(yè)知識(shí)庫的構(gòu)建。同時(shí)收集、存儲(chǔ)龐大的新型數(shù)據(jù)充滿了挑戰(zhàn)，然而分析這些數(shù)據(jù)的新方法才是幫助最成功企業(yè)甩開競(jìng)爭(zhēng)對(duì)手的利器。
第六篇：大數(shù)據(jù)調(diào)研報(bào)告
大數(shù)據(jù)技術(shù)市場(chǎng)調(diào)查報(bào)告：“BigData浪潮”迫使企業(yè)做出抉擇
發(fā)表于2012-02-06 13:26| 2517次閱讀| 來源CSDN| 0 條評(píng)論| 作者李智
數(shù)據(jù)中心浪潮數(shù)據(jù)挖掘數(shù)據(jù)分析大數(shù)據(jù)
摘要：大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性 首先讓我們先來了解一下大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性。從IT角度來看，信息結(jié)構(gòu)類型大致經(jīng)歷了三次浪潮。必須注意這一點(diǎn)，新的浪潮并沒取代舊浪潮，它們?nèi)栽诓粩喟l(fā)展，三種數(shù)據(jù)結(jié)構(gòu)類型一直存在，只是其中一種結(jié)構(gòu)類型往往主導(dǎo)于其他結(jié)構(gòu)： 結(jié)構(gòu)化信息這種信息可以在關(guān)...
根據(jù)IDC的調(diào)查報(bào)告預(yù)測(cè)到2020年全球電子設(shè)備存儲(chǔ)的數(shù)據(jù)將暴增30倍，達(dá)到35ZB（相當(dāng)于10億塊1TB的硬盤的容量）。大數(shù)據(jù)浪潮的到來也為企業(yè)帶來了新一輪的挑戰(zhàn)。對(duì)于有準(zhǔn)備的企業(yè)來說這無疑是一座信息金礦，能夠合理的將大數(shù)據(jù)轉(zhuǎn)換為有價(jià)值信息成為未來企業(yè)的必備技能。恰逢此時(shí)，CSDN專門針對(duì)企業(yè)相關(guān)人員進(jìn)行了大規(guī)模問卷調(diào)研，并在數(shù)千份的調(diào)查報(bào)告中總結(jié)出現(xiàn)今企業(yè)大數(shù)據(jù)業(yè)務(wù)的現(xiàn)狀。在此我們也將調(diào)研結(jié)果展示與此以供大家參考。
大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性 首先讓我們先來了解一下大數(shù)據(jù)時(shí)代的數(shù)據(jù)格式特性。從IT角度來看，信息結(jié)構(gòu)類型大致經(jīng)歷了三次浪潮。必須注意這一點(diǎn)，新的浪潮并沒取代舊浪潮，它們?nèi)栽诓粩喟l(fā)展，三種數(shù)據(jù)結(jié)構(gòu)類型一直存在，只是其中一種結(jié)構(gòu)類型往往主導(dǎo)于其他結(jié)構(gòu)：
結(jié)構(gòu)化信息——這種信息可以在關(guān)系數(shù)據(jù)庫中找到，多年來一直主導(dǎo)著IT應(yīng)用。這是關(guān)鍵任務(wù)OLTP系統(tǒng)業(yè)務(wù)所依賴的信息，另外，還可對(duì)結(jié)構(gòu)數(shù)據(jù)庫信息進(jìn)行排序和查詢； 半結(jié)構(gòu)化信息——這是IT的第二次浪潮，包括電子郵件，文字處理文件以及大量保存和發(fā)布在網(wǎng)絡(luò)上的信息。半結(jié)構(gòu)化信息是以內(nèi)容為基礎(chǔ)，可以用于搜索，這也是谷歌存在的理由； 非結(jié)構(gòu)化信息——該信息在本質(zhì)形式上可認(rèn)為主要是位映射數(shù)據(jù)。數(shù)據(jù)必須處于一種可感知的形式中（諸如可在音頻、視頻和多媒體文件中被聽或被看）。許多大數(shù)據(jù)都是非結(jié)構(gòu)化的，其龐大規(guī)模和復(fù)雜性需要高級(jí)分析工具來創(chuàng)建或利用一種更易于人們感知和交互的結(jié)構(gòu)。
企業(yè)內(nèi)部大數(shù)據(jù)處理基礎(chǔ)設(shè)施普遍落后
從調(diào)查結(jié)果可以看出，接近50%的企業(yè)服務(wù)器數(shù)量在100臺(tái)以內(nèi)，而擁有100至500臺(tái)占據(jù)了22%的比例。500至2000臺(tái)服務(wù)器則占據(jù)剩下28.4%的比例?？梢钥闯雒鎸?duì)大數(shù)據(jù)現(xiàn)今大部分企業(yè)還沒有完善其硬件基礎(chǔ)架構(gòu)設(shè)施。以現(xiàn)階段企業(yè)內(nèi)大數(shù)據(jù)處理基礎(chǔ)設(shè)施的情況來看50%的企業(yè)面臨大數(shù)據(jù)處理的問題（中小企業(yè)在面對(duì)大數(shù)據(jù)的解決之道應(yīng)遵循采集、導(dǎo)入/處理、查詢、挖掘的流程）。
但這只是暫時(shí)狀況，“廉價(jià)”服務(wù)器設(shè)施會(huì)隨著企業(yè)業(yè)務(wù)的發(fā)展逐漸被淘汰出歷史的舞臺(tái)，在未來企業(yè)基礎(chǔ)架構(gòu)體系的硬件選用上，多核多路處理器以及SSD等設(shè)備會(huì)成為企業(yè)的首選。Facebook的Open Compute Project就在業(yè)界樹立了榜樣，Open Compute Project利用開源社區(qū)的理念改善服務(wù)器硬件以及機(jī)架的設(shè)計(jì)。其數(shù)據(jù)中心PUE值也是領(lǐng)先與業(yè)內(nèi)的其他對(duì)手。
而在具有大數(shù)據(jù)處理需求的企業(yè)中52.2%的日數(shù)據(jù)生成量在100GB以下，日數(shù)據(jù)生成量100GB到50TB占據(jù)了43.5%，而令人驚訝的是，日數(shù)據(jù)生成量50TB以上也有4.4%的份額。數(shù)據(jù)量持續(xù)的增長(zhǎng)，公司將被迫增加基礎(chǔ)設(shè)施的部署。專利費(fèi)用將一直增加，而開源技術(shù)，則省了這筆一直持續(xù)的專利費(fèi)。對(duì)于急需改變自己傳統(tǒng)IT架構(gòu)的企業(yè)而言，傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的融合，成了所有人關(guān)心的問題。
企業(yè)面對(duì)大數(shù)據(jù)處理的挑戰(zhàn)與問題
現(xiàn)今大數(shù)據(jù)呈現(xiàn)出“4V + 1C”的特點(diǎn)。既Variety：一般包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等多類數(shù)據(jù)，而且它們處理和分析方式有區(qū)別；Volume：通過各種設(shè)備產(chǎn)生了大量的數(shù)據(jù)，PB級(jí)別是常態(tài)；Velocity：要求快速處理，存在時(shí)效性；Vitality：分析和處理模型必須快速變化，因?yàn)樾枨笤谧?；Complexity：處理和分析的難度非常大。
從圖中我們可以看出資源利用率低、擴(kuò)展性差以及應(yīng)用部署過于復(fù)雜是現(xiàn)今企業(yè)數(shù)據(jù)系統(tǒng)架構(gòu)面臨的主要問題。其實(shí)大數(shù)據(jù)的基礎(chǔ)架構(gòu)首要需要考慮就是前瞻性，隨著數(shù)據(jù)的不斷增長(zhǎng)，用戶需要從硬體、軟件層面思考需要怎樣的架構(gòu)去實(shí)現(xiàn)。而具備資源高利用率、高擴(kuò)展性并對(duì)文件存儲(chǔ)友好的文件系統(tǒng)必將是未來的發(fā)展趨勢(shì)。
應(yīng)用部署過于復(fù)雜也催生了大數(shù)據(jù)處理系統(tǒng)管理員這一新興職業(yè)，其主要負(fù)責(zé)日常Hadoop集群正常運(yùn)行。例如直接或間接的管理硬件，當(dāng)需要添加硬件時(shí)需保證集群仍能夠穩(wěn)定運(yùn)行。同時(shí)還要負(fù)責(zé)系統(tǒng)監(jiān)控和配置，保證Hadoop與其他系統(tǒng)的有機(jī)結(jié)合。
而多格式數(shù)據(jù)、讀寫速度（讀寫速度是指數(shù)據(jù)從端點(diǎn)移動(dòng)到處理器和存儲(chǔ)的速度）以及海量數(shù)據(jù)是企業(yè)面臨大數(shù)據(jù)處理急需解決的技術(shù)挑戰(zhàn)。眾所周知隨著大容量數(shù)據(jù)（TB級(jí)、PB級(jí)甚至EB級(jí)）的出現(xiàn)，業(yè)務(wù)數(shù)據(jù)對(duì)IT系統(tǒng)帶來了更大的挑戰(zhàn)，數(shù)據(jù)的存儲(chǔ)和安全以及在未來訪問和使用這些數(shù)據(jù)已成為難點(diǎn)。同時(shí)大數(shù)據(jù)不只是關(guān)于數(shù)據(jù)量而已。大數(shù)據(jù)包括了越來越多不同格式的數(shù)據(jù)，這些不同格式的數(shù)據(jù)也需要不同的處理方法。充分利用有用的數(shù)據(jù)，廢棄虛偽無用的數(shù)據(jù)，是數(shù)據(jù)挖掘技術(shù)的最重要的應(yīng)用。
企業(yè)內(nèi)部數(shù)據(jù)分析與挖掘工具應(yīng)用現(xiàn)狀
云時(shí)代企業(yè)數(shù)據(jù)挖掘面臨如下三點(diǎn)挑戰(zhàn)。挖掘效率：進(jìn)入云計(jì)算時(shí)代后，BI的思路發(fā)生了轉(zhuǎn)換。以前是基于封閉的企業(yè)數(shù)據(jù)進(jìn)行挖掘，而面對(duì)引入互聯(lián)網(wǎng)應(yīng)用后海量的異構(gòu)數(shù)據(jù)時(shí)，目前并行挖掘算法的效率很低；多源數(shù)據(jù)：引入云計(jì)算后，企業(yè)數(shù)據(jù)的位置有可能在提供公有云服務(wù)的平臺(tái)上，也可能在企業(yè)自建的私有云上，如何面對(duì)不同的數(shù)據(jù)源進(jìn)行挖掘也是一個(gè)挑戰(zhàn)；異構(gòu)數(shù)據(jù)：Web數(shù)據(jù)的最大特點(diǎn)就是半結(jié)構(gòu)化，如文檔、報(bào)表、網(wǎng)頁、聲音、圖像、視頻等，而云計(jì)算帶來了大量的基于互聯(lián)網(wǎng)模式提供的SaaS應(yīng)用，如何梳理有效數(shù)據(jù)是一個(gè)挑戰(zhàn)。 拋去價(jià)格因素之外可以看出反應(yīng)速度慢、操作不方便、數(shù)據(jù)不準(zhǔn)確、分析不準(zhǔn)確這四項(xiàng)是企業(yè)數(shù)據(jù)分析與數(shù)據(jù)挖掘面臨的主要問題。商業(yè)化解決方案固然成熟，但成本也是顯而易見的。而具備在開源平臺(tái)之上處理分析大數(shù)據(jù)能力的數(shù)據(jù)科學(xué)家則成為另外的一種選擇。數(shù)據(jù)科學(xué)家具備專業(yè)領(lǐng)域知識(shí)并具備研究利用相應(yīng)算法分析對(duì)應(yīng)問題的能力，可幫助創(chuàng)建推動(dòng)業(yè)務(wù)發(fā)展的相應(yīng)的大數(shù)據(jù)產(chǎn)品和大數(shù)據(jù)解決方案。
從調(diào)查結(jié)果中我們可以看出Hadoop占據(jù)了半壁江山，而同為開源的HBase也有將近四分之一的占有率。而商業(yè)化的數(shù)據(jù)分析與挖掘平臺(tái)（如Teradata、Netezza、Greenplum等）總共只有13.9%的份額。短期來講，開源分析將越來越廣泛的使用，并且增長(zhǎng)迅速。長(zhǎng)期來看，混合技術(shù)的應(yīng)用將在高度競(jìng)爭(zhēng)的市場(chǎng)上出現(xiàn)，兩者將同樣有巨大的需求?？梢灶A(yù)見的是，Hadoop作為企業(yè)級(jí)數(shù)據(jù)倉庫體系結(jié)構(gòu)核心技術(shù)，在未來的10年中它將會(huì)保持增長(zhǎng)。 隨著云時(shí)代的到來，企業(yè)面臨的應(yīng)用方式更加多元化，通過云的手段提供海量數(shù)據(jù)挖掘的方法，提高了挖掘的效率，增加了挖掘的精度，更利于挖掘應(yīng)用的推廣以及專業(yè)的行業(yè)知識(shí)庫的構(gòu)建。同時(shí)收集、存儲(chǔ)龐大的新型數(shù)據(jù)充滿了挑戰(zhàn)，然而分析這些數(shù)據(jù)的新方法才是幫助最成功企業(yè)甩開競(jìng)爭(zhēng)對(duì)手的利器。
