千文網(wǎng)小編為你整理了多篇相關(guān)的《17研究生畢業(yè)論文開題報(bào)告模板》，但愿對(duì)你工作學(xué)習(xí)有幫助，當(dāng)然你在千文網(wǎng)還可以找到更多《17研究生畢業(yè)論文開題報(bào)告模板》。

一、課題來源：本課題來源于作者在學(xué)習(xí)和實(shí)習(xí)中了解到的兩個(gè)事實(shí)，屬于自擬課題。其一，作者在2011年7月在XXX公司調(diào)研，了解到現(xiàn)如今各行業(yè)都面臨著數(shù)據(jù)量劇增長，并由此帶來業(yè)務(wù)處理速度緩慢，數(shù)據(jù)維護(hù)困難等問題。為了應(yīng)對(duì)此挑戰(zhàn)，很多企業(yè)開實(shí)施大數(shù)據(jù)發(fā)展戰(zhàn)略?，F(xiàn)如今的大數(shù)據(jù)發(fā)展戰(zhàn)略可以概括為兩類，一類是垂直擴(kuò)展。即采用存儲(chǔ)容量更大，處理能力更強(qiáng)的設(shè)備，此種方式成本較大，過去很多大公司一直采用此種方法處理大數(shù)據(jù)。但自從2004年Google發(fā)布關(guān)于GFS，MapReduce和BigTable三篇技術(shù)論文之后，云計(jì)算開始興起，2006年ApacheHadoop項(xiàng)目啟動(dòng)。隨后從2009年開始，隨著云計(jì)算和大數(shù)據(jù)的發(fā)展，Hadoop作為一種優(yōu)秀的數(shù)據(jù)分析、處理解決方案，開始受到許多IT企業(yè)的關(guān)注。相較于垂直擴(kuò)張所需的昂貴成本，人們更鐘情于采用這種通過整合廉價(jià)計(jì)算資源的水平擴(kuò)展方式。于是很多IT企業(yè)開始探索采用Hadoop框架構(gòu)建自己的大數(shù)據(jù)環(huán)境。其二，作者自2013年4月在XXX實(shí)習(xí)過程中進(jìn)一步了解到，因?yàn)殛P(guān)系數(shù)據(jù)庫在存儲(chǔ)數(shù)據(jù)格式方面的局限，以及其Schema機(jī)制帶來的擴(kuò)展性上的不便，目前在大部分的大數(shù)據(jù)應(yīng)用環(huán)境中都采用非結(jié)構(gòu)化的數(shù)據(jù)庫，如列式存儲(chǔ)的Hbase，文檔型存儲(chǔ)的MangoDB，圖數(shù)據(jù)庫neo4j等。這些非結(jié)構(gòu)化數(shù)據(jù)庫因?yàn)榭蓴U(kuò)展性強(qiáng)、資源利用率高，高并發(fā)、響應(yīng)速度快等優(yōu)勢(shì)，在大數(shù)據(jù)應(yīng)用環(huán)境中得到了廣泛的應(yīng)用。但此種應(yīng)用只解決了前端的業(yè)務(wù)處理，要真正利用大數(shù)據(jù)實(shí)現(xiàn)商務(wù)智能，還需要為決策支持系統(tǒng)和聯(lián)機(jī)分析應(yīng)用等提供一數(shù)據(jù)環(huán)境――數(shù)據(jù)倉庫。為此，導(dǎo)師指導(dǎo)本文作者擬此題目，研究基于Hadoop框架的數(shù)據(jù)倉庫解決方案。二、研究目的和意義：現(xiàn)如今，數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)，成為重要的生產(chǎn)因素。近年來，由于歷史積累和和數(shù)據(jù)增長速度加快，各行業(yè)都面臨著大數(shù)據(jù)的難題。事實(shí)上，大數(shù)據(jù)既是機(jī)遇又時(shí)挑戰(zhàn)。合理、充分利用大數(shù)據(jù)，將其轉(zhuǎn)變?yōu)楹Ａ?、高增長率和多樣化的信息資產(chǎn)，將使得企業(yè)具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化等能力。因此，很多IT企業(yè)都將大數(shù)據(jù)作為其重要的發(fā)展戰(zhàn)略，如亞馬遜、FaceBook已布局大數(shù)據(jù)產(chǎn)業(yè)，并取得了驕人的成績(jī)。事實(shí)上，不止谷歌、易趣網(wǎng)或亞馬遜這樣的大型互聯(lián)網(wǎng)企業(yè)需要發(fā)展大數(shù)據(jù)，任何規(guī)模的企業(yè)都有機(jī)會(huì)從大數(shù)據(jù)中獲得優(yōu)勢(shì)，并由此構(gòu)建其未來業(yè)務(wù)分析的基礎(chǔ)，在與同行的競(jìng)爭(zhēng)中，取得顯著的優(yōu)勢(shì)。相較于大型企業(yè)，中小企業(yè)的大數(shù)據(jù)發(fā)展戰(zhàn)略不同。大公司可以憑借雄厚的資本和技術(shù)實(shí)力，從自身環(huán)境和業(yè)務(wù)出發(fā)，開發(fā)自己的軟件平臺(tái)。而中小企業(yè)沒有那樣的技術(shù)實(shí)力，也沒有那么龐大的資金投入，更傾向于選擇一個(gè)普遍的、相對(duì)廉價(jià)的解決方案。本文旨在分析大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫的特點(diǎn)，結(jié)合當(dāng)下流行的Hadoop框架，提出了一種適用于大數(shù)據(jù)環(huán)境的數(shù)據(jù)倉庫的解決方案并實(shí)現(xiàn)。為中小企業(yè)在大數(shù)據(jù)環(huán)境中構(gòu)建數(shù)據(jù)倉庫提供參考。其具體說來，主要有以下三方面意義：首先，目前主流的數(shù)據(jù)庫如Oracle、SQLServer都有對(duì)應(yīng)自己數(shù)據(jù)庫平臺(tái)的一整套的數(shù)據(jù)倉庫解決方案，對(duì)于其他的關(guān)系型數(shù)據(jù)庫如MySQL等，雖然沒有對(duì)應(yīng)數(shù)據(jù)庫平臺(tái)的數(shù)據(jù)倉庫解決方案，但有很多整合的數(shù)據(jù)倉庫解決方案。而對(duì)于非結(jié)構(gòu)化的數(shù)據(jù)庫，因其數(shù)據(jù)模型不同于關(guān)系型數(shù)據(jù)庫，需要新的解決方案，本文提出的基于Hive/Pentaho的數(shù)據(jù)倉庫實(shí)現(xiàn)方案可以為其提供一個(gè)參考。其次，通過整合多源非結(jié)構(gòu)化數(shù)據(jù)庫，生成一個(gè)面向主題、集成的數(shù)據(jù)倉庫，可為大數(shù)據(jù)平臺(tái)上的聯(lián)機(jī)事務(wù)處理、決策支持等提供數(shù)據(jù)環(huán)境，從而有效利用數(shù)據(jù)資源輔助管理決策。再次，大數(shù)據(jù)是一個(gè)廣泛的概念，包括大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算、大數(shù)據(jù)分析等各個(gè)層次的技術(shù)細(xì)節(jié)，本文提出的“大數(shù)據(jù)環(huán)境下的數(shù)據(jù)倉庫解決方案及實(shí)現(xiàn)“豐富了大數(shù)據(jù)應(yīng)用技術(shù)的生態(tài)環(huán)境，為大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析、數(shù)據(jù)挖掘等提供支撐。三、國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢(shì)的簡(jiǎn)要說明：本文研究的主體是數(shù)據(jù)倉庫，區(qū)別于傳統(tǒng)基于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)倉庫，本文聚焦大數(shù)據(jù)環(huán)境下基于非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)倉庫的構(gòu)建與實(shí)現(xiàn)。因此，有必要從數(shù)據(jù)倉庫和大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫兩方面進(jìn)行闡述。(一)數(shù)據(jù)倉庫國內(nèi)外研究現(xiàn)狀自從BillInmon在1990年提出“數(shù)據(jù)倉庫”這一概念之后，數(shù)據(jù)倉庫技術(shù)開始興起，并給社會(huì)帶來新的契機(jī)，逐漸成為一大技術(shù)熱點(diǎn)。目前，美國30%到40%的公司已經(jīng)或正在建造數(shù)據(jù)倉庫?，F(xiàn)如今隨著數(shù)據(jù)模型理論的完善，數(shù)據(jù)庫技術(shù)、應(yīng)用開發(fā)及挖掘技術(shù)的不斷進(jìn)步，數(shù)據(jù)倉庫技術(shù)不斷發(fā)展，并在實(shí)際應(yīng)用中發(fā)揮了巨大的作用。以數(shù)據(jù)倉庫為基礎(chǔ)，以聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘工具為手段的決策支持系統(tǒng)日漸成熟。與此同時(shí)，使用數(shù)據(jù)倉庫所產(chǎn)生的巨大效益又刺激了對(duì)數(shù)據(jù)倉庫技術(shù)的需求，數(shù)據(jù)倉庫市場(chǎng)正以迅猛的勢(shì)頭向前發(fā)展。我國企業(yè)信息化起步相對(duì)較晚，數(shù)據(jù)倉庫技術(shù)在國內(nèi)的發(fā)展還處于積累經(jīng)驗(yàn)階段。雖然近年來，我國大中型企業(yè)逐步認(rèn)識(shí)到利用數(shù)據(jù)倉庫技術(shù)的重要性，并已開始建立自己的數(shù)據(jù)倉庫系統(tǒng)，如中國移動(dòng)、中國電信、中國聯(lián)通、上海證券交易所和中國石油等。但從整體上來看，我國數(shù)據(jù)倉庫市場(chǎng)還需要進(jìn)一步培育，數(shù)據(jù)倉庫技術(shù)同國外還有很大差距。為此，我國許多科技工作者已開始對(duì)數(shù)據(jù)倉庫相關(guān)技術(shù)進(jìn)行深入研究，通過對(duì)國外技術(shù)的吸收和借鑒，在此基礎(chǔ)上提出適合國內(nèi)需求的技術(shù)方案。(二)非結(jié)化數(shù)據(jù)庫國內(nèi)外研究現(xiàn)狀隨著數(shù)據(jù)庫技術(shù)深入應(yīng)用到各個(gè)領(lǐng)域，結(jié)構(gòu)化數(shù)據(jù)庫逐漸顯露出一些弊端。如在生物、地理、氣候等領(lǐng)域，研究面對(duì)的數(shù)據(jù)結(jié)構(gòu)并不是傳統(tǒng)上的關(guān)系數(shù)據(jù)結(jié)構(gòu)。如果使用關(guān)系數(shù)據(jù)庫對(duì)其進(jìn)行存儲(chǔ)、展示，就必須將其從本身的數(shù)據(jù)結(jié)構(gòu)強(qiáng)行轉(zhuǎn)換為關(guān)系數(shù)據(jù)結(jié)構(gòu)。采用此種方式處理非結(jié)構(gòu)數(shù)據(jù)，不能在整個(gè)生命周期內(nèi)對(duì)非關(guān)系數(shù)據(jù)進(jìn)行管理，并且數(shù)據(jù)間的關(guān)系也無法完整的表示出來。在此背景下，非結(jié)構(gòu)化數(shù)據(jù)庫應(yīng)運(yùn)而生。相較于關(guān)系數(shù)據(jù)庫，非結(jié)構(gòu)數(shù)據(jù)庫的字段長度可變，并且每個(gè)字段的記錄又可以由可重復(fù)或不可重復(fù)的子字段構(gòu)成。如此，它不僅可以處理結(jié)構(gòu)化數(shù)據(jù)，更能處理文本、圖象、聲音、影視、超媒體等非結(jié)構(gòu)化數(shù)據(jù)。近年來，隨著大數(shù)據(jù)興起，非結(jié)構(gòu)數(shù)據(jù)庫開始廣泛應(yīng)用，以支持大數(shù)據(jù)處理的多種結(jié)構(gòu)數(shù)據(jù)。目前，非結(jié)構(gòu)化的數(shù)據(jù)庫種類繁多，按其存儲(chǔ)數(shù)據(jù)類型分，主要包含內(nèi)存數(shù)據(jù)庫、列存儲(chǔ)型、文檔數(shù)據(jù)庫、圖數(shù)據(jù)庫等。其中，常見的內(nèi)存數(shù)據(jù)庫有SQLite，Redis，Altibase等;列存儲(chǔ)數(shù)據(jù)庫有Hbase，Bigtable等;文檔數(shù)據(jù)庫有MangoDB，CouchDB，RavenDB等;圖數(shù)據(jù)庫有Neo4j等。近年來，我國非結(jié)構(gòu)數(shù)據(jù)庫也有一定發(fā)展，其中代表的是國信貝斯的iBASE數(shù)據(jù)庫?？梢灶A(yù)見在不久的將來，伴隨這大數(shù)據(jù)的應(yīng)用，非結(jié)構(gòu)數(shù)據(jù)庫將會(huì)得到長足的發(fā)展和廣泛的應(yīng)用。四、主要研究?jī)?nèi)容和要求達(dá)到的深度：本文研究的方向是數(shù)據(jù)倉庫，并且是聚焦于大數(shù)據(jù)這一特定環(huán)境下的數(shù)據(jù)倉庫建設(shè)，其主要內(nèi)容包括以下幾點(diǎn)：1.非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)倉庫解決方案：本文聚焦于大數(shù)據(jù)這一特定環(huán)境下的數(shù)據(jù)倉庫建設(shè)，因?yàn)榇髷?shù)據(jù)環(huán)境下的數(shù)據(jù)倉庫建設(shè)理論文獻(xiàn)很少，首先需要以研究關(guān)系數(shù)據(jù)庫型數(shù)據(jù)倉庫的解決方案為參考，然后對(duì)比關(guān)系數(shù)據(jù)庫和非結(jié)構(gòu)數(shù)據(jù)庫的特點(diǎn)，最后在參考方案的基礎(chǔ)上改進(jìn)，以得到適合非結(jié)構(gòu)數(shù)據(jù)庫環(huán)境的數(shù)據(jù)倉庫解決方案。2.非結(jié)構(gòu)數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫間數(shù)據(jù)轉(zhuǎn)換：非結(jié)構(gòu)數(shù)據(jù)庫是對(duì)關(guān)系數(shù)據(jù)庫的補(bǔ)充，很多非結(jié)構(gòu)數(shù)據(jù)庫應(yīng)用環(huán)境中都有關(guān)系數(shù)據(jù)庫的身影。因此，非結(jié)構(gòu)數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫間數(shù)據(jù)轉(zhuǎn)換是建立非結(jié)構(gòu)數(shù)據(jù)庫需要解決的一個(gè)關(guān)鍵問題。3.基于非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)倉庫構(gòu)建：本文擬采用手禮網(wǎng)的數(shù)據(jù)，分析其具體的數(shù)據(jù)環(huán)境和需求，為其構(gòu)建基于非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)倉庫，主要包括非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)抽取，Hive數(shù)據(jù)庫入庫操作和Pentaho前臺(tái)數(shù)據(jù)展現(xiàn)等。五、研究工作的主要階段、進(jìn)度和完成時(shí)間：結(jié)合研究需要和學(xué)校教務(wù)管理的安排，研究工作主要分以下四階段完成：第一階段：論文提綱：20XX年6月――7月第二階段：論文初稿：20XX年8月――10月第三階段：論文修改：20XX年11月――2014年3月第四階段：最終定稿：20XX年4月六、擬采用的研究方法、手段等及采取的措施：在論文提綱階段，本文擬采用調(diào)查統(tǒng)計(jì)的方法，收集目前大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫應(yīng)用情況，著重統(tǒng)計(jì)各類型數(shù)據(jù)庫的應(yīng)用比例。同時(shí)采用文獻(xiàn)分析和個(gè)案研究的方法研究數(shù)據(jù)倉庫構(gòu)建的一般過程和對(duì)應(yīng)的技術(shù)細(xì)節(jié)，并提出解決方案。在論文初稿和修改階段，本文擬通過實(shí)證研究，依據(jù)提綱階段在文獻(xiàn)分析中收集到的理論，基于特定的實(shí)踐環(huán)境，理論結(jié)合實(shí)踐，實(shí)現(xiàn)某一具體數(shù)據(jù)倉庫的構(gòu)建。最后采用定性和定量相結(jié)合的方法，詳細(xì)介紹大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫和數(shù)據(jù)倉庫的特點(diǎn)，其數(shù)據(jù)倉庫實(shí)現(xiàn)的關(guān)鍵問題及解決方案，以及數(shù)據(jù)倉庫個(gè)例實(shí)現(xiàn)的詳細(xì)過程。七、可能遇見的困難、問題及擬采取的解決辦法、措施：基于本文的研究?jī)?nèi)容和特點(diǎn)分析，本文在研究過程中最有可能遇到三個(gè)關(guān)鍵問題。其一，非結(jié)構(gòu)數(shù)據(jù)庫種類繁多，每類數(shù)據(jù)庫又對(duì)應(yīng)有不同的數(shù)據(jù)庫產(chǎn)品，由于當(dāng)下非結(jié)構(gòu)數(shù)據(jù)庫沒有統(tǒng)一標(biāo)準(zhǔn)，即便同類數(shù)據(jù)庫下不同產(chǎn)品的操作都不盡相同，難以為所有非結(jié)構(gòu)數(shù)據(jù)庫提出解決方案。針對(duì)此問題，本文擬緊貼大數(shù)據(jù)這一背景，選擇當(dāng)下大數(shù)據(jù)環(huán)境中應(yīng)用最多的幾類數(shù)據(jù)庫的代表性產(chǎn)品進(jìn)行實(shí)現(xiàn)。其二，雖然經(jīng)過二十年的發(fā)展，數(shù)據(jù)倉庫的理論已日趨完善，但大數(shù)據(jù)是近幾年才發(fā)展起來的技術(shù)熱點(diǎn)，大樹據(jù)環(huán)境下的數(shù)據(jù)倉庫建設(shè)理論文獻(xiàn)很少。針對(duì)此問題，本文擬參考現(xiàn)有的成熟的關(guān)系數(shù)據(jù)庫環(huán)境下數(shù)據(jù)倉庫構(gòu)建方案和非結(jié)構(gòu)化數(shù)據(jù)倉庫理論，研究適合非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)倉庫構(gòu)建方案，請(qǐng)導(dǎo)師就方案進(jìn)行指導(dǎo)，然后再研究具體技術(shù)細(xì)節(jié)實(shí)現(xiàn)方案。其三，基于大數(shù)據(jù)環(huán)境的數(shù)據(jù)倉庫實(shí)現(xiàn)是本文重要的組成部分，要完成此部分的工作需要企業(yè)提供數(shù)據(jù)支持，但現(xiàn)在數(shù)據(jù)在企業(yè)當(dāng)中的保密級(jí)別都很高，一般企業(yè)都不會(huì)將自己的業(yè)務(wù)數(shù)據(jù)外傳。針對(duì)此問題，本文擬采用企業(yè)非核心業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)倉庫實(shí)現(xiàn)。八、大綱本文的基本構(gòu)想和思路，文章擬分為導(dǎo)論、大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫介紹、大數(shù)據(jù)下數(shù)據(jù)倉庫關(guān)鍵問題研究、基于XX電子商務(wù)的大數(shù)據(jù)下數(shù)據(jù)倉庫實(shí)現(xiàn)、結(jié)論五部分。導(dǎo)論一、研究背景二、國內(nèi)外研究現(xiàn)狀述評(píng)三、本文的主要內(nèi)容與研究思路第一章大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫介紹第一節(jié)大數(shù)據(jù)對(duì)數(shù)據(jù)庫的要求第二節(jié)關(guān)系數(shù)據(jù)庫和非結(jié)構(gòu)數(shù)據(jù)庫比較第三節(jié)大數(shù)據(jù)下常用非結(jié)構(gòu)數(shù)據(jù)庫介紹小結(jié)第二章大數(shù)據(jù)下數(shù)據(jù)倉庫關(guān)鍵問題研究第一節(jié)非結(jié)構(gòu)數(shù)據(jù)模型和關(guān)系數(shù)據(jù)模型的轉(zhuǎn)換第二節(jié)基于多源非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)抽取第三節(jié)數(shù)據(jù)類型轉(zhuǎn)換第四節(jié)數(shù)據(jù)倉庫前端展示第三章大數(shù)據(jù)下數(shù)據(jù)倉庫實(shí)現(xiàn)方案第一節(jié)大數(shù)據(jù)環(huán)境介紹第二節(jié)實(shí)現(xiàn)方案第二節(jié)Hive介紹第三節(jié)Pentaho介紹第四章基于XX電子商務(wù)的大數(shù)據(jù)下數(shù)據(jù)倉庫實(shí)現(xiàn)第一節(jié)需求分析第二節(jié)模型設(shè)計(jì)第三節(jié)概要設(shè)計(jì)第四節(jié)基于Hive的數(shù)據(jù)入庫操作實(shí)現(xiàn)第五節(jié)基于Pentaho的數(shù)據(jù)倉庫前端展示實(shí)現(xiàn)結(jié)論