千文網(wǎng)小編為你整理了多篇相關(guān)的《大數(shù)據(jù)開發(fā)方向的崗位職責(大全)》,但愿對你工作學習有幫助,當然你在千文網(wǎng)還可以找到更多《大數(shù)據(jù)開發(fā)方向的崗位職責(大全)》。
第一篇:大數(shù)據(jù)分析崗位職責
工作職責:
1、參與大數(shù)據(jù)平臺的建設維護,持續(xù)穩(wěn)定支撐業(yè)務發(fā)展
2、實時/離線數(shù)據(jù)etl過程設計和開發(fā)
3、多維度海量數(shù)據(jù)的.分析應用
4、日志分析、實時分析、并行計算等系統(tǒng)設計和實現(xiàn);
任職資格:
1、對數(shù)據(jù)敏感,有意愿投身大數(shù)據(jù)事業(yè)
2、具備扎實的數(shù)學、ai知識,至少在以下某一領域有深入的研究:統(tǒng)計機器學習、視覺識別、深度學習;
3、掌握常見分布式計算框架和技術(shù)原理,如hadoop、mapreduce、yarn、storm、spark等;
4、熟悉linux操作系統(tǒng)和shell編程,熟悉sql編程以及性能調(diào)優(yōu);
5、精通java或者其他主流開發(fā)語言;
6、熟悉分布式服務開發(fā),對基于docker的微服務有一定的了解;
7、性格積極樂觀、誠信,能自我驅(qū)動,有較強的語言表達能力
8、1~3年工作經(jīng)驗,資深3年以上,具有電子商務、金融、智能交通行業(yè)經(jīng)驗優(yōu)先考慮
9、團隊合作無障礙,強烈的自我驅(qū)動力和抗壓力
第二篇:大數(shù)據(jù)架構(gòu)師崗位的主要職責概述
職責:
1、負責大數(shù)據(jù)平臺及BI系統(tǒng)框架設計、規(guī)劃、技術(shù)選型,架構(gòu)設計并完成系統(tǒng)基礎服務的開發(fā);
2、負責海量埋點規(guī)則、SDK標準化、埋點數(shù)據(jù)采集、處理及存儲,業(yè)務數(shù)據(jù)分布存儲、流式/實時計算等應用層架構(gòu)搭建及核心代碼實現(xiàn);
3、開發(fā)大數(shù)據(jù)平臺的核心代碼,項目敏捷開發(fā)流程管理,完成系統(tǒng)調(diào)試、集成與實施,對每個項目周期技術(shù)難題的解決,保證大數(shù)據(jù)產(chǎn)品的上線運行;
4、負責大數(shù)據(jù)平臺的架構(gòu)優(yōu)化,代碼評審,并根據(jù)業(yè)務需求持續(xù)優(yōu)化數(shù)據(jù)架構(gòu),保證產(chǎn)品的可靠性、穩(wěn)定性;
5、指導開發(fā)人員完成數(shù)據(jù)模型規(guī)劃建設,分析模型構(gòu)建及分析呈現(xiàn),分享技術(shù)經(jīng)驗;
6、有效制定各種突發(fā)性研發(fā)技術(shù)故障的應對預案,有清晰的隱患意識;
7、深入研究大數(shù)據(jù)相關(guān)技術(shù)和產(chǎn)品,跟進業(yè)界先進技術(shù);
任職要求
1、統(tǒng)計學、應用數(shù)學或計算機相關(guān)專業(yè)大學本科以上學歷;
2、熟悉互聯(lián)網(wǎng)移動端埋點方法(點擊和瀏覽等行為埋點),無埋點方案等,有埋點SDK獨立開發(fā)經(jīng)驗者優(yōu)選;
3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具備實際項目設計及開發(fā)經(jīng)驗;
4、熟悉數(shù)據(jù)采集、數(shù)據(jù)清洗、分析和建模工作相關(guān)技術(shù)細節(jié)及流程
5、熟悉Liunx/Unix操作系統(tǒng),能熟練使用shell/perl等腳本語言,熟練掌握java/python/go/C++中一種或多種編程語言
6、具備一定的算法能力,了解機器學習/深度學習算法工具使用,有主流大數(shù)據(jù)計算組件開發(fā)和使用經(jīng)驗者優(yōu)先
7、熟悉大數(shù)據(jù)可視化工具Tableau/echarts
8、具有較強的執(zhí)行力,高度的責任感、很強的學習、溝通能力,能夠在高壓下高效工作;
第三篇:大數(shù)據(jù)架構(gòu)師工作的崗位職責
職責:
1、負責大數(shù)據(jù)平臺技術(shù)框架的技術(shù)選型和搭建;
2、負責核心技術(shù)問題公關(guān),建設高可靠性,擴展性及高性能大數(shù)據(jù)/數(shù)據(jù)應用平臺;
3、負責規(guī)劃數(shù)據(jù)挖掘的整體流程,負責大數(shù)據(jù)開發(fā)團隊業(yè)務需求開發(fā);
4、與其他團隊密切配合,尋求數(shù)據(jù)層面的業(yè)務價值,利用數(shù)據(jù)分析結(jié)論推動產(chǎn)品優(yōu)化;
5、研究和分享大數(shù)據(jù)架構(gòu)領域新技術(shù)。
任職要求:
1、計算機相關(guān)專業(yè)全日制統(tǒng)招本科及以上;
2、5年以上工作經(jīng)驗,至少3年以上大數(shù)據(jù)項目相關(guān)工作經(jīng)驗,能夠設計大型大數(shù)據(jù)系統(tǒng)的架構(gòu)和技術(shù)方案;
3、精通Hadoop/Spark/Hbase/Hive等大數(shù)據(jù)技術(shù),精通ETL技術(shù);
4、熟悉數(shù)據(jù)挖掘,了解典型大數(shù)據(jù)算法和策略;
5、熟悉主流Java技術(shù)框架,精通關(guān)系型數(shù)據(jù)庫及SQL語言,熟悉NoSQL/JSON/XML;
6、有較強的學習能力和問題解決能力,邏輯嚴密、思路清晰;
7、有數(shù)據(jù)倉庫經(jīng)驗者優(yōu)先,有金融行業(yè)項目經(jīng)驗者優(yōu)先。
第四篇:大數(shù)據(jù)開發(fā)工程師的具體職責
職責:
1、在hadoop平臺進行hive/hbase/spark開發(fā);
2、處理公司大數(shù)據(jù)平臺產(chǎn)品的技術(shù)工作,包括存儲、處理、分析、挖掘、架構(gòu)設計、研發(fā)工作;
3、熟悉設計、構(gòu)建和優(yōu)化基于hadoop/Hbase的存儲平臺架構(gòu);
4、熟悉整體提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高擴展特性;
5、部門相關(guān)工作。
崗位要求:
1、計算機等相關(guān)專業(yè)大專及以上學歷;
2、3年以上軟件開發(fā)經(jīng)驗,精通Java開發(fā),至少2年以上Hadoop相關(guān)開發(fā)經(jīng)驗;
3、熟悉分布式系統(tǒng)、分布式計算系統(tǒng)的工作機制,具有大規(guī)模數(shù)據(jù)平臺,高并發(fā)大型系統(tǒng),大數(shù)據(jù)等架構(gòu)設計和開發(fā)經(jīng)驗;
4、熟悉sqoop、Hive、hbase、spark等大數(shù)據(jù)生態(tài)組件;
5、精通linux shell和sql腳本;
6、有java web開發(fā)經(jīng)驗者優(yōu)先;
7、良好的團隊精神和溝通能力,很強的邏輯思維能力和學習能力。
第五篇:大數(shù)據(jù)分析崗位職責
職責描述:
1.協(xié)助構(gòu)建云數(shù)字營銷系統(tǒng),針對外部市場及競品數(shù)據(jù)加以整理建模,得出市場分析報告及洞察
2.針對內(nèi)部數(shù)據(jù),定期的端到端分析建模,形成業(yè)務洞察,平臺洞察,產(chǎn)品洞察和用戶洞察,內(nèi)容洞察。指導各部門優(yōu)化數(shù)字營銷推廣計劃。
3.管理整體云數(shù)字體系包含數(shù)字營銷體系平臺建立,管理第三方供應商及對接內(nèi)部各個數(shù)據(jù)生產(chǎn)出口。
任職要求:
1. 具有5年以上數(shù)據(jù)分析、數(shù)據(jù)挖掘、bi等相關(guān)經(jīng)驗。
2. 熟練地使用數(shù)據(jù)分析相關(guān)的語言例如r、python等。
3. 熟悉常用數(shù)據(jù)挖掘算法(如分類、聚類、回歸、關(guān)聯(lián)規(guī)則、神經(jīng)網(wǎng)絡等)及其原理,并具備相關(guān)項目經(jīng)驗
4. 精通使用sql訪問和處理數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)。
5. 了解常用分布式計算和存儲框架hadoop/hdfs/hive/spark等,具備相關(guān)項目經(jīng)驗優(yōu)先
6. 具備良好的數(shù)據(jù)敏感度,能從大量數(shù)據(jù)提煉核心結(jié)果,并用簡潔清晰的.方式呈現(xiàn)數(shù)據(jù)分析背后的業(yè)務邏輯。
7. 有良好的跨團隊、部門溝通及資源整合能力,能夠獨立開展研究項目。
8. 有it及b2b行業(yè)經(jīng)驗者優(yōu)先,有dmp平臺建立經(jīng)驗者優(yōu)先
第六篇:大數(shù)據(jù)開發(fā)工程師的具體職責
職責:
1、 負責公司大數(shù)據(jù)平臺數(shù)據(jù)處理工具ETL、流處理平臺等建設,功能規(guī)劃,平臺演進,維護調(diào)優(yōu)等;
2、 結(jié)合公司業(yè)務特征,負責公司數(shù)據(jù)倉庫規(guī)劃、數(shù)據(jù)倉庫建設、數(shù)倉管理等;
3、 負責大數(shù)據(jù)處理技術(shù)研究及新技術(shù)引進,參與超大規(guī)模實時/離線數(shù)據(jù)計算框架,存儲、查詢、可視化解決方案的設計,研發(fā);
4、 負責公司業(yè)務數(shù)據(jù)倉庫模型建設及全業(yè)務數(shù)據(jù)域打通;
5、 負責BI報表和可視化項目,和客戶深度溝通,理解客戶的業(yè)務挑戰(zhàn),提供解決方案,制定開發(fā)計劃并執(zhí)行,支持各單位日常數(shù)據(jù)需求和任務;
任職資格:
1、 熟練掌握關(guān)系型數(shù)據(jù)庫,例如:Oracle、Mysql、Vertica等;熟悉NoSql數(shù)據(jù)庫,例如HBase、Redis、MongodDB等;具備豐富的數(shù)據(jù)庫管理和運維調(diào)優(yōu)經(jīng)驗;
2、 熟悉數(shù)據(jù)倉庫領域知識和技能者優(yōu)先,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理,數(shù)據(jù)打通等;
3、 有從事分布式數(shù)據(jù)存儲與計算平臺應用開發(fā)經(jīng)驗,熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實踐經(jīng)驗著優(yōu)先,如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;
4、 精通數(shù)據(jù)預處理、檢驗、清洗、分析方法,精通各種常用統(tǒng)計檢驗方法;熟練掌握一門或多門編程語言,并有大型項目建設經(jīng)驗者優(yōu)先,如Java、Python、Shell和scala等;
5、精通Linux,熟悉日常運維、搭建常見服務器、定位解決日常問題的能力,具備ETL開發(fā)經(jīng)驗優(yōu)先;
6、 良好的語言溝通與表達能力,有豐富的數(shù)據(jù)開發(fā)經(jīng)驗,較強的數(shù)據(jù)、平臺、技術(shù)理解能力;
7、 具備數(shù)學類、計算機類等相關(guān)專業(yè)統(tǒng)招本科及以上學歷,具有3年及以上大數(shù)據(jù)開發(fā)工作經(jīng)驗,有互聯(lián)網(wǎng)行業(yè)背景優(yōu)先。