千文網(wǎng)小編為你整理了多篇相關的《大數(shù)據(jù)技術運維崗位職責》,但愿對你工作學習有幫助,當然你在千文網(wǎng)還可以找到更多《大數(shù)據(jù)技術運維崗位職責》。
第一篇:大數(shù)據(jù)運維工程師崗位的主要職責
1、負責Hadoop、HBase、Hive、Spark等大數(shù)據(jù)平臺規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等,確保高可用;
2、負責公司大數(shù)據(jù)平臺的運維管理工作,集群容量規(guī)劃、擴容及性能優(yōu)化;
3、處理公司大數(shù)據(jù)平臺各類異常和故障,確保系統(tǒng)平臺的穩(wěn)定運行;
4、設計實現(xiàn)大規(guī)模分布式集群的`運維、監(jiān)控和管理平臺;
5、深入研究大數(shù)據(jù)業(yè)務相關運維技術,持續(xù)優(yōu)化集群服務架構,探索新的大數(shù)據(jù)運維技及發(fā)展方向。
第二篇:大數(shù)據(jù)運維工程師崗位的工作職責概述
職責:
I、負責Hadoop集群的安裝部署、維護及調優(yōu):
2、負責spark的安裝郵署、維護及調優(yōu):
3、負責基于大數(shù)據(jù)平臺開發(fā)的應用系統(tǒng)的部署、日常維護、調優(yōu)和問題處理
4、負責ELK 平臺的部署及維護。
技能要求:
1 、2年以上大數(shù)據(jù)運維工仵經(jīng)驗;
2、熟悉Hadoop生態(tài)圈技術棧及各個組件原理:
⒊、熟練掌握HDFS、Hive、HBase、sρark、sqooρ 等組件,具備部署、維護、調優(yōu)的能力:
4、熱悉kylin技術原理,有一定的維護經(jīng)驗優(yōu)先:
5、掌掇ELK的日常維護技能·有一定的維護.經(jīng)驗優(yōu)先:
6、有一定的HQL/sql 性能調優(yōu)經(jīng)驗;
7、具備基本的 java、python等語言開發(fā)能力優(yōu)先:
8、有較強的溝通、團隊協(xié)作及學習能力。
第三篇:大數(shù)據(jù)運維工程師崗位的主要職責
1、負責公司大數(shù)據(jù)平臺自動化運維開發(fā)、監(jiān)控和優(yōu)化工作,保障數(shù)據(jù)平臺服務的穩(wěn)定性和可用性;
2、負責公司Hadoop核心技術組件日常運維工作;
3、負責公司大數(shù)據(jù)平臺現(xiàn)場故障處理和排查工作;
4、研究大數(shù)據(jù)前沿技術,改進現(xiàn)有系統(tǒng)的.服務和運維架構,提升系統(tǒng)可靠性和可運維性;
第四篇:大數(shù)據(jù)運維工程師崗位的工作職責概述
職責:
1. 負責大數(shù)據(jù)平臺的規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化及運維等工作,保障系統(tǒng)7*24小時運營;
2. 為線上服務高效穩(wěn)定運行負責,支撐業(yè)務和數(shù)據(jù)量的快速擴張,發(fā)現(xiàn)并能解決重大故障及性能瓶頸;
3. 深入理解系統(tǒng)平臺及大數(shù)據(jù)相關運維技術,持續(xù)優(yōu)化集群服務架構;
4. 對大數(shù)據(jù)體系下新技術的調研、應用、對內(nèi)培訓。
職位要求:
1. 至少3年以上大數(shù)據(jù)運維經(jīng)驗, 深入理解Linux系統(tǒng),運維體系結構;
2. 深度優(yōu)化HADOOP平臺MR作業(yè)/計算框架/存儲技術,提升集群吞吐并降低成本;
3. 具有CDH(或者HDP)/HDFS/YARN/HIVE/ES/Kylin/Hbase/Kafka/Spark/Storm/Flume/Impala/Hue/Kettle/Flink等大數(shù)據(jù)系統(tǒng)的運維經(jīng)驗,有開發(fā)經(jīng)驗;
4. 熟悉HADOOP生態(tài),有數(shù)據(jù)安全相關工作經(jīng)驗, 并能對平臺CPU/MEM/IO/網(wǎng)絡/調度中一個或多個方面的性能調優(yōu);
5. 熟練掌握shell/python中的任意一門腳本語言;
6. 強烈責任感、縝密的邏輯思維能力,良好的團隊協(xié)作能力,具備良好的項目管理及執(zhí)行能力;
第五篇:大數(shù)據(jù)運維工程師崗位的主要職責
職責:
根據(jù)產(chǎn)品需求,完成產(chǎn)品功能的設計、編碼、測試和發(fā)布;
現(xiàn)場項目支持工作,對現(xiàn)場反饋工單問題進行分析、定位和解決;
對現(xiàn)場項目提出的新需求進行分析、設計并完成;
根據(jù)產(chǎn)品和技術發(fā)展要求,完成平臺的設計、開發(fā)和支持維護工作。
職位要求:
本科及以上學歷,計算機、軟件工程相關專業(yè),3年以上相關工作經(jīng)驗;
精通sql、greenplum/postgresql、impala、oracle、mysql至少1種技術、可融匯貫通靈活轉換使用;
熟悉hadoop平臺zookeeper、hdfs、spark、MR及hbase等常用組件的運行原理;
基于linux/unix平臺進行shell、python的常用腳本開發(fā)。
第六篇:大數(shù)據(jù)運維工程師崗位的主要職責
職責:
1、負責Hadoop、HBase、Hive、Spark等大數(shù)據(jù)平臺 規(guī)劃、部署、監(jiān)控、系統(tǒng)優(yōu)化等,確保高可用;
2、負責公司大數(shù)據(jù)平臺的運維管理工作,集群容量規(guī)劃、擴容及性能優(yōu)化;
3、處理公司大數(shù)據(jù)平臺各類異常和故障,確保系統(tǒng)平臺的穩(wěn)定運行;
4、設計實現(xiàn)大規(guī)模分布式集群的運維、監(jiān)控和管理平臺;
5、深入研究大數(shù)據(jù)業(yè)務相關運維技術,持續(xù)優(yōu)化集群服務架構,探索新的大數(shù)據(jù)運維技及發(fā)展方向。
任職要求:
1、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等開源項目的安裝與調試,升級擴容;
2、熟悉Hadoop大數(shù)據(jù)生態(tài)圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Kafka、Flume等;
3、精通一門以上腳本語言(shell/perl/python等),熟練掌握Linux系統(tǒng)及常規(guī)命令與工具,熟練的Shell腳本編寫能力。