大數據開發(fā)工程師崗位的主要職責概述
在充滿活力，日益開放的今天，越來越多地方需要用到崗位職責，崗位職責具有提高內部競爭活力，更好地發(fā)現和使用人才的作用。想必許多人都在為如何制定崗位職責而煩惱吧，以下是小編精心整理的大數據開發(fā)工程師崗位的主要職責概述，僅供參考，希望能夠幫助到大家。
大數據開發(fā)工程師崗位的主要職責概述1
職責：
1、規(guī)劃及建設大數據平臺;
2、負責大數據存儲系統、分布式計算系統、挖掘算法等設計、研發(fā)以及維護、優(yōu)化工作;
3、負責分析、挖掘、對抗各種產品安全層面的惡意行為;
4、參與項目的系統設計和核心代碼開發(fā)，指導和培訓其他工程師;
5、 整理和提交技術文檔，負責核心功能模塊的代碼編寫和測試工作。
崗位要求：
1、計算機、統計學等相關專業(yè)本科及以上學歷，具有深厚的數學、統計學和計算機相關知識，精通數據倉庫和數據挖掘的相關技術，3年以上大數據開發(fā)相關經驗;
2、具有非常扎實的Java基礎，熟悉Shell、Python、R、Scala等一種以上語言;
3、算法基礎扎實，熟悉常見的數據結構，了解分布式算法和分布式系統的技術原理;
4、精通MapReduce設計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流云計算，大數據相關軟件有充分的了解，并且有實踐經驗，能解決應用中的復雜問題;
5、熟悉大數據處理相關技術，包括但不限于Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;
6、研讀過Hadoop、Hbase、Hive源代碼者，能夠在特定業(yè)務中進行定制改造者優(yōu)先;
7、具有海量數據處理、數據挖掘、數據分析相關項目的工作經驗者優(yōu)先。
大數據開發(fā)工程師崗位的主要職責概述2
職責：
1、參與大數據架構的.規(guī)劃設計，參與業(yè)務建模及數據化運營平臺的搭建、運維，對業(yè)務流程與大數據的結合提出建議和解決方案;
2、完成基于大數據平臺的業(yè)務項目的開發(fā)、實施和維護工作;
3、負責解決大數據平臺建設過程中的技術難點和性能調優(yōu)工作;
4、參與數據倉庫設計，根據業(yè)務需求實現高效率高靈活性的查詢，數據分析，數據挖掘;
5、負責高吞吐高可用數據實時和離線采集，高并發(fā)的大數據業(yè)務架構設計
6、負責研發(fā)技術發(fā)展方向，新技術領域的探索，引入并驗證數據平臺領域新技術，提供系統效能
7、對大數據技術及開源框架充滿熱情，具有鉆研精神，能自我學習。
任職資格：
1、具有5年Java開發(fā)經驗，熟悉Spring生態(tài)，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql數據庫。
2、具有2年以上的大數據開發(fā)經驗，熟悉大數據、數據倉庫，分布式架構技術理論，具有大數據整體系統架構設計和實戰(zhàn)經驗，熟悉CDH、HDP、TDH至少一款大數據產品，有從無到有建設大數據平臺經驗者優(yōu)先;
3、熟悉大數據組件的開發(fā)、搭建、維護以及性能優(yōu)化;
4、較強的開發(fā)能力，必須熟練使用相關開發(fā)語言(Java/Python/Scala/Shell等)，熟悉大數據生態(tài)、關系數據庫和NOSQL數據庫、Linux等相關知識，能夠獨立完成并指導初級開發(fā)人員完成大數據相關的技術實現和調優(yōu);
5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術，能閱讀源碼跟蹤問題。
6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，并有實際項目開發(fā)經驗。
7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和組件，熟練應用開發(fā)，必須熟悉復雜數據查詢性能調優(yōu)，包括實時查詢和離線批處理查詢，服務器和生態(tài)組件的參數優(yōu)化。
8、精通高級算法并有與業(yè)務結合落地優(yōu)先;
9、扎實的獨立分析問題、解決問題的能力，具備良好的需求理解能力、溝通協調能力和團隊合作精神;有很強的數據設計抽象能力，善于從復雜的數據問題中找到關鍵路徑，并且擅于跟業(yè)務團隊就業(yè)務問題進行良好的溝通，能推動業(yè)務的指標化、量化;
10、有較好的學習能力、團隊協作精神，認真細心，有強烈的責任心，愛崗敬業(yè)，有較高抗壓能力，有較好的工作穩(wěn)定性。
大數據開發(fā)工程師崗位的主要職責概述3
職責：
1、參與大規(guī)模數據快速查詢系統的架構設計和開發(fā);
2、大規(guī)模數據挖掘和機器學習算法的實現;
3、在線和離線海量數據分析平臺的開發(fā);
4、研究大數據前沿技術，提升系統的運維效率;
5、實現大數據基礎架構平臺的自動化運維。
任職要求：
1、計算機相關專業(yè),具有3年以上大數據開發(fā)經驗，熟悉Java,Linux;
2、熟悉Hadoop大數據處理系統的開發(fā),搭建及部署者優(yōu)先
3、熟練地處理數據模型、數據ETL以及存儲管理;
4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進行Mapreduce程序開發(fā)者優(yōu)先;
5、熟悉分布式系統概念、架構，有大規(guī)模分布式系統設計、實現、部署等經驗;
6、有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力。
【大數據開發(fā)工程師崗位的主要職責概述】相關文章：
融資總監(jiān)崗位的主要職責概述09-15
大數據開發(fā)工程師的崗位職責12-16
數據庫開發(fā)工程師的崗位職責06-08
PHP開發(fā)工程師的主要職責12-17
產品開發(fā)工程師工作的主要職責01-24
Java初級開發(fā)工程師的主要職責09-06
融資經理的主要職責概述10-28