大数据开发工程师基本职责-岗位职责3篇（完整）

大数据开发工程师的基本职责-岗位职责1　　职责：　　1、参与大数据*台搭建以及项目技术架构。　　2、数据分析，挖掘，模型具体的产品化；　　3、根据产品需求，分析编写和制定大数据相关解决方案　　岗位要下面是小编为大家整理的大数据开发工程师基本职责-岗位职责3篇（完整）,供大家参考。

大数据开发工程师的基本职责-岗位职责1

　　职责：

　　1、参与大数据*台搭建以及项目技术架构。

　　2、数据分析，挖掘，模型具体的产品化；

　　3、根据产品需求，分析编写和制定大数据相关解决方案

　　岗位要求：

　　1、计算机相关专业本科以上学历，编程基础扎实，有2年以上大数据开发经验

　　2、熟悉Hadoop生态和体系架构，熟悉Flink、Spark，Hive等常用开源工具

　　3、熟悉Flume，kakfa，scribe等日志收集体系

　　4、熟悉主流数据库（Oracle、postgresql、Mysql、Sql Server）中的1种及以上，有较好的SQL性能调优经验

　　5、有数据仓库ETL经验者优先

　　6、有用户行为日志采集、海量数据处理、数据建模方面经验者优先

　　7、有持续学习的能力；喜欢开源软件，乐于知识分享；对工作认真负责；可以独立承担较大工作压力

大数据开发工程师的基本职责-岗位职责2

　　职责：

　　1、大数据日志分析系统的设计，选型和开发；

　　2、配合各业务给予数据支持，对产品和运营数据总结和优化；

　　3、处理用户海量数据，提取、分析、归纳用户属性，行为等信息，完成分析结果；

　　4、发现并指出数据异常情况，分析数据合理性；

　　5、公司大数据基础架构*台的运维，保障数据*台服务的稳定性和可用性；

　　6、大数据基础架构*台的监控、资源管理、数据流管理；

　　7、基于数据分析的可预测的云*台弹性扩展解决方案。

　　任职要求：

　　1、日志分析数据系统实际经验；

　　2、3年以上互联网行业研发经验，有使用Hadoop/hive/spark分析海量数据的能力；

　　3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、Spark的安装与调试；

　　4、熟悉大数据周边相关的数据库系统，关系型数据库和NoSQL。

　　5、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题；

　　6、有良好的沟通能力，具备出色的规划、执行力，强烈的责任感，以及优秀的学习能力。

大数据开发工程师的基本职责-岗位职责3

　　职责：

　　1、负责数据分析、加工、清理、处理程序的开发；

　　2、负责数据相关*台的搭建、维护和优化；

　　3、负责基于Hadoop/Spark/Hive/kafka等分布式计算*台实现离线分析、实时分析的计算框架的开发；

　　岗位要求：

　　1、本科学历须211院校以上，硕士及以上学历不限院校，计算机软件及相关专业

　　2、熟悉Java和Scala语言、熟悉常用设计模式、具有代码重构意识；

　　3、熟练使用hadoop、hbase、Kafka、hive、spark、presto，熟悉底层框架和实现原理；

　　4、使用Spark Streaming和Spark SQL进行数据处理，并具有SPARK SQL优化经验；

　　5、需要有至少2年开发经验，有flink开发经验优先；

　　6、学习能力强，喜欢研究新技术，有团队观念，具备独立解决问题的能力。