大数据开发工程师岗位职责
在现在的社会生活中,越来越多地方需要用到岗位职责,任何岗位职责都是一个责任、权力与义务的综合体,有多大的权力就应该承担多大的责任,有多大的权力和责任应该尽多大的义务,任何割裂开来的做法都会发生问题。一般岗位职责是怎么制定的呢?以下是小编为大家收集的大数据开发工程师岗位职责,供大家参考借鉴,希望可以帮助到有需要的朋友。
大数据开发工程师岗位职责1
1、负责结构化数据和文本的数据处理、建模、分析等工作,如:数据清洗、中文分词、情感分析、文本分类等;
2、负责数据需求的收集、整理和分析,配合其他同事完成结构化数据和文本的'需求分析;
3、负责分析结果的可视化展现;
4、负责核心算法的设计与优化。
任职要求:
1、全日制本科毕业;
2、计算机或数学或软件类或统计相关专业;
3、熟悉数据挖掘和文本挖掘的理论基础,掌握统计模型、机器学习相关原理;
4、熟悉r/python/java等编程语言,熟悉常用数据结构和算法,熟悉正则表达式的使用。
大数据开发工程师岗位职责2
1.参与大数据精准学平台设计与研发,在大数据采集、存储、分析及应用领域都会有所涉及。
2.参与需求分析、系统架构设计、并完成需求设计相应文档的编写。
3.参与核心代码实现、系统性能优化。
4.保质保量地完成项目组分配的开发任务。
5.协助项目经理进行技术支持工作,共同解决产品研发过程遇到的技术难题。
大数据开发工程师岗位职责3
1、根据业务需求进行数据模型的调研、设计、开发及验证工作,并持续进行模型的优化;
2、负责数据模型架构的构建,建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型;
3、持续对系统的技术架构进行改进和优化,提升海量数据的查询性能和用户体验。
大数据开发工程师岗位职责4
(1)根据业务进行数据需求的调研、设计、开发及验证工作,并持续进行数据业务的优化;
(2)负责大数据整体设计和开发工作,包括数据接入、清洗、计算、校验等数据加工流程,并沉淀文档;
(3)持续对系统的技术架构进行改进和优化,提升海量数据的查询性能和用户体验。
(4)此岗位需驻场开发半年左右(地点:新疆)
大数据开发工程师岗位职责5
1.参与产品和项目研发工作,基于spark完成产品大数据架构和功能开发;
2.搭建和调优大数据基础平台,包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大数据组件的环境搭建;
3.维护线上系统的稳定性、可靠性,通过分析现象快速定位问题,进而提出优化方案,改进要求;
大数据开发工程师岗位职责6
1.基于公司大数据产品进行数据开发,包括数据的采集,清洗,预处理,存储,建模,分析挖掘等
2.根据业务用户需要分析数据,提供数据支持
3.参与公司大数据产品的运维和监控,保障数据质量和服务稳定性
大数据开发工程师岗位职责7
1、运用大数据分析工具和技术解决风险管理业务中遇到的实际问题与需求,如风险评估、成长评价等,包括对模型进行设计、开发、验证、测试、部署及监控、优化。。
2、基于海量用户数据和特征,进行数据质量检查、特征加工、数据清洗等,建立数据挖掘模型。
3、评估数据源的质量和价值,能结合业务需求和场景,从各种数据维度中挖掘数据价值,并设计不同的模型,应用于不同的业务场景中。
大数据开发工程师岗位职责8
1、规划车联网安全架构,不断完善车联网产品的安全规范和要求,跟进、解决存在的安全隐患;
2、对上线前的软件或者车上产品进行安全方面验证及测试;
3、跟进最新漏洞的研究工作,理解漏洞的原理,编制漏洞研究报告和防范措施;
4、负责行业/国家车联网汽车网络安全部分的技术及标准规范的研究工作。
大数据开发工程师岗位职责9
1、从事大数据分布式存储/应用服务的设计和开发,挑战大规模、高并发、易运维的分布式系统设计构建;
2、参与负责大数据运营/风控/分析等数据应用产品开发迭代,包括需求讨论需求/系统/算法的讨论、设计及实现;
3、定位和解决集群组件如spark、hive、hbase、kafka的性能和高可用问题,协助集群监控系统的开发。
大数据开发工程师岗位职责10
1.基于hadoop生态系统进行大数据平台建设;
2.负责各业务条线相关指标数据的数据建模
3.负责基于sqoop,hive、spark、sparksql、mysql进行大数据开发
4.负责离线运算、实时计算平台项目的设计、开发及运维
5.负责对数据平台进行性能调优
【大数据开发工程师岗位职责】相关文章:
数据库开发工程师的岗位职责06-08
数据挖掘工程师岗位职责06-04
数据库开发工程师的工作职责11-07
数据库开发工程师岗位的职责12-13
结构开发工程师岗位职责10-25
PHP开发工程师的岗位职责10-24
产品开发工程师岗位职责11-13
产品开发工程师的岗位职责09-13
游戏开发工程师岗位职责09-13