高级数据工程师
已发布 2 几个月前
详情
补偿
未披露
工业
食品和饮料
时间承诺
全职
公司规模
未披露
技能
Azure Databricks
ETL
SQL
Data Modeling
Linux
职位描述
一家总部设在美国的公司正在寻找一名高级数据工程师，该公司正在改变人们消费乳制品的方式，并对富含素食蛋白质的产品进行革新。被选中的工程师将与数据科学和工程团队合作，并提供技术领导，利用他们在云计算方面的专业知识来设计和部署数据工程流程。这家公司的使命是通过使过程更加透明和道德，改变人们消费食品的方式。这家公司在D轮融资中成功地筹集了超过7亿美元的资金。
工作职责：
- 开发数据管道、数据库和整体数据湖架构
- 使用第三方和内部工具设计和实施一个分析环境
- 使用Python来改善和自动化分析，ETL和数据质量平台
- 建立和部署复杂的数据模型和模型元数据
- 创建报告和仪表盘
- 为我们的数据产品和系统的终端用户掌握数据仪表盘和演示工具的所有权
- 进行并支持多种类型和格式的数据的摄入和迁移
- 参与数据的检索、整合和分析
- 通过分析收集到的数据来确定事实，了解数据趋势
- 部署开发的数据解决方案、用户应用程序、数据库等
- 与内部和第三方数据生产者、消费者和用户紧密合作
- 与非技术性的利益相关者合作
- 分析、理解并记录现有的工作流程
- 进行整合和数据结构化活动
工作要求：
- 工程、计算机科学方面的学士/硕士学位（或同等经验）
- 至少有8年以上数据工程师的相关经验
- 有ETL、数据建模和数据架构的经验（至少8-10年）
- 具有编写和优化SQL的专业知识
- 有使用Linux/Unix开发脚本软件解决方案的经验
- 有大型数据仓库或数据湖的操作经验
- 对AWS技术、Databricks、Benchling和Glue有明显的经验
- 曾了解Lambda和RDS（PostgreSQL，MySQL）。
- 在ETL优化、设计、编码和使用Apache Spark或类似技术来调整大数据流程方面具有专家级别的技能
- 有开发应用程序和数据管道的背景，以便在低延迟的情况下处理和流化数据集
- 具有跟踪数据的能力--跟踪数据脉络，确保数据质量，并提高数据的可发现性
- 对分布式系统和数据架构（Lambda）有良好的理解
- 有能力设计和实施批处理和流数据处理管道
- 了解如何优化高层数据结构的分布、分区和MPP
- 有生命科学数据背景者优先
- 熟悉Docker
- 能够清晰地表达想法，倾听，质疑，并与同事分享有价值的信息
- 有效的演讲技巧和向技术和非技术受众传达想法的能力
- 很好地拥有高能量和热情，以提高生产力
- 有很强的组织和计划能力，有能力制定明确的行动方案来完成目标和目的
- 能够有效管理时间，利用资源和系统
- 熟悉任务的轻重缓急，有能力跟踪活动，完成任务
- 自我激励，具有独立工作和多任务的诀窍，同时保持质量标准
- 流利的英语口语和写作
如何获得客户的聘用？
01
报名参加
通过与我们分享您的个人和专业细节，创建一个档案。
02
评估
参加我们的在线人才评估，进行技能和能力的评估。
03
提供
匹配到需要的工作，加速您的自由职业。
