高级数据工程师
已发布 2 几个月前
详情
补偿
未披露
工业
技术
时间承诺
全职
公司规模
未披露
技能
Python
Data Engineer
Airflow
职位描述
一家总部位于美国的决策智能平台正在寻找一名高级数据工程师，该平台以其先进的解决方案帮助企业缩短决策时间。被选中的候选人将负责数据的所有方面，无论是平台和基础设施建设，还是核心平台、管道工程，或者是编写工具/服务来增强。该公司专注于建立一个革命性的SaaS平台，善于预测和优化供应链和财务。到目前为止，该公司已经通过种子资金积累了超过240万美元。
工作职责：
- 为公司产品构建和实施一个强大的数据平台
- 构建并交付下一代数据生命周期管理工具/框架套件
- 支持无服务器、实时、基于API的用例，包括在数据湖顶部的摄取和消费，以及批处理（小型/微型）。
- 使用Airflow、dbt、PostgreSQL、ClickHouse、ElasticSearch和其他技术设计和开发高效、可靠和可观察的数据管道。
- 通过开发和公开元数据目录，确保数据湖的轻松探索、剖析以及血统要求。
- 将用户需求和公司想法转化为实际产品
- 建立快速的POCs，以迭代开发数据平台
- 通过使数据可被发现，确保数据科学家和分析师易于访问和使用。
- 赋予数据科学团队对各种ML模型进行测试和产品化的权力
- 开发高质量的代码并指导初级开发人员
- 确保成本效益和及时交付成果
- 进行代码和设计审查，以简化操作和支持同行
- 协调CI/CD活动、测试自动化框架和其他相关活动
- 用商业术语展示技术能力、解决方案、功能和注意事项
- 准确、有效地沟通问题、风险和状态
工作要求：
- 工程、计算机科学方面的学士/硕士学位（或同等经验）
- 至少有5-8年以上数据工程师的相关经验
- 熟练掌握Python，数据工程，和Airflow
- 有使用Python、Pandas、SQLAlchemy和Flask开发软件的经验
- 具有丰富的OOPs（面向对象的设计）、编码和测试模式的经验
- 在工程软件平台和众多数据基础设施方面有明显的工作经验
- 具有使用一系列开源技术建立完整数据平台的实际经验
- 熟练掌握数据平台的元数据、脉络、可观察性和可发现性。
- 熟悉DevOps的最佳实践，如容器化、CI/CD、秘密管理、蓝绿部署等。
- 熟悉数据建模、分布式计算和构建优化的SQL查询的原理
- 对了解机器学习模型领域最新发展的候选人优先考虑
- 能够有效地与其他数据科学家合作并提供支持
- 了解dbt、ClickHouse、PostgreSQL、Kubernetes和GraphQL是一个很大的优势
- 熟悉谷歌云平台（如GCS、Cloud Composer、BigQuery）者优先考虑
- 出色的沟通和人际交往能力
- 良好的英语口头和书面表达能力
如何获得客户的聘用？
01
报名参加
通过与我们分享您的个人和专业细节，创建一个档案。
02
评估
参加我们的在线人才评估，进行技能和能力的评估。
03
提供
匹配到需要的工作，加速您的自由职业。
