一家总部设在美国的公司已经成功地建立了一个受人喜爱的社交平台,帮助用户相互联系,正在寻找一名数据工程师/分析师。被选中的候选人将与其他团队成员一起工作,开发新的功能或增强当前的功能。该公司正在使多国用户结识并加入其他志同道合的用户社区。该公司在F轮融资期间成功获得了10亿美元以上的资金。
工作职责。
- 在Airflow和Terraform中开发和部署代码,用于访问管理、数据控制和自助ETL创建
- 构建新的聚合表和连接/聚合逻辑,对测量和营销的分析和报告有帮助
- 为了通过API将数据摄入BigQuery,使用Airflow ETL开发
- 验证数据质量要求是否得到满足(边缘案例、理智检查等)。
- 为服务健康报告创建Python/SQL监控/警报工具。
- 利用生产相关的数据
- 为其他工程和开发团队建立可扩展的基础设施平台
- 与第三方供应商对接
- 设计和实施工具,支持整个公司的几十个数据科学、机器学习和工程团队
- 从API中摄取数据
- 将利益相关者的需求转化为技术解决方案,参加与利益相关者的会议,讨论技术/操作上的困难并提出解决方案
工作要求。
- 工程、计算机科学方面的学士/硕士学位(或同等经验)
- 至少有5年以上数据工程师/分析师的相关经验
- 可证明的Python/SQL工作经验
- 有使用云服务、BigQuery、GCP、Airflow和Terraform管理数据基础设施的经验
- 设计和实施ETL数据管道
- 在从API提取数据并将其纳入BigQuery方面有丰富的开发经验
- 熟悉数据质量概念(边缘案例,理智检查...)。
- 深入了解数据聚合以及仪表板的设计和创建
- 有丰富的API设计、开发和集成经验
- 具有在多个系统、服务器和环境之间建立用户认证和授权(IAM设置)的知识和经验
- 优秀的英语沟通能力