一家总部设在美国的公司正在寻找一名数据工程师,该公司的使命是在与气候变化作斗争的同时赋予妇女权力并改善发展中国家的生活条件。该工程师将负责创建新的基础设施,以实现该组织计划的数据迁移。该公司的社会影响项目开发和碳倡议使世界各地的贫困人口能够过上更健康、更幸福的生活,同时大规模减少温室气体排放。到目前为止,该公司已成功获得4800多万美元的资金。
工作职责:
- 参与数据迁移,协助团队在未来几个月内将其数据从SQL服务器转移到CockroachDB。
- 支持从RDS/MongoDB到CockroachDB的转换
- 根据预先设定的架构细节,联合并协助建立基础设施。
- 与一个坚定的团队合作,同时行使完全的自主权,推荐对实施有帮助的工具或技术。
工作要求:
- 工程、计算机科学方面的学士/硕士学位(或同等经验)
- 至少有4年以上数据工程师或应用开发人员的相关经验
- 4年以上广泛使用Python、SQL和Scala的工作经验
- 3年以上AWS开发的工作经验
- 3年以上使用分布式数据和计算工具如MapReduce、Hadoop、Hive、EMR、Spark和Athena的经验
- 3年以上使用ETL工具的专业知识,包括SSIS、Kafka和AirFlow
- 在创建数据仓库或数据湖解决方案(Snowflake、Redshift)方面有相当的专业知识
- 对Git版本控制和GitLab/GitHub上的远程存储库有一定了解
- 有执行迁移计划和管理大量数据迁移的经验
- 最好有敏捷和迭代开发环境的经验
- 最好有一些与.NET API接口的经验(.NET Core 6的.NET C#)。
- 有Elasticsearch和/或Solr的经验为佳
- 有自主工作、排除故障和主动沟通的能力
- 优秀的英语沟通能力,包括对话和写作