一家快速发展的公司正在开发一个全球平台,持续投资于尖端技术和创业企业,正在寻找一名软件工程师。该工程师将负责建立可靠的数据管道,将数据从不同的来源转移到数据湖或仓库。该公司提供指导,持续的数据分析和洞察力,以帮助初创企业的整个战略,资金和业务增长计划。这将是一个长期的机会。
工作职责:
- 开发、建立和维护能够有效处理和加工巨大数据集的数据和软件系统
- 与跨职能团队合作,保证数据的完整性、准确性和一致性
- 通过执行数据清理、验证和转换,保证数据质量和完整性
- 通过改善数据库和查询性能,确保有效的数据处理
- 与数据科学家和分析师合作,为分析和建模提供可靠的、干净的数据
- 实施安全措施以保护数据的保密性和隐私性
- 创建能够有效管理和处理大量数据集的软件应用程序和数据系统
- 关注数据工程趋势和技术的新发展
- 应不断监测数据管道,并对问题进行调查
工作要求:
- 工程、计算机科学的学士/硕士学位(或同等经验)
- 至少有3年以上软件工程师的相关经验
- 强大的软件工程背景,专注于数据工程
- 对大数据技术和云计算平台有初步的工作经验
- 有很强的Python、Java或Scala等语言的编程背景
- 有使用Kafka等大数据技术的记录
- 对GCP等云计算技术的全面了解
- 对图形数据库、NoSQL和/或SQL等数据库技术有深入了解
- 广泛了解数据建模和可视化技术,包括ER图、UML和Tableau
- 优秀的分析和解决问题的能力。
- 强大的人际关系和团队合作能力
- 具有独立操作和协作的能力
- 流利的英语口语和书面交流