要求 :
- 计算机科学、信息技术或相关领域的本科或硕士学历
- 5年以上的数据工程经验,专注于构建和维护数据管道。
- 有大规模数据集和各种数据工程工具和技术的经验
- 有在跨职能团队环境中工作的经验。
- 具有较强的Python、R或其他统计编程语言的编程能力。
- 对数据仓库和数据湖有深刻理解。
- 对数据处理和数据管道有深刻理解。
- 对数据安全和数据隐私有深刻理解。
- 强大的沟通和表达能力。
- 具有较强的独立工作能力和团队合作能力。
- 具有较强的快速学习新事物的能力。
- 具有指导和培训初级数据工程师的能力。
- 具有领导和管理数据工程项目的能力。
- 有能力掌握最新的数据工程趋势和技术。
描述:
- 设计和开发复杂的数据管道。这包括识别和收集各种来源的数据,并建立和维护数据管道,可用于将数据从一个系统转移到另一个系统。
- 构建和维护大型数据仓库和数据湖。这包括设计和构建数据仓库和数据湖,并在这些系统中加载和管理数据。
- 开发和实施复杂的数据处理和数据挖掘算法。这包括开发和实施可用于处理和挖掘数据的算法,并从这些数据中提取洞察力。
- 确保和保护大量的数据。这包括实施安全措施,以保护数据免受未经授权的访问,并确保数据符合适用法规。
- 与其他团队合作,确保数据在整个组织中得到有效利用。这包括与产品经理、工程师和营销团队合作,确保数据被用于改善公司的产品和服务。