一家正在开发世界一流的受监管的多资产交易平台的快速发展的公司正在寻找一名高级数据工程师。该工程师将负责结合强大的分析能力、对业务的扎实理解和卓越的数据工程能力,为组织提供预期的效益。该公司决心为金融科技行业引入革命性的解决方案和技术。对于那些渴望提高整个组织基于数据的决策水平,同时在一个由分析师、数据科学家、数据工程师和中小企业组成的多学科团队中利用云环境中的尖端技术的开发人员来说,这是一个了不起的机会。
工作职责。
- 为数据分析提供一个平台和支持系统,使访问和分享数据变得简单和标准
- 负责信息架构,以及如何发展它以支持业务战略和功能需求
- 探索和使用Databricks、Azure Events Hub、Azure Data Lake和Synapse
- 帮助开发和维护众多数据源的数据管道,并与系统所有者进行联络
- 掌握实时数据摄取和转换,以支持用例。
- 参与随叫随到的情况,协助处理任何灾难性的故障
- 支持你的想法并帮助你的队友理解你所学到的东西
- 与Azure堆栈合作,建立对数据团队工程工作的总体了解
- 参与生产支持的待命计划
- 在数据转换项目中发挥关键作用,与治理、数据科学、报告和业务合作团队进行沟通。
- 确保为源系统、派生表和数据产品提供转型积压。
- 分析复杂的数据,然后传达结果
- 整合治理、质量数据能力和技术,确保数据的一致性
- 积极提供新产品,并与其他高级工程师和首席工程师一起支持BAU工作
- 支持特殊的数据请求和生产问题
- 解决与BAU相关的问题,创建JIRA问题,并致力于流程的改进。
工作要求。
- 工程学、计算机科学的学士/硕士学位(或同等经验)
- 至少有5年以上数据工程师的相关经验
- 有丰富的Python、SQL和PySpark工作经验
- 在交易/金融服务行业有9年以上的相关专业知识
- 9年以上使用Azure Data Factory的经验
- 良好的政治意识、沟通能力和对优先级的判断能力
- 强大的调试和解决问题的能力
- 在创建有效和可靠的数据管道、ETL流程、数据仓库和大数据处理方面有大量经验。
- 对Azure Databricks、Azure Events Hub和Azure Data Lake有工作经验和了解
- 对Azure Synapse和Azure SQL有丰富的经验
- 曾有Python框架编程经验
- 在业务处理、数据映射和分析方面有良好的记录
- 熟悉实时开发和企业数据建模原则
- 最好有Azure数据工程师或谷歌认证专家的数据工程证书
- 英语流利,包括会话和写作