
高级数据工程师,MSI
为 MSI 专业保险解决方案构建安全、可扩展的数据管道。 管理 ETL、云数据平台、数据治理和大规模数据处理。
描述
- 与数据架构师、分析师及相关方合作,明确并记录数据管道和流程自动化需求。
- 遵循行业最佳实践,构建、记录、测试和维护数据管道。
- 按照企业数据治理与安全标准运行 ETL 和 ELT 流程。
- 建立数据质量与治理流程,通过检查、验证、处理和异常检测核查数据准确性。
- 设计和管理数据系统、管道及相关工具。
- 指导和监督初级数据工程师。
- 提出并实施数据模型。
- 领导专注于数据采集和存储系统的项目。
- 维护关键数据管道,以便在各个平台处理大量内部和外部数据。
任职要求
- 至少 5 至 7 年相关工作经验。
- 相关专业的学士学位。
- 具备多种开发方法方面的经验。
- 具备跨平台、数据源和数据结构构建复杂大规模数据管道的经验。
- 具备 SQL Server、Oracle 等关系型数据库经验,包括 SQL 脚本编写。
- 具备 Power BI 使用经验。
- 具备 AWS、Azure 或 GCP 等云平台经验,包括其 ETL 工具和技术。
- 具备数据仓库、数据清洗和数据转换经验。
- 具备 Python、Spark 或类似语言的编程经验。
- 具备高级编程知识,以及使用大规模处理引擎的经验。
- 深入了解数据库安全与合规工具。
- 熟练使用 Microsoft Office 应用程序,包括 Word、Excel、PowerPoint 和 Outlook。
- 了解敏捷数据工程的概念和流程。
- 能够记录业务流程与需求,并制定功能需求。
- 能够将业务需求转化为技术解决方案。
- 能够指导、辅导和培训同事。
- 具备出色的人际交往和沟通能力。
福利待遇
- 远程办公安排。
- 根据需要前往附近办公室参加入职培训、专业培训及团队协作。
- 提供专业的入职指导和培训。




