数据工程专家 - Brasilseg - 圣保罗混合办公
作为领先的全国性保险公司，担任数据工程专家，推动 Brasilseg 分析平台的发展。构建可扩展的 Databricks 和 AWS 数据管道，为分析、人工智能和数字化转型提供支持。
描述
- 为分析平台和战略项目打造稳健、高效的数据架构。
- 制定企业数据的工程标准、可复用实践和生命周期指导方针。
- 构建 Bronze、Silver 和 Gold 数据管道，实施严格的数据质量、治理和血缘控制。
- 在 Databricks 和 AWS 中创建并改进数据摄取、转换和交付工作流。
- 开发并维护与 API、关系型数据库、NoSQL 平台和企业系统的集成。
- 构建可复用的框架、自动化工具和工程解决方案，推动数据生态系统标准化。
- 引入数据质量控制，保障信息的一致性、完整性、完备性和合规性。
- 跟踪并提升数据管道、查询和分布式处理工作负载的性能。
- 诊断并解决生产故障、性能瓶颈和底层平台问题。
- 推进数据资产的数据目录、治理、血缘和访问控制实践。
- 评估能够强化数据平台的技术、工具和架构模式。
- 作为技术资源指导跨学科团队，同时推广有效的数据工程实践。
任职要求
- 计算机科学、计算机工程、信息系统、数据工程、软件工程、统计学、数学或相关专业的学士学位。
- 具备数据工程经验，包括 ETL 或 ELT 数据管道开发经验。
- 具备 Databricks 和 AWS 服务的专业工作经验。
- 精通 SQL。
- 精通 Python。
- 具备数据湖、数据仓库以及 Bronze、Silver 和 Gold 奖章架构的实践经验。
- 具备改进、监控和观测数据管道性能的经验。
- 了解数据治理和数据质量实践。
- 具备 Spark、PySpark、Delta Lake 和 Unity Catalog 经验。
- 具备通过 API 和消息平台连接数据的经验。
- 拥有保险行业经验者优先。
- 具备 Databricks Certified Data Engineer Associate 或 Professional 认证者优先。
- 具备 AWS Certified Data Engineer Associate 或 AWS Certified Solutions Architect 认证者优先。
- 了解 DataOps 者优先。
- 具备为数据管道实施 CI/CD 的经验者优先。
- 了解 Terraform 和基础设施即代码者优先。
- 具备流式数据和事件驱动系统设计经验者优先。
福利待遇
- 医疗保险
- 牙科保险
- 丧葬援助保险
- 交通补贴
- 餐券
- 食品补贴
- 额外的第 13 个月食品补贴
- 团体人寿保险
- 私人养老金计划
- 托儿或保姆补贴
- 利润分享和基于绩效的 PLR 奖金
- Wellhub 会员
- 带薪生日假
- Desenvolve 学习计划，提供 500 多门课程
- 综合健康计划，支持心理、社交、财务和身体健康