高级数据工程师（罗马尼亚远程）| Sedona Digital
为 Sedona Digital 的保险行业客户构建并支持 PySpark、SQL 和 Databricks 数据平台。 负责数据管道、对账、数据质量及云端数据解决方案。
描述
- 评估并重建用于运营数据和源系统数据的摄取管道。
- 设计数据映射、数据沿袭、依赖关系以及受控迁移和切换计划。
- 创建并维护详细的数据对账流程。
- 改进 PySpark 数据处理能力以及层级和汇总功能。
- 增加测试、版本管理、元数据、可观测性和部署控制。
- 与业务和技术专家合作，提升数据覆盖范围。
- 评估 GCP 数据管道方案并协助实施。
- 探索直接从 Microsoft Dynamics 365 等系统获取数据映射和参考数据。
- 支持报表层级和筛选逻辑变更，包括影响评估、测试和对账。
- 创建并维护自动化数据质量检查、监控和运营控制。
- 帮助团队采用集中式报表和数据能力。
- 编写技术文档、决策记录、对账证据、差异说明和交接材料。
- 与工程师和利益相关者通过优先级待办事项及短周期迭代冲刺交付工作。
任职要求
- 至少五年数据工程或密切相关数据岗位的专业经验，其中包括丰富的生产数据解决方案构建和支持实操经验。
- 熟练掌握 PySpark、SQL 和 Databricks，具备开发和支持生产级数据管道的实操经验。
- 具备 GCP 数据技术和管道的实操经验。
- 有数据管道测试、优化和运营支持经验。
- 具备丰富的维度数据、主数据/参考数据或层级数据建模经验。
- 有实施复杂实体匹配、数据映射和汇总逻辑并确保适当可追溯性的经验。
- 具备实施自动化数据质量检查和对账流程的实操经验。
- 有在数据工程解决方案中实施可观测性、审计历史、版本控制和 CI/CD 的经验。
- 有评估源系统数据并记录数据契约、映射、数据沿袭和依赖关系的经验。
- 有管理受控数据管道或平台迁移的经验。
- 能够调查数据问题，并清晰解释数值、记录数、映射和层级结果方面的差异。
- 能够直接与平台团队、分析师和业务专家合作，将不明确的报表和映射需求转化为经过测试的工程解决方案。
- 沟通能力强，能够编写简明的技术文档、决策记录、差异说明和交接材料。
- 具备自主工作能力，适应协作式、迭代式的交付环境。
- 优先条件：拥有保险、伦敦市场、再保险、经纪、分销或保单级数据环境经验。
- 优先条件：拥有集成 Microsoft Dynamics 365 或类似运营源系统的经验。
- 优先条件：拥有 Power BI 经验，包括语义模型和报表依赖关系。
- 优先条件：拥有缓慢变化维度（SCD）和历史层级管理经验。
- 优先条件：拥有支持复杂主数据/参考数据、实体匹配和层级解决方案的经验。
- 优先条件：拥有调查历史数据和报表差异的经验。
- 优先条件：拥有支持受控数据迁移、源系统切换或平台变更的经验。
- 优先条件：拥有分布式敏捷团队经验，并曾与英国的业务和技术利益相关者合作。
