数据工程师，主数据与黄金记录——西班牙远程办公
负责为 CONVOTIS Iberia（一家技术解决方案公司）集成和整合主数据的数据工程师岗位。 使用 Airflow、dbt、Python 和 SQL 构建黄金记录。
描述
- 设计和开发 Airflow DAG，集成来自内部和外部 API 的数据
- 从多个来源收集信息，进行转换和验证，并将其加载到企业主数据系统中
- 开发并改进匹配、去重、整合和黄金记录生成流程
- 管理变更验证工作流，确保修改过程可追溯、受控且一致执行
- 定义数据质量控制、业务规则和可观测性机制，以识别问题
- 调查不同来源之间的差异，并与业务团队和数据团队合作确定有效信息
- 记录集成、规则和决策，以维护解决方案并保留团队知识
任职要求
- 约四年数据工程、数据集成或主数据相关经验；具备同等资历、自治能力和影响力的较短工作经验也可考虑
- 熟练掌握 Python、dbt 和 SQL
- 具有在生产环境中开发和维护 Airflow DAG 的经验
- 具有调用 API 的经验，包括身份验证、分页、错误处理、重试和可追溯性
- 了解数据建模、规范化、去重、匹配和实体整合
- 具备分析能力，能够追溯数据来源、比较不同来源，并将业务规则转化为技术逻辑
- 熟悉 Git、测试、文档、可观测性和 CI/CD 等良好实践
福利待遇
- 灵活工作时间
- 可选择办公室或居家办公
- 健康保险
- 灵活薪酬
- 内部活动
- 户外活动
- 休闲日
- 板式网球比赛
- 自由选择休假政策
- 培训机会
- 英语课程
- 认证机会
- 办公室提供咖啡、甜点和桌上足球