高级数据开发工程师（远程，波兰）
加入 InPost Group，担任高级数据开发工程师，为其欧洲包裹网络提供可靠的数据平台支持。 构建和优化 ETL/ELT 管道、Databricks 数据层及质量控制，助力分析与自动化。
描述
- 使用 SQL、PySpark 和 Python 构建并维护 ETL/ELT 工作流，同时整合多个源系统的数据。
- 创建 Databricks、Data Lake 和 Delta Lake 数据层，包括表、视图及分析数据模型。
- 自动化并协调数据摄取与转换工作流。
- 通过验证、监控、告警和事件调查，维护数据的准确性与可靠性。
- 改进 SQL 查询、Spark 工作负载和存储设计，以提升性能、可扩展性、稳定性和成本效益。
- 向分析师、产品负责人及其他利益相关者提供可靠且可用于生产的数据。
- 维护 Confluence 中关于数据流程、模型、KPI 定义、依赖关系、数据血缘和事件处理流程的文档。
- 使用 AI 工具加快交付，同时在部署前审查生成的代码、配置和文档。
任职要求
- 至少两年数据工程、分析工程或数据分析经验。
- 具备设计 ETL/ELT 工作流以及开发分析数据模型或数据层的经验。
- 具备维护生产数据流程的经验，包括监控、故障排查和数据质量保障。
- 具备云平台经验，尤其是 Microsoft Azure。
- 熟练使用 SQL、Python、PySpark 和 Databricks。
- 理解 Data Lake 和 Delta Lake 架构以及数据建模原则。
- 具备在开发、测试和生产环境中使用 Git 与 Azure DevOps 的实践经验。
- 能够将业务需求转化为有效的技术解决方案。
- 具备在国际化环境中工作的高级英语沟通能力。
- 具备分析能力、逻辑思维、注重细节、积极主动，并能在时间压力下确定优先级。
- 具备复杂运营环境工作经验者优先。
- 了解维度建模，包括星型模式、事实表和维度表、数据粒度，以及用于报表和分析的规范化或反规范化者优先。
- 了解 Databricks 和 Delta Lake 高级功能者优先。
- 具备 Kafka、Structured Streaming 或 Event Hubs 经验者优先。
- 熟悉监控和告警工具者优先。
- 了解数据安全、访问控制、元数据管理和数据血缘原则者优先。
- 具备 Jira 和 Confluence 使用经验，或持有相关 Microsoft Fabric 和 Databricks 认证者优先。强化数据工程、分析工程或数据分析经验。
- 具备设计 ETL/ELT 工作流以及开发分析数据模型或数据层的经验。
福利待遇
- 负责直接支持战略业务决策的数据产品。
- 在多元化的国际跨职能团队中，与经验丰富的专家并肩工作。
- 探索包括 AI 工具在内的新兴技术，并将有价值的创新投入生产。
- 直接、即时地看到工作成果。
- B2B 合作安排。