
资深 Databricks 数据工程师——波兰远程合同
使用 Python 为 Optiveum 的技术客户构建可扩展的 Databricks 数据管道和处理解决方案。 围绕复杂数据集和云端架构,在 AWS、Azure 和 Google Cloud Platform 上开展工作。
描述
- 为大型且多样化的数据集创建 Databricks 处理解决方案
- 使用云原生技术开发和改进 Python 数据管道
- 与解决方案架构师合作,建立并维护数据工程标准
- 在各种云环境中维护数据完整性、安全性和可扩展性
- 为 AWS、Azure 和 Google Cloud Platform 上的复杂数据工作负载设计可扩展架构
- 应用现代数据框架、编程实践和 DevOps 原则
任职要求
- 具备商业数据工程经验,并拥有实际的 Databricks 专业能力
- 具备使用 Python 进行自动化和数据转换的高级技能
- 具备至少一个主要云平台的商业经验:AWS、Azure 或 Google Cloud Platform
- 具备有效的书面和口头沟通能力
- 精通英语和波兰语
- 具备扎实的 SQL 知识,包括查询优化和数据建模
- 了解 DevOps 实践、CI/CD 管道以及 Terraform 或 Bicep 等基础设施即代码工具
- 具备实时流处理技术经验,包括 Kafka 或 Spark Streaming
- 了解 Data Lake、Snowflake 或 Synapse 等云存储平台
- 具备使用 PySpark 进行分布式数据处理的实践经验
- 拥有相关专业认证,例如 Databricks Certified Data Engineer Associate 或云数据认证









