Valtech 是一家全球数字机构，帮助组织改善客户体验并推进数字业务发展。其工作融合技术、营销、数据和人工智能，为商业计划、企业数字化转型以及提升营销成效提供支持。Valtech 在全球设有团队和办公室，与企业合作开展数字战略、体验创新，并通过切实运用数据，塑造更高效的数字化未来。
Valtech 北马其顿远程高级数据工程师
加入 Valtech，担任高级数据工程师，构建支持分析、人工智能、生成式人工智能和数据产品的云数据平台。该职位重点负责可扩展数据管道、湖仓架构、数据治理以及可靠的数据交付。
描述
- 构建并优化用于分析、人工智能和数据产品的云数据平台
- 使用 Spark 和 Delta Lake 等工具开发可靠的批处理、流处理和近实时数据管道
- 为结构化和非结构化数据创建数据摄取、转换和整理工作流
- 使用 Databricks 或 Fabric 实施湖仓架构和奖牌层
- 为分析、机器学习、因果建模和优化提供经过整理的数据集
- 开发涉及大语言模型、检索增强生成、向量搜索和智能体的生成式人工智能数据流
- 设计可扩展的逻辑数据模型和物理数据模型
- 使用 Airflow、dbt、Databricks Workflows、Azure Data Factory 或同类工具编排工作流
- 实施数据治理、数据血缘、数据质量、访问控制和安全实践
- 建立数据新鲜度、管道可靠性和 SLA 性能监控
- 支持 API、特征输入和分析端点等数据服务层
- 优化管道和基础设施，以提升性能、可扩展性和成本效率
- 与利益相关者澄清并完善业务需求
- 与数据科学家、机器学习工程师、分析师、平台团队和业务利益相关者协作
- 支持数据产品的采用，并推进数据与人工智能生态系统实践
任职要求
- 具备高级数据工程师级别的经验
- 熟悉 Apache Spark 和 Delta Lake，并具备实操经验
- 具备扎实的 Python 和 SQL 编程能力
- 拥有构建批处理和流式数据管道的实际经验
- 拥有交付可用于生产环境的数据平台的经验
- 扎实掌握数据建模、数据质量和数据治理原则
- 具备 AWS 数据服务和 Databricks Lakehouse，或 Microsoft Azure/Fabric 服务与工具的实际经验
- 至少精通 AWS 或 Azure/Fabric 其中一个平台方向
- 具备湖仓架构和分布式数据系统经验
- 深入理解数据管道的可扩展性、可靠性和性能
- 具备较强的问题解决能力，并能以协作方式开展跨职能工作
- 了解 Snowflake 或 GCP 者优先，但非必需
- 具备敏捷或咨询环境经验者优先
- 如具备 AWS 与 Azure/Fabric 跨平台经验、生成式人工智能和人工智能数据系统经验、数据管道 CI/CD、Terraform 或 CloudFormation、Kafka、Spark 优化、高级分析、机器学习工作负载、数据产品或大规模分析平台经验，将更具优势
- 未指定学历要求
福利待遇
- 私人医疗保险
- 通过教育项目获得培训和认证
- 员工福祉项目
- 工作期间免费享用咖啡、饮料和零食
- 公司聚餐
- 公司活动，包括滑雪旅行、卡丁车、激光枪、品酒、野餐和烹饪课程
- 具有竞争力的薪酬
- 24 天年假
- 面向全体团队的年度活动
- 富有挑战性的项目
- 支持职业发展的包容性文化
- 开放的反馈文化
- 提供合理的面试便利安排