Talan 是一家全球性的咨询与技术公司，致力于帮助各类组织运用创新转变运营方式和决策模式。其业务涵盖数据管理与治理、人工智能、网络安全和云平台，并提供旨在支持企业构建韧性业务模式、改善运营的解决方案。Talan 与 Microsoft、SAP、Oracle 和 Salesforce 等技术生态系统合作，为能源、交通和金融服务等行业提供服务。公司团队遍布五大洲的 18 个国家，汇聚企业咨询与 SaaS 领域的专业能力，帮助客户将数据和技术转化为切实可行的业务成果。
大数据开发工程师 - Talan（远程，西班牙）
为国际技术咨询集团 Talan 开发 Spark、Scala 和 SQL 数据湖管道。 支持市场风险数据处理、生产运营和敏捷交付。
描述
- 使用 Apache Spark、Scala 和 SQL 创建、增强和支持数据湖管道
- 为高容量数据集开发可扩展的处理解决方案
- 通过 Control-M 和 Airflow 协调批处理工作流及其依赖关系
- 交付市场风险数据的摄取、转换、验证和发布流程
- 提升 Spark 工作负载的性能、可靠性和可扩展性
- 审查技术和功能需求，识别差距并提出解决方案
- 协助规划交付，并与跨职能团队高效合作
- 处理生产事故并调查其根本原因
- 持续协助改进运营流程
- 与敏捷小组、功能相关方和生产支持团队合作
- 运用软件工程和数据开发实践，交付可靠、易维护的生产解决方案
任职要求
- 至少两年大数据、数据湖或基于云的数据平台专业经验
- 具备使用 Apache Spark、Scala 和 SQL 进行大规模数据处理的实践经验
- 了解数据湖架构、数据质量控制、数据血缘和生产级管道
- 具备较强的分析和解决问题能力
- 具备出色的沟通与协作能力
- 能够与技术和功能相关方合作
- 以积极主动且适应性强的方式应对技术挑战
- 英语 C1 或同等专业流利程度
- 具备 Control-M 和 Airflow 经验者优先
- 具备 Databricks、Azure 和 AWS 经验者优先
- 具备 YARN 和云计算环境经验者优先
- 具备 CI/CD、GitHub、Jenkins 和 SonarQube 经验者优先
- 具备银行生产环境、运营监控和 ServiceNow 背景者优先
- 了解市场风险流程者优先，包括损益、估值、风险指标和监管报告数据流
福利待遇
- 永久全职雇佣
- 职业发展和晋升机会
- 持续学习机会
- 多元文化的国际化工作环境
- 私人医疗保险
- 人寿保险
- 通过灵活薪酬计划提供午餐卡和交通卡
- 在线语言课程
- 用于远程工作的 Smart Office Pack
- 完全远程办公，并可灵活地在西班牙境内任何地点工作
