ClickBus
ClickBus
201 – 500 员工
市场旅游物流
ClickBus 是一家旅游票务平台,帮助用户在巴西和拉丁美洲各地搜索并购买城际巴士车票。其网站和移动应用连接了 200 多家巴士公司和超过 4,800 个目的地,同时通过 ClickOferta 和多种支付方式满足不同的购票需求。公司致力于通过数字平台让长途巴士出行更容易规划和购买。

ClickBus 中级数据工程师

为 ClickBus 巴士票务市场构建并优化批处理和流式数据管道。 使用 AWS、Spark、Airflow、dbt 和数据质量实践,提升性能、降低成本并增强可靠性。

描述

  • 使用 EKS 上的 Airflow、EMR/Spark 和 dbt 构建、维护并改进批处理和流式数据管道
  • 为 DMS、API、文件和事件创建数据摄取流程,同时在各层数据湖中组织数据
  • 诊断并解决数据管道事故,包括 DAG 失败、处理错误、指标不一致和架构问题
  • 开展根因分析,并提出能够避免重复故障的改进方案
  • 通过自动化测试、校验检查和对账流程维护数据质量
  • 开发并调优 Spark 和 dbt 转换,以提升性能并控制成本
  • 优化 Athena 查询和 dbt 模型,降低处理成本并缩短响应时间
  • 实施追加、覆盖和合并/更新增量加载,确保处理一致且具备幂等性
  • 随着数据架构的发展,参与技术改进和标准化工作
  • 审查代码,并采用良好的版本控制和技术文档实践
  • 与业务团队合作,确认交付的数据满足功能需求
  • 监控管道运行情况,持续发现改进机会

任职要求

  • 具备在云环境中担任数据工程师的实践经验
  • 具备构建和运营生产数据管道的实操经验
  • 具备排查和解决数据事故的经验
  • 具备使用事实表和维度表设计分析模型的经验
  • 了解增量加载策略和数据分区
  • 熟悉 AWS 服务,包括 S3、Athena、IAM 和 Glue Catalog;了解 EMR 者优先
  • 具备创建和维护 Airflow DAG 的经验
  • 具备 PySpark 实践经验,包括连接、分区和基础性能调优
  • 具备 dbt 建模、增量模型和测试经验
  • 精通 SQL
  • 具备 Python 编程能力
  • 具备 Git 使用经验

福利待遇

  • 通过 Flash 卡提供每月 1,100 巴西雷亚尔的餐费或食品补贴
  • 通过 Flash 卡提供每月 149 巴西雷亚尔的居家办公补贴
  • 通过 Flash 卡提供每月 200 巴西雷亚尔的灵活福利补贴
  • 每年提供 2,000 巴西雷亚尔的 Busonauta Viajante 福利,可通过应用或网站购买巴士票
  • 交通补贴
  • 停车福利
  • SulAmérica 医疗保险,无共付额或月度保费
  • Bradesco 牙科保险
  • 为母亲和父亲提供托儿补助
  • 六个月产假和 30 天陪产假
  • 人寿保险
  • Wellhub 和 TotalPass 使用权限
  • 年度利润分享奖金
  • 生日当天休假
  • Petlove 合作福利
  • 药房补助
  • 残障儿童支持
  • 与教育和休闲机构的合作福利

相关职位

Liberty Mutual Insurance