
ClickBus 中级数据工程师
为 ClickBus 巴士票务市场构建并优化批处理和流式数据管道。 使用 AWS、Spark、Airflow、dbt 和数据质量实践,提升性能、降低成本并增强可靠性。
描述
- 使用 EKS 上的 Airflow、EMR/Spark 和 dbt 构建、维护并改进批处理和流式数据管道
- 为 DMS、API、文件和事件创建数据摄取流程,同时在各层数据湖中组织数据
- 诊断并解决数据管道事故,包括 DAG 失败、处理错误、指标不一致和架构问题
- 开展根因分析,并提出能够避免重复故障的改进方案
- 通过自动化测试、校验检查和对账流程维护数据质量
- 开发并调优 Spark 和 dbt 转换,以提升性能并控制成本
- 优化 Athena 查询和 dbt 模型,降低处理成本并缩短响应时间
- 实施追加、覆盖和合并/更新增量加载,确保处理一致且具备幂等性
- 随着数据架构的发展,参与技术改进和标准化工作
- 审查代码,并采用良好的版本控制和技术文档实践
- 与业务团队合作,确认交付的数据满足功能需求
- 监控管道运行情况,持续发现改进机会
任职要求
- 具备在云环境中担任数据工程师的实践经验
- 具备构建和运营生产数据管道的实操经验
- 具备排查和解决数据事故的经验
- 具备使用事实表和维度表设计分析模型的经验
- 了解增量加载策略和数据分区
- 熟悉 AWS 服务,包括 S3、Athena、IAM 和 Glue Catalog;了解 EMR 者优先
- 具备创建和维护 Airflow DAG 的经验
- 具备 PySpark 实践经验,包括连接、分区和基础性能调优
- 具备 dbt 建模、增量模型和测试经验
- 精通 SQL
- 具备 Python 编程能力
- 具备 Git 使用经验
福利待遇
- 通过 Flash 卡提供每月 1,100 巴西雷亚尔的餐费或食品补贴
- 通过 Flash 卡提供每月 149 巴西雷亚尔的居家办公补贴
- 通过 Flash 卡提供每月 200 巴西雷亚尔的灵活福利补贴
- 每年提供 2,000 巴西雷亚尔的 Busonauta Viajante 福利,可通过应用或网站购买巴士票
- 交通补贴
- 停车福利
- SulAmérica 医疗保险,无共付额或月度保费
- Bradesco 牙科保险
- 为母亲和父亲提供托儿补助
- 六个月产假和 30 天陪产假
- 人寿保险
- Wellhub 和 TotalPass 使用权限
- 年度利润分享奖金
- 生日当天休假
- Petlove 合作福利
- 药房补助
- 残障儿童支持
- 与教育和休闲机构的合作福利
相关职位


Liberty Mutual 远程电话销售代表
Liberty Mutual Insurance$45,000 – $100,000 / 年
远程全职初级中级必需语言:英语内部销售销售通过接听来电和跟进意向客户,远程销售 Liberty Mutual 保险。 帮助客户选择合适的保障,并完成带薪执照培训。
打开








