高级数据工程师——软件工程与人工智能
高级数据工程师,使用 Python、Databricks 和 AWS 构建可扩展的数据管道。 在数据咨询中应用人工智能、软件工程和治理实践。
描述
- 使用 Python、Databricks 和 AWS 构建并改进数据工程解决方案
- 设计和优化可扩展的数据管道,提升性能、可靠性和可维护性
- 运用软件工程原则开发稳健的数据解决方案和数据管道
- 通过评估技术、模式和技术方案,参与系统架构与数据解决方案的设计
- 通过自动化、提升生产力和改进流程,发掘推动人工智能应用于软件开发的机会
- 开发并应用人工智能工具,用于软件和数据管道的开发、测试、文档编写、维护与演进
- 建立并推广人工智能相关的开发标准、最佳实践和技术指导
- 协助制定负责任采用人工智能所需的治理机制、安全措施和控制措施
- 与数据、软件工程、架构和业务职能团队协作
- 分析技术解决方案,识别优化、自动化和现代化机会
- 通过知识共享和推广工程最佳实践支持团队
任职要求
- 具备高级数据工程师工作经验
- 具备高级 Python 技能以及构建稳健、可扩展解决方案的经验
- 具备实际且经过验证的 Databricks 使用经验
- 具备 AWS 使用经验,尤其是数据和处理服务方面的经验
- 具备扎实的软件工程基础,涵盖开发原则、架构、设计和编码标准
- 具备系统和技术解决方案设计经验
- 了解数据管道的开发与优化
- 能够将技术和业务需求转化为可扩展、可持续的解决方案
- 具备 Git、版本控制和 CI/CD 实践经验
- 能够在复杂的跨职能环境中独立工作
- 具备将人工智能应用于软件工程的实践经验
- 了解生成式人工智能、大型语言模型、人工智能代理或人工智能辅助开发工具
- 具备使用人工智能进行代码生成、审查、测试、文档编写或维护的经验
- 了解用于集成人工智能解决方案的架构和模式
- 具备 MLOps、LLMOps 或人工智能治理经验
- 了解 PySpark、SQL 和湖仓架构
- 具备使用人工智能自动化和现代化数据管道的经验
- 具备制定技术标准、技术指导和治理机制的经验
福利待遇
- 周一至周五 9:00 至 18:00 的远程工作安排
- 每月 300 巴西雷亚尔的居家办公补贴,充值至 iFood 卡,可用于餐饮和食品支出
- 生日礼品卡和一天带薪休假
- 全面使用 RoxSchool、Alura、Pluralsight 以及 O’Reilly 的书籍和演讲资源
- 技术认证费用最高可报销 300 巴西雷亚尔;通过所列品牌获得每项认证另有 300 巴西雷亚尔奖金
- 每月由合作心理咨询师提供两次全额资助的心理咨询
- 可使用 WellHub(Gympass),包括参与合作的健身房及健康与保健应用
- 提供工作设备
