数据工程师 - Capital One(纽约,现场办公)
负责 Capital One 旅行数据团队的跨云迁移工作。 使用 Python、Spark 和 Databricks 构建支持个性化旅行体验的数据管道。
描述
- 与敏捷团队合作,设计、开发、测试、实施和支持技术解决方案
- 指导开发人员、数据分析师和数据科学家开展机器学习、分布式微服务、湖仓架构和全栈系统工作
- 使用 Python、Spark、关系型和 NoSQL 数据库,以及 Databricks、Snowflake 等云数据仓库
- 跟踪数据工程趋势,评估新兴技术,参与技术社区并指导数据专业人员
- 与产品经理和软件工程师合作,交付云优先的数据能力
- 独立设计、构建和交付云数据应用与解决方案
- 建立并应用可提升代码质量、可维护性和复用性的工程模式
- 向内部和外部利益相关者解释技术概念和数据结果
- 构建可扩展、具备韧性且运营效率高的数据管道和平台
- 应用包括加密和细粒度访问控制在内的数据安全实践
- 负责旅行数据团队大规模跨云迁移中的重要组件
- 使用 Python、Spark 和 Databricks 将多云数据整合到中央数据湖中
- 支持实时个性化推荐、定向旅行优惠和智能用户福利
任职要求
- 计算机科学或相关定量学科本科或更高学历
- 至少四年应用开发经验,不包括实习经历
- 至少两年分布式数据工作经验
- 至少两年 SQL 经验
- 至少两年 Python、Java 或 Scala 经验
- 至少两年数据管道设计和开发经验
- 至少一年数据建模经验,以及使用关系型和非关系型数据库设计端到端解决方案的经验
- 新申请人不符合雇主提供移民或工作授权支持的资格
- 优先考虑:七年或以上应用开发经验
- 优先考虑:四年或以上在公有云中设计、部署和运行工作负载的经验
- 优先考虑:四年或以上使用 EMR、Spark、Glue 或 Databricks 构建或支持分布式数据或计算工作负载的经验
- 优先考虑:四年或以上设计、实施和运行实时或流式数据管道的经验
- 优先考虑:两年或以上使用 Monte Carlo、Splunk、Airflow 或 Dagster 等数据可观测性或编排工具的经验
- 优先考虑:四年或以上在 NoSQL 数据库中处理非结构化或半结构化数据的经验
- 优先考虑:四年或以上设计和支持数据仓库解决方案的经验
- 优先考虑:两年或以上敏捷开发环境经验
- 优先考虑:两年或以上开发可复用、以用户为中心的数据产品的经验
福利待遇
- 基于绩效的激励薪酬可能包括现金奖金和/或长期激励
- 提供全面且具有竞争力的医疗、财务及其他福利,旨在支持整体福祉
- 为残障申请人提供合理便利
