
数据工程师 II——Google Cloud 与大数据
在美国运通构建 Google Cloud 数据管道、数据库设计和大数据解决方案。 协助维护可扩展、安全的数据系统,并支持生产环境。
描述
- 评估数据需求,整理文档以便与现有架构集成,并维护业务数据模型。
- 构建和改进数据管道及数据库设计,以满足性能、可扩展性和安全需求。
- 使用 BigQuery、DataProc 和其他 Google Cloud 服务。
- 使用 SQL 和数据评估工具。
- 参与设计评审和测试,并在同事及主管的指导下支持生产系统。
- 在同事及主管的指导下审查工作,并为协作学习环境作出贡献。
- 与业务和产品团队合作,协调变更与实施。
- 将基本的分区和索引技术应用于大数据、Spark 和其他分布式框架。
- 与产品和业务团队合作,使技术计划与业务目标保持一致。
任职要求
- 计算机科学、计算机工程学士学位或同等经验;优先考虑拥有更高学位者。
- 了解大数据和 NoSQL 设计与开发,熟悉多种数据存储。
- 了解数据库管理系统及其生态体系,包括存储格式、访问算法、数据管理流程、管理、维护、复制、高可用性和加密。
- 了解分布式多层系统、算法以及关系型和非关系型数据库。
- 具备数据工程经验,包括至少四年的开发经验。
- 具备大规模批处理和实时数据处理的性能调优经验。
- 具备 SQL 和 Python,或 Java 等其他编程语言的经验。
- 具备使用 HBase、Hive、Google Cloud 工具、NoSQL、Bigtable、BigQuery 和 Cloud Spanner 等数据库系统进行设计与开发的经验。
- 具备 HBase、Bigtable 等 NoSQL 数据库经验。
- 具备大数据环境中的性能调优经验。
- 具备分布式系统、算法和应用开发经验。
- 具备开发和支持在线事务处理和/或在线分析处理系统的经验。
- 具备 Agile、Scrum、Agile XP 和测试驱动开发等软件交付方法的经验。
- 拥有 Google Cloud 认证者优先。
- 须通过背景核查,具体要求以适用法律法规为准。
福利待遇
- 具有竞争力的基本工资。
- 奖金激励。
- 支持财务健康和退休规划。
- 根据工作地点提供医疗、牙科、视力、人寿保险和伤残保险。
- 根据职位和业务需求,提供灵活的混合办公、现场办公或虚拟办公安排。
- 根据工作地点提供带薪育儿假。
- 根据工作地点,可免费使用由护士和医生提供服务的全球现场健康中心。
- 通过 Healthy Minds 项目提供免费且保密的咨询服务。
- 职业发展和培训机会。



