EXL 是一家商业咨询与服务公司，帮助组织运用数据、分析和技术改善运营并做出更明智的决策。其业务涵盖运营管理、决策分析和数字化转型，并拥有为医疗保健、保险、金融和物流行业客户提供支持的经验。EXL 将数据科学与务实的业务专业知识相结合，根据每个组织的目标、运营模式和行业背景，制定量身定制的解决方案。
EXL高级数据工程师——美国远程工作
在EXL负责云原生、PB级数据平台的架构设计。 负责数据管道、流式处理、分析优化及数据工程团队领导工作。
描述
- 制定可扩展、可靠且安全的端到端数据管道架构方向和标准
- 指导工程师、审查代码并管理数据产品交付时间
- 与数据科学家、分析师及利益相关者协作，将业务和技术需求转化为可投入生产的数据解决方案
- 为数据科学家和机器学习工程师提供数据访问、模型开发及数据质量保障支持
- 使用dbt Core和AWS Glue构建并优化高容量数据摄取和转换作业
- 使用Dagster等编排器创建和维护模块化、可复用的数据管道
- 通过Confluent平台或Kinesis等AWS流式服务管理实时数据流
- 实施数据匿名化实践，并满足安全与隐私要求
- 实施和维护Apache Iceberg，以支持模式演进和数据管理
- 优化Snowflake、Amazon Redshift和AWS Athena中的查询性能并控制成本
- 加入Splunk监控和可观测性，以识别瓶颈并解决生产环境问题
任职要求
- 至少10年数据工程、数据架构或密切相关的全栈数据岗位的持续进阶和实践经验
- 深入理解数据工程原则、ETL/ELT模式和元数据管理
- 具备在云原生环境中构建和运营PB级基础设施的实践经验
- 有保险行业经验者优先，但非必需
- 具备AWS服务经验，包括S3、IAM和VPC
- 具备Talend、dbt Core、Iceberg、AWS Glue Catalog、Snowflake、Redshift、Athena、Splunk、AWS流式服务和Git经验
- 具备扎实的SQL、PySpark和Python技能
- 了解DataOps和DevOps基础知识
福利待遇
- 年度奖金
- 福利信息见https://www.exlservice.com/us-careers-and-benefits
- 远程工作/居家办公