UPS高级数据工程师——美国现场办公
为UPS的数据科学和机器学习计划构建批处理与实时数据管道。 整合、转换、治理并交付企业数据,支持分析和业务决策。
描述
- 牵头并支持数据工程计划,运用软件和应用开发专业知识构建解决方案。
- 为数据工程工作创建并维护清晰的文档。
- 收集需求、确定项目范围,并在各项工程计划之间整合数据。
- 评估分析报告产品和工具,同时支持采用新兴技术。
- 维护和支持数据工程系统与流程。
- 制定实施策略,为概念验证分析提供备份、恢复和技术解决方案。
- 从多个来源提取、转换并加载数据到数据库或商业智能平台。
- 开发数据API,使数据科学家和商业智能分析师能够查询信息。
- 使用Python、Java、Scala、C++或其他用于统计分析和建模的语言编写代码。
- 创建支持数据科学和机器学习的批处理与实时管道。
- 连接内部和外部数据源,以支持工程和分析工作。
- 执行ETL转换、数据清理和数据丰富。
- 负责完整的系统生命周期,从分析和技术需求到设计、编码、测试和实施。
- 将不同来源整合为可重复使用、可复现的数据资产。
- 通过调整分析模型的特征支持数据科学工作。
- 指导团队成员,并向利益相关者传达数据分析和发现。
任职要求
- 熟练掌握用于统计建模与分析、数据仓库、云解决方案和数据管道开发的编程语言。
- 深入了解数据库系统和数据仓库平台。
- 深入理解数据如何连接运营职能和业务职能。
- 深入了解数据生命周期,包括收集、转换、分析、安全存储和访问。
- 深入理解可扩展数据环境,包括吞吐量、大规模分析、实时预测、安全、监管和合规。
- 深入了解算法、数据结构、筛选和优化。
- 深入理解分析报告技术和环境,例如PBI。
- 熟练掌握至少一个云平台,例如GCP、Azure或AWS。
- 熟练使用Databricks笔记本,以及Python、SQL和PySpark进行数据转换、建模和分析。
- 具备出色的沟通和讲述能力,能够用清晰的非技术语言解释复杂的数据概念。
- 具有与产品、运营、财务、市场营销和合规等跨职能团队协作的经验。
- 理解业务KPI、指标和特定领域的数据模型。
- 具有收集需求和管理利益相关者的经验。
- 了解Unity Catalog在治理、数据血缘、权限和安全数据共享方面的应用。
- 理解数据版本控制、ACID事务和Delta Lake时间旅行。
- 理解机器学习算法。
- 理解分布式系统及其支持的业务问题。
- 拥有管理信息系统、数学、统计学或计算机科学学士学位、国际同等学历,或同等专业经验。
- 目前位于职位所在地区,或愿意自行搬迁。
- 为美国公民或国民、合法永久居民,或获准为该雇主在美国工作的个人。
福利待遇
- 永久性全职工作。
- 提供平等就业机会,并致力于防止歧视、骚扰和报复。
