远程数据工程师–风险数据(伊利诺伊州)
为Allstate构建受治理的风险数据管道和分析产品。将分散的风险数据转化为可靠的数据集、仪表板和面向AI的能力。
描述
- 使用云原生技术设计和维护可信的风险数据产品以及可扩展的批处理和流处理管道。
- 将风险、控制、供应商、运营和外部数据整合为可供分析使用的受治理数据集。
- 创建并改进ETL/ELT工作流,实现自动化摄取、转换、验证、对账和交付。
- 管理现代数据湖和湖仓环境中的数据处理工作负载,包括Microsoft Fabric和OneLake。
- 建立数据质量、监控、血缘和对账实践。
- 生成经过整理的数据集和分析输出,用于报告、管理层仪表板、趋势分析、风险检测和决策支持。
- 改进数据架构、模式和处理模式,以提升可扩展性、性能、韧性和成本效率。
- 构建可复用框架、工程标准、CI/CD管道、自动化测试和运营监控。
- 与分析、产品、风险、治理、安全和合规团队协作,制定定义、指标、质量标准和安全访问方案。
- 通过冲刺规划、待办事项细化、设计评审和持续改进参与敏捷交付。
任职要求
- 至少四年数据工程师或类似岗位经验,支持生产级管道和数据产品。
- 具备使用Apache Spark进行大规模数据处理和转换的实际经验。
- 熟练掌握Python、SQL和现代数据工程实践。
- 具备在云数据湖、湖仓或分析平台上开发ETL/ELT解决方案的经验。
- 具备为报告、仪表板、运营洞察和高级分析设计及优化分析模型的经验。
- 扎实掌握数据质量、验证、监控、对账和生产支持。
- 具备CI/CD、版本控制、自动化测试和基础设施即代码概念方面的经验。
- 能够调查跨多个来源的复杂数据质量、性能和集成问题。
- 具备出色的书面和口头沟通能力。
- 优先考虑具备Microsoft Fabric、OneLake或同类现代分析平台经验者。
- 具备风险、控制、合规、审计、治理或监管数据方面的经验。
- 具备开发实时、近实时或事件驱动处理解决方案的经验。
- 熟悉数据治理、元数据管理、数据血缘、访问控制和企业数据质量框架。
- 具备使用数据管道编排和工作流管理工具的经验。
- 具备支持运营报告、高管仪表板、趋势分析、高级分析或机器学习项目的经验。
- 必须成功完成背景调查。
- 可靠的互联网服务,最低下载速度为50 MB、上传速度为5 MB。
- 拥有配备适当桌椅且不受干扰的专用私人工作空间。
- Allstate通常不会为该职位提供基于就业的签证赞助。
福利待遇
- 技术设备套餐,包括笔记本电脑、显示器、耳机、键盘和鼠标。
- 符合居家办公条件的员工可获得每月网络连接补贴。
