高级数据运维工程师
构建支持 Scout Motors 电动卡车和 SUV 的 Databricks 与 AWS 数据平台。 设计数据管道、基础设施、BI 仪表板和机器学习模型。
描述
- 协助设计、自动化、维护和支持基于 Databricks、AWS 和基础设施即代码构建的企业云数据平台。
- 主导企业级 Databricks ETL 和 ELT 管道的设计、开发、优化与运维。
- 使用 PySpark、Spark SQL、Delta Lake 和 Databricks Workflows 构建并维护可扩展的批处理和流式管道。
- 配置并优化 Databricks 集群，提升性能、扩展能力、可靠性和成本效益。
- 与软件开发和系统团队合作，创建数据集成解决方案。
- 使用 Lucid、Talend、Erwin 和 MySQL Workbench 设计并构建数据模型。
- 定义并改进企业数据模型。
- 评估应用数据系统是否符合数据治理政策。
- 构建 Python ETL 和 ELT 基础设施、自动化及数据转换解决方案。
- 创建 BI 仪表板以展示趋势和预测。
- 设计并实施数据基础设施组件，以实现高可用性、可靠性、可扩展性和高性能。
- 设计、训练并部署机器学习模型。
- 实施监控，以便及早发现并处理潜在问题。
- 与安全团队合作，满足行业标准和合规要求。
- 与产品经理、开发人员和业务合作伙伴协作，交付稳健可靠的系统。
- 定期与 Scout 同事线下会面，并前往参加公司活动。
任职要求
- 计算机科学、信息技术或相关领域的学士学位，或同等工作经验。
- 至少 8 年制造业或汽车行业的 DataOps 工程实战经验。
- 具备流式和事件驱动架构经验。
- 具备实施 Databricks 数据湖仓解决方案的经验。
- 具备基础设施即代码经验，包括 Terraform。
- 熟练使用 Python 和 SQL 构建数据管道。
- 具备 AWS 数据服务经验，例如 Glue、Kinesis 和 Firehose，或同类服务。
- 具备结构化、非结构化和时间序列数据库经验。
- 深入了解云数据存储服务，例如 RDS、DynamoDB、DocumentDB、MongoDB、Cassandra 和 InfluxDB。
- 具备多年 AWS 和 Azure 等云平台使用经验。
- 能够开发并部署可扩展的机器学习模型。
- 具备设计、训练和部署机器学习模型的实操经验。
- 能够运用机器学习技术得出可执行的洞察。
- 能够应用机器学习算法预测趋势并支持决策。
- 具备出色的问题解决和故障排查能力。
- 具备良好的沟通与协作能力。
- 必须年满 18 周岁。
福利待遇
- 医疗、牙科、视力和收入保障保险计划。
- 提供雇主配比缴款且立即归属的 401(k) 计划。
- 每年累积 20 天计划性带薪休假。
- 每年 40 小时非计划性带薪休假。
- 每年 14 天公司假日或浮动假日。
- 为所有性别的生育和收养父母提供最长 16 周带薪育儿假。
- 提供丧亲、陪审义务、投票或服兵役带薪假。
- 薪酬方案旨在支持身心健康和财务福祉。
- 有机会从零开始打造产品和公司。
