
IGT 数据工程师 II
在 IGT 构建 Databricks 和 AWS 数据管道,支持企业分析、运营报告和 AI 项目。 这是一个位于美国的全职现场岗位。
描述
- 使用 Databricks、Apache Spark、SQL 和 Python 创建并维护可扩展的 ELT 和 ETL 管道。
- 为企业分析、运营报告和 AI 应用提供可靠的数据集。
- 运用 Delta Lake 和 Lakehouse 架构实践转换数据。
- 连接来自业务应用、API、数据库、文件以及其他内部和外部来源的数据。
- 与利益相关方、分析师和产品团队合作,将数据需求转化为可扩展的解决方案。
- 监控、排查并调优生产管道,确保其在大规模运行时性能可靠。
- 协助将传统数据流程迁移至现代云原生架构。
- 通过验证、测试、监控和自动化提升数据质量。
- 通过代码审查、文档编写和知识共享支持工程标准。
- 探索自动化和简化工作、改进企业数据平台的方法。
任职要求
- 拥有计算机科学、信息系统、工程或相关学科的学士学位,或具备同等实践经验。
- 至少三年数据工程或相关技术岗位经验。
- 具备扎实的 SQL 开发技能。
- 具备扎实的 Python 编程技能。
- 具备使用 Apache Spark 和 Databricks 或同类分布式数据处理平台构建管道的经验。
- 具备开发现代 ETL 和 ELT 管道的经验。
- 了解数据建模和数据仓库。
- 具备云数据平台经验,优先考虑 AWS。
- 熟悉 Delta Lake 或同类现代数据存储技术。
- 具备 Git 和协作式软件开发经验。
- 具备出色的分析、故障排查和问题解决能力。
- 具备清晰的沟通和协作能力。
- 优先条件:具备使用 S3、IAM、Lambda 或 Glue 等 AWS 服务的经验。
- 优先条件:具备在 AWS 上使用 Databricks 的经验。
- 优先条件:具备 Delta Lake 以及 Medallion 或 Lakehouse 架构经验。
- 优先条件:具备 Databricks Workflows、Apache Airflow 或类似编排工具的使用经验。
- 优先条件:具备开发或调用 REST API 的经验。
- 优先条件:具备摄取半结构化数据(包括 JSON 和 Excel 文件)的经验。
- 优先条件:熟悉数据工程中的 CI/CD。
- 优先条件:接触过 AI/ML 工作流,或具备为机器学习和生成式 AI 准备数据的经验。
- 优先条件:具备游戏、酒店、金融服务或其他数据密集型行业的经验。
福利待遇
- 401(k) 储蓄计划及公司缴款。
- 医疗保险。
- 牙科保险。
- 视力保险。
- 人寿保险。
- 伤残保险。
- 带薪休假。
- 学费报销。
- 健康计划。
- 根据岗位和资格条件,可能提供奖金或佣金。






