Tiger Analytics 是一家人工智能与数据分析咨询公司，帮助各类组织将复杂数据转化为切实可行的业务决策。其业务涵盖数据战略、机器学习、人工智能工程和商业智能，致力于将分析能力融入日常运营及更广泛的数字化转型项目。该公司服务于医疗保健、物流、营销、消费品和金融等行业，并借助云技术以及与 Microsoft、Google Cloud 和 AWS 等提供商的合作，开发并扩展数据驱动型解决方案。
高级数据工程师（Databricks 与 Spark）
使用 Databricks 和 Spark 为 Tiger Analytics 的企业客户构建可扩展的数据管道。 改进 ETL 工作流、批处理调度和生产数据解决方案。
描述
- 使用 Databricks、Spark、Python 和 Scala 构建并维护可扩展的数据管道。
- 开发并改进 ETL/ELT 流程，以采集、转换和处理来自不同来源的数据。
- 使用 Hadoop 工具处理和管理大型结构化与非结构化数据集。
- 调优并排查 Spark 应用程序问题，以提升性能、可扩展性和可靠性。
- 使用 Control-M 管理批处理计划、工作流依赖关系和管道运行。
- 调查作业失败和管道问题，确保计划工作负载按时完成。
- 添加验证、错误处理和质量检查，以保持数据准确一致。
- 与数据架构师、分析师及其他团队合作，了解需求并交付可靠的解决方案。
- 遵循编码规范、测试实践、版本控制和部署流程。
- 支持生产发布、事件响应和解决方案的持续维护。
任职要求
- 至少 8 年数据工程经验。
- 具备扎实的 Databricks 和 Apache Spark 实践经验。
- 熟练使用 Python 和 Scala 进行数据处理与应用程序开发。
- 具备 Hadoop 和大数据技术的实践经验。
- 具备使用 Control-M 进行批处理调度、作业监控、工作流编排和依赖管理的经验。
- 深入了解 ETL/ELT、数据转换和分布式数据处理。
- 具备性能调优、调试、故障排查和生产支持经验。
- 具备扎实的 SQL 技能并理解数据管理概念。
- 具备出色的分析、解决问题和协作能力。
福利待遇
- 医疗保险。
- 牙科保险。
- 视力保险。
- 退休账户。
- 长期和短期伤残保险。
- 人寿保险。
- 美国境内的 HSA/FSA 账户。
- 酌情安排的休假。
- 持续学习并获得接触新兴技术的实践机会。
- 有机会深入掌握生成式 AI、智能体 AI 和新一代数据平台。
- 与全球 AI、数据、工程和咨询团队合作。
- 有机会领导战略项目并发展客户合作关系。
