Allata 是一家全球性咨询公司，帮助组织将数字战略转化为切实的业务改进。其团队专注于战略、客户体验、云与技术、数据和人工智能，协助客户推进现代化建设、个性化服务和运营效率提升。Allata 服务于汽车、医疗保健、物流、金融服务和高科技等行业，并凭借前 IT 领导者和咨询专业人士的经验，为复杂的数字化项目提供指导。
Databricks 数据平台经理（德克萨斯州远程）
负责 Allata 受治理的 Lakehouse 与企业数据仓库平台的架构和交付。指导数据管道、安全、可扩展性及数据产品开发。
描述
- 为 Lakehouse 和企业数据仓库平台制定架构、技术选型、参考模式和集成蓝图。
- 为多租户及行业专属数据产品创建概念、逻辑和物理模型。
- 统一数据采集、原始存储、整理和服务层。
- 建立元数据、目录、数据沿袭、数据契约和分类方面的治理实践。
- 制定访问控制、脱敏、加密、网络分段和审计方面的安全与合规控制措施。
- 规划平台的可扩展性、高可用性、灾难恢复、容量和成本管理。
- 主导 Databricks、Delta Lake、Delta Live Tables、Fivetran、Azure Data Factory 或 Data Fabric、编排及监控工具的选型与集成。
- 为数据资产制定并落实 CI/CD 实践，包括测试、自动发布和回滚计划。
- 制定批量与流式数据采集、压缩、分区和存储方案。
- 制定可观测性标准，涵盖指标、SLA、仪表板、日志、追踪和告警。
- 为数据工程团队提供技术领导和指导。
- 评审关键组件的架构和代码。
- 与数据产品负责人以及安全、基础设施、BI 和 ML 相关方合作，将需求转化为解决方案和路线图。
- 使用 Spark、PySpark 或 Scala、Spark SQL 和存储过程构建、测试并部署处理模块。
- 在 Databricks 和数据库平台上开发并优化数据管道。
- 应用 DevOps 实践、基础设施即代码、CI/CD、自动化测试和版本控制。
- 解决复杂的数据质量、性能和可用性问题，并推动持续改进。
任职要求
- 曾担任企业数据平台架构师或技术负责人。
- 熟悉 Databricks 技术，包括 Delta Lake、Unity Catalog、Delta Live Tables、Auto Loader 和 Structured Streaming。
- 精通 Spark、PySpark 和/或 Scala、Spark SQL 及分布式作业优化。
- 具备数据仓库和 Lakehouse 设计经验。
- 实际了解 Medallion、Lambda 和 Kappa 模式。
- 有集成 Fivetran 等 SaaS、ETL 或连接器工具的经验。
- 有使用 Airflow、Azure Data Factory 和 Data Fabric 等编排工具的经验。
- 有关系型和混合型数据库经验，包括 MS SQL Server、PostgreSQL、Oracle、Azure SQL、AWS RDS/Aurora 或同类产品。
- 熟练使用 Azure DevOps、GitHub Actions、Jenkins 或类似工具实施数据管道 CI/CD。
- 有打包和部署 .whl 文件、容器等制品的经验。
- 有批量与流式处理、文件压缩、分区和存储调优经验。
- 了解云安全、IAM/RBAC、加密、VPC/VNet 概念和云网络。
- 熟悉 Prometheus、Grafana、Datadog 或云原生服务等可观测性和监控工具。
- 具备 CI/CD 流水线自动化和主干开发经验者优先。
- 具备高级 PySpark 技能者优先。
- 具备高级 Spark 工作流优化和编排技能者优先。
- 拥有 Databricks、云架构或数据相关认证者优先。
- 能够发现、排查并解决复杂的数据问题。
- 具备良好的协作和沟通能力。
- 对新工具、新技术和新方法保持好奇并乐于接纳。
福利待遇
- 全职职位。
- 平等机会且包容的工作环境。
- 致力于多元化。
