Quandri 高级数据工程师（温哥华混合办公）
负责 Quandri 的 Databricks 数据湖、生产级数据管道和 AI 数据基础设施。构建支持其面向保险代理机构和经纪公司的 AI 平台的系统。
描述
- 负责完整管理 Databricks 数据湖生命周期，包括 dbt 模型、奖牌层架构、增量处理、回填、分区、数据新鲜度和质量监控。
- 实施来自 HubSpot、Langfuse、Postgres 和 DynamoDB 的 CDC 与流式数据摄取，确保幂等性和去重机制可靠。
- 负责数据服务、模式与迁移规划、版本化 API、数据溯源、审计跟踪、测试和可观测性。
- 构建嵌入向量管道、向量存储、检索知识库、特征库和 LLM 可观测性等 AI 数据基础设施。
- 与基础设施团队合作，构建和维护云数据库。
- 改进数据检索，提升分析仪表板的性能和易用性。
- 维护数据管理和安全相关政策。
- 与软件、AI/ML 和数据工程师、数据科学家、产品团队及业务部门合作，统一技术要求。
- 向没有技术背景的利益相关者有效解释技术概念。
- 指导工程师实践稳健的数据工程方法。
任职要求
- 具备 4 至 6 年数据工程专业经验。
- 拥有构建和维护数据库、数据管道及后端系统的经验，重点关注高效数据管理和集成系统组件。
- 熟练使用 Python（优先）和 SQL。
- 设计过具有严格隔离要求的多租户数据系统，并有处理个人身份信息或其他受监管信息的经验。
- 了解数据建模，包括奖牌层架构、星型模式或雪花模式。
- 具备 AWS、Azure 或 GCP 等云平台的实际经验。
- 使用过 dbt、Databricks Workflows、Apache Airflow、Prefect、Dagster 或类似工具、变更数据捕获系统或 AWS Step Functions。
- 使用过 Databricks SQL 仪表板、Tableau 或具备同等 Power BI 能力的数据可视化平台。
- 具备开发或支持 AI 产品的经验。
- 了解并能够应用数据治理实践。
- 拥有计算机科学、数据工程、计算机工程或相关技术领域的学士或硕士学位，或具备同等经验；拥有相关学历或经验者优先。
福利待遇
- 根据入职时的经验级别获得员工股票期权，并遵循标准归属计划。
- 根据经验级别获得员工股票期权。
- 享受全面的健康保障，包括 500 美元的生活方式支出账户。
- 每年享有四周带薪休假。
- 每年最多可在世界任何地方工作 60 个日历日。
- 分娩家长可获得六个月的育儿假薪资补贴，非分娩家长可获得八周补贴，适用于年薪不超过 100,000 美元的员工。