Meltwater 提供媒体情报与社交数据分析服务，帮助企业追踪媒体报道、了解消费者讨论，并依据媒体与受众数据做出决策。其平台整合了媒体监测、社交聆听、媒体关系、网红营销和销售情报，并通过 AI 驱动的洞察支持营销与公共关系工作。Meltwater 服务于需要应对快速变化的媒体环境的各类组织。
高级 Snowflake 数据工程师
构建可扩展的 Snowflake 数据平台，为 Meltwater 的分析、集成、报告和 AI 应用提供支持。 通过可靠的数据管道连接 Salesforce 与 AWS 数据。
描述
- 设计并维护可扩展的 Snowflake 数据解决方案。
- 创建数据库、架构、表、视图、安全视图、暂存区及其他 Snowflake 对象。
- 使用 SQL 和 Snowpark 开发可用于生产环境的数据转换。
- 实施 Snowflake Streams、Tasks、Dynamic Tables、Snowpipe、增量处理和变更数据捕获。
- 优化查询、虚拟仓库、聚类、存储、计算资源使用和平台成本。
- 设置安全的数据共享和访问控制。
- 为结构化和半结构化数据构建可靠的 ETL/ELT 管道。
- 开发批处理、增量、近实时和事件驱动的数据摄取管道。
- 连接来自 Salesforce、REST API、SaaS 应用、AWS、数据库和文件的数据。
- 创建可复用的数据摄取和转换框架。
- 管理架构变更、延迟到达的数据、重试、重放、对账以及源到目标的数据完整性。
- 构建可处理依赖关系和故障的编排工作流。
- 设计维度模型、事实表和维度表、数据集市、精选数据集及企业数据模型。
- 定义一致的核心业务实体和指标。
- 为分析、报告、运营应用和 AI 工作负载创建数据层。
- 开发 Salesforce 数据摄取及增量或 CDC 同步管道，将数据导入 Snowflake。
- 使用 S3、Lambda、SQS、SNS、EventBridge 和相关服务构建 AWS 数据管道。
- 保障数据传输和文件摄取安全，包括暂存、归档、IAM、加密、密钥和访问控制。
- 自动执行数据质量检查、测试、监控、日志记录、指标采集、告警和运维仪表板。
- 调查并解决生产数据事件，追踪其上游和下游影响。
- 编写整洁、可复用、可测试且易于维护的代码。
- 参与架构评审和代码评审。
- 维护技术文档、数据映射和运行手册。
- 参与 CI/CD 和自动化部署实践。
- 指导数据工程师并协助制定工程标准。
任职要求
- 至少 5 年数据工程经验。
- 至少 3 年 Snowflake 实际操作经验。
- 具备高级 SQL 技能，包括复杂转换和查询优化。
- 具备扎实的 Python 技能，可用于数据处理、自动化和 API 集成。
- 有构建生产级 ETL/ELT 管道的经验。
- 有将 Snowflake 与 AWS 集成的经验。
- 有从 Salesforce 或类似企业 SaaS 平台摄取数据的经验。
- 深入理解维度建模和现代数据架构。
- 有增量处理、CDC 和数据对账经验。
- 有实施数据质量和监控框架的经验。
- 有使用 Git、CI/CD 并遵循软件工程最佳实践的经验。
- 有 Snowpark 使用经验。
- 有 Snowflake Cortex 使用经验。
- 有 Streams、Tasks、Dynamic Tables、Snowpipe 和安全数据共享的经验。
- 有 Salesforce Bulk API、CDC 和 Platform Events 的经验。
- 有 AWS Lambda、S3、SQS、SNS、EventBridge 和 Glue 的经验。
- 有 dbt 或类似数据转换框架的经验。
- 有 Airflow、Dagster、Prefect 或类似编排平台的经验。
- 有 Terraform 或基础设施即代码经验。
- 有使用 Snowflake 支持 AI/ML 和 RAG 工作负载的经验。
- 持有 Snowflake 认证者优先。
福利待遇
- 灵活的带薪休假。
- 全面的健康保险。
- 员工援助计划涵盖心理健康、法律、财务、健康和行为方面的需求。
- 为员工及其亲友提供免费的 CalmApp 订阅。
- 混合办公安排。
- 家庭假期时长随任职年限增加。
- 包容的社群。
- 持续的职业发展机会。