高级数据工程师(中班,菲律宾,远程)
为 Shore360 构建 AWS 和 Snowflake 数据平台。Shore360 是一家澳大利亚持有的菲律宾人力与行政支持公司。 开发可靠的数据管道、API 和数据质量控制措施。
描述
- 使用 AWS 和 Snowflake 构建并优化用于数据摄取、转换和交付的生产级数据管道。
- 实施变更数据捕获(CDC)管道,并管理应用数据库和外部数据源的架构变更。
- 维护工作流编排,包括错误处理、重试、监控、告警和运维文档。
- 设置自动化数据质量检查和控制措施。
- 设计并维护奖牌架构中的青铜、白银和黄金层。
- 改进 AWS 和 Snowflake 中的存储、分区、查询性能及云资源使用。
- 为内部和外部用户开发安全、带版本管理的 API 和数据馈送。
- 参与 CI/CD 管道、Terraform 基础设施即代码和环境管理。
- 通过数据沿袭、访问控制、责任归属和业务术语表支持数据目录。
- 与数据架构师及相关方合作,落实平台标准并满足数据使用需求。
- 维护技术文档、数据流记录和运维手册。
- 负责任地使用 AI 辅助开发工具来提升效率、代码质量和交付能力,同时保护敏感信息。
任职要求
- 计算机科学、工程、信息技术或相关领域的学位,或同等实践经验。
- 通常具有五年或以上数据工程经验,或能够证明具备交付可靠生产级云数据解决方案的经验。
- 具备扎实的 Python 和 SQL 技能,用于数据工程和转换。
- 具有 AWS 服务的实践经验,尤其是 S3、DMS、Lambda 和 Step Functions。
- 具备 Snowflake 实际经验,包括 SQL、Python、Tasks、基于角色的访问控制、数据编目和数据质量管理。
- 具有实施 CDC 管道和管理架构变更的经验。
- 具有创建自动化数据质量检查和控制措施的经验。
- 熟悉奖牌架构和维度数据建模。
- 了解 API 开发以及使用 API Gateway、Lambda 和 REST API 安全交付数据。
- 熟悉 CI/CD、Terraform、Git 和 CloudWatch。
- 具有使用 AI 辅助工程工具的经验,包括验证生成内容和保护敏感数据。
- 善于解决问题,注重细节,并专注于构建可靠、可扩展的数据解决方案。
- 英语书面和口语能力出色,能够清晰地进行异步沟通,并能在分布式团队中协作。
- 深入了解数据隐私、安全和治理,尤其是金融服务领域。
- 优先考虑:具有金融服务或投资管理经验,尤其是资产管理公司、基金或投资数据相关经验。
- 优先考虑:有远程或分布式团队工作经验。
- 优先考虑:具有在 Snowflake 中使用分析或 AI 辅助解决方案的经验。
- 熟悉 Microsoft 365、Salesforce、eVestment、FactSet、Preqin、Windows 和 Linux。
福利待遇
- 入职首日起提供 HMO 医疗保障。
- 每个班次均可无限量享用咖啡师现制咖啡。
- 提供免费停车和班车服务。
- 设有高端游戏休闲区,可供休息和娱乐。
- 设有摄影、舞蹈、健身、读书和音乐社团。
- 每月举办团队活动、庆祝活动,并提供奖品和奖励。
- 推荐新人才加入团队可获得推荐奖励。
- 法定福利包括产假、陪产假和单亲家长假、《妇女大宪章》相关福利、加班费及特殊时段工资。
- 提供青铜级员工推荐奖励。
相关职位
未找到职位
尝试调整或清除筛选条件,以查看更多机会。
