远程数据架构师(Informatica IDMC)— Capco,巴西
负责设计 ETL/ELT 管道和 IDMC/CDI 集成的远程数据架构师。 Capco 是一家服务于金融服务和能源行业的全球技术与业务咨询公司。
描述
- 设计并持续改进 Informatica IDMC/CDI 集成解决方案
- 为企业和云环境构建可扩展的 ETL/ELT 管道
- 制定开发、架构、命名、参数化和可复用组件标准
- 创建并审查映射、任务、任务流和集成框架
- 制定批量、增量、CDC 和近实时数据摄取策略
- 设计涵盖数据库、API、文件、SaaS 应用、数据仓库、数据湖和湖仓平台的集成方案
- 使用高级 SQL 和 Python 构建并优化解决方案
- 实施并指导性能调优,包括下推优化
- 制定错误处理、日志记录、审计、对账和可观测性标准
- 为数据架构和建模决策提供建议
- 组织 IDMC 解决方案的 CI/CD 工作流和部署策略
- 审查代码并坚持工程标准和最佳实践
- 调查并解决严重的生产问题
- 参与估算、技术规划和实施方案制定
- 将业务和功能需求转化为可扩展的技术解决方案
- 主导与客户、架构师及利益相关方的技术沟通
- 为初级和中级同事提供技术指导与辅导
- 评估 IDMC 新功能,并提出架构和流程改进建议
任职要求
- 具备丰富的 Informatica IDMC/IICS 经验,尤其是 Cloud Data Integration(CDI)
- 具备高级 ETL/ELT 解决方案架构设计与开发经验
- 具备高级 SQL 技能,包括查询优化和大型数据集处理
- 具备扎实的 Python 技能,可用于自动化、集成和数据处理
- 具备数据仓库、数据湖和湖仓架构经验
- 具备云平台经验;优先考虑 Microsoft Azure
- 具备 Databricks、Snowflake 或其他现代数据平台经验
- 具备 REST 和 SOAP API 集成经验
- 了解批量、近实时和事件驱动集成模式
- 具备 Git、CI/CD 和自动化部署经验
- 具备性能调优和复杂管道故障排查经验
- 了解数据安全、治理和质量
- 具备制定开发标准和最佳实践的经验
- 能够提供技术领导和辅导
- 具备良好的客户及利益相关方沟通和关系建立能力
- 能够在高度复杂的环境中独立工作
- 最好拥有至少六年数据集成、ETL/ELT 或数据工程经验,具备经验证的 Informatica IDMC/CDI 专业能力,并交付过中高复杂度解决方案
- 优先考虑具备以下经验或资质:其他 IDMC 模块、从 PowerCenter 迁移至 IDMC、高级 Azure、Snowflake、dbt、Spark/PySpark、Delta Lake、Kafka、Terraform、受监管行业经验、Informatica/Azure/Databricks/Snowflake 认证,以及高级或流利的英语能力
福利待遇
- 包容多元的文化
- 设有内部包容与社会责任委员会,包括面向女性、残障人士、黑人、LGBTQIAPN+ 群体、家长及不同年龄群体的组织
- 机会向所有人开放
- 支持员工的专业成长与职业发展
