ProArch
ProArch
A ProArch é uma empresa de consultoria em tecnologia e engenharia digital que ajuda organizações a modernizar suas operações, gerenciar a infraestrutura em nuvem, utilizar dados e inteligência artificial e fortalecer a cibersegurança. Seus serviços abrangem desenvolvimento de software, consultoria em IA, garantia de qualidade, gestão de infraestrutura, governança, riscos e conformidade, além de tecnologia operacional. Como Microsoft Gold Partner, a ProArch desenvolve soluções tecnológicas personalizadas para setores como consultoria, saúde, manufatura, cooperativas de crédito e geração de energia, conectando a estratégia de tecnologia a objetivos empresariais práticos.

Testador de Pipelines de Dados do AWS Glue (Contrato Híbrido, Índia)

Teste pipelines de dados do AWS Glue e integrações de processamento de arquivos quanto à qualidade, conciliação, resiliência, segurança e prontidão operacional. A função abrange a validação de workflows da AWS, monitoramento, recuperação e testes de ponta a ponta.

Descrição

  • Estabelecer e verificar regras de qualidade de dados quanto à completude, precisão, consistência, validade, unicidade, pontualidade, integridade referencial, conformidade com regras de negócio e consistência de esquema ou metadados.
  • Executar testes funcionais nos componentes dos pipelines de dados.
  • Realizar testes de integração de ponta a ponta.
  • Validar os dados processados em relação aos resultados esperados.
  • Conciliar os dados de origem e destino para identificar discrepâncias.
  • Executar testes em paralelo com interfaces legadas.
  • Realizar testes de regressão após alterações.
  • Testar integrações no nível do sistema entre componentes conectados.
  • Auxiliar nos testes de aceitação do usuário.
  • Testar entradas inválidas e condições de falha previstas.
  • Avaliar o tratamento de exceções e os caminhos de erro.
  • Medir o desempenho sob cargas de trabalho esperadas e de alto volume.
  • Avaliar a escalabilidade dos pipelines.
  • Verificar procedimentos de reinicialização e recuperação.
  • Testar o comportamento de failover e a resiliência do sistema.
  • Validar controles de segurança e permissões de acesso.
  • Realizar testes rápidos em produção.
  • Verificar processos operacionais e a cobertura de monitoramento.

Requisitos

  • Experiência prática com AWS Glue Jobs.
  • Experiência prática com AWS Glue Workflows.
  • Experiência trabalhando com Amazon S3.
  • Experiência trabalhando com Amazon CloudWatch.
  • Experiência trabalhando com AWS IAM.
  • Experiência trabalhando com Amazon EventBridge.
  • Experiência trabalhando com AWS Lambda.
  • Experiência trabalhando com Amazon SNS.
  • Experiência trabalhando com Amazon SQS.
  • Experiência trabalhando com AWS Secrets Manager.
  • Experiência trabalhando com AWS Step Functions.
  • Experiência trabalhando com AWS KMS.
  • Capacidade de inspecionar configurações do AWS Console, parâmetros de jobs, logs, métricas e histórico de execução.
  • Experiência testando pipelines de dados e interfaces de processamento de arquivos.
  • Forte conhecimento de processamento de arquivos de dados de entrada e saída e de workflows de pipelines.
  • Experiência testando transferências de arquivos de entrada e saída por S3, SFTP/FTPS, AWS Transfer Family, APIs e endpoints de parceiros externos, incluindo autenticação, conectividade, tentativas novamente, tempos limite e verificação de entrega.