D
A Defcon AI desenvolve software baseado em inteligência artificial para operações de logística, transporte e cadeia de suprimentos. Sua tecnologia combina modelagem de software e agentes inteligentes para ajudar organizações a planejar e responder a interrupções causadas por desastres naturais, eventos inesperados e cenários de conflito. Atuando na interseção entre inteligência artificial, mobilidade e logística, a empresa colabora com parceiros para oferecer ferramentas orientadas por dados, projetadas para melhorar a resiliência operacional, a tomada de decisões e a eficiência da resposta.
Engenheiro de Testes e Medição de Modelos – Trabalho Remoto nos Estados Unidos
A Defcon AI busca um engenheiro de testes e medição de modelos para validar sistemas de IA de forma independente. A função abrange o desenvolvimento de dados de referência, auditorias de modelos, medição de fluxos de trabalho e evidências para decisões responsáveis de lançamento.
Estados Unidos$ 150.000 – $ 190.000 / ano
RemotoTempo integralPlenoSêniorIdioma Obrigatório: inglêsEngenheiroDescrição
- Construir dados de referência rotulados para a avaliação de modelos
- Planejar e conduzir auditorias por amostragem
- Controlar lançamentos por versão do modelo, mantendo inventários de versões, registros de avaliação e gatilhos de reversão
- Revisar a deriva dos modelos e a atividade de substituição manual
- Desenvolver evidências sobre supervisão humana, equidade e efeitos díspares
- Manter independência em relação às equipes que desenvolvem modelos e fornecer evidências de avaliação sem construir modelos, definir limiares ou aprovar lançamentos com base nessas evidências
- Medir melhorias no fluxo de trabalho por meio do tempo de revisão, produtividade, movimentação do backlog, taxas de substituição manual e taxas de retrabalho
- Estabelecer controles de qualidade na etapa de avaliação para seleção de amostras, unidades de revisão e comparações justas entre métodos ou fontes pesquisadas
- Especificar os eventos de medição exigidos de outras equipes e verificar se o espaço de trabalho de revisão registra os eventos do fluxo de trabalho desde o uso inicial
- Colaborar com cientistas de dados, engenheiros de IA e a liderança técnica
- Apoiar decisões de lançamento, iniciativas de melhoria e avaliações de clientes por meio de avaliações independentes
Requisitos
- Pelo menos 5 anos de experiência com validação de modelos como responsabilidade definida
- Experiência prática na construção de dados de referência e no desenvolvimento de abordagens de amostragem
- Sólidos conhecimentos de Python e SQL
- Capacidade de trabalhar de forma independente das equipes cujos modelos você avalia
- É necessário ter cidadania dos Estados Unidos
- Autorização de segurança ativa dos Estados Unidos no nível Secret
- Disponibilidade para atender a requisitos elevados de segurança pessoal em parte do trabalho, conforme discutido durante a seleção
- Experiência com risco de modelos em setores regulamentados ou no governo
- Experiência em testar equidade e efeitos díspares e documentar supervisão humana
- Familiaridade com o NIST AI Risk Management Framework ou uma prática comparável
- Autorização de segurança ativa no nível Top Secret
Benefícios
- Salário competitivo com bônus e participação acionária
- Ambiente de trabalho totalmente remoto e orientado a resultados
- Cobertura médica, odontológica e oftalmológica paga pelo empregador para você e sua família
- Tempo ilimitado de folga remunerada, mediante aprovação do gestor
- Horário flexível com autonomia sobre sua jornada de trabalho
- 14 semanas de licença parental totalmente remunerada
- Viagens ocasionais à sede da DEFCON AI, às instalações de clientes e às de parceiros, conforme necessário