D
Defcon AI
Defcon AI sviluppa software basato sull’intelligenza artificiale per le operazioni di logistica, trasporto e gestione della catena di approvvigionamento. La sua tecnologia combina la modellazione software e agenti intelligenti per aiutare le organizzazioni a pianificare e rispondere alle interruzioni causate da calamità naturali, eventi imprevisti e situazioni di conflitto. Operando all’intersezione tra intelligenza artificiale, mobilità e logistica, l’azienda collabora con partner per offrire strumenti basati sui dati, progettati per migliorare la resilienza operativa, il processo decisionale e l’efficienza della risposta.

Ingegnere per i test e la misurazione dei modelli – Lavoro da remoto negli Stati Uniti

Defcon AI cerca un ingegnere per i test e la misurazione dei modelli, incaricato di validare i sistemi di IA in modo indipendente. Il ruolo comprende lo sviluppo di dati di riferimento, gli audit dei modelli, la misurazione dei flussi di lavoro e la produzione di evidenze per decisioni responsabili sul rilascio.

Descrizione

  • Creare dati di riferimento etichettati per la valutazione dei modelli
  • Pianificare e condurre audit a campione
  • Gestire i rilasci per versione del modello mantenendo gli inventari delle versioni, i registri di valutazione e i trigger di rollback
  • Esaminare la deriva dei modelli e l’attività di sovrascrittura
  • Sviluppare evidenze sulla supervisione umana, l’equità e gli effetti dispari
  • Mantenere l’indipendenza dai team che costruiscono i modelli e fornire evidenze di valutazione senza costruire modelli, impostare soglie o approvare rilasci sulla base di tali evidenze
  • Misurare i miglioramenti dei flussi di lavoro attraverso il tempo di revisione, la produttività, l’andamento del backlog, i tassi di sovrascrittura e i tassi di rilavorazione
  • Stabilire controlli di qualità nella fase di valutazione per la selezione dei campioni, le unità di revisione e confronti equi tra metodi o fonti consultate
  • Specificare gli eventi di misurazione richiesti agli altri team e verificare che l’area di revisione registri gli eventi del flusso di lavoro fin dal primo utilizzo
  • Collaborare con data scientist, ingegneri di IA e leadership tecnica
  • Supportare le decisioni di rilascio, le iniziative di miglioramento e le valutazioni dei clienti tramite valutazioni indipendenti

Requisiti

  • Almeno 5 anni di esperienza nella validazione dei modelli come responsabilità definita
  • Esperienza pratica nella costruzione di dati di riferimento e nella progettazione di approcci di campionamento
  • Solide competenze in Python e SQL
  • Capacità di lavorare in modo indipendente dai team i cui modelli vengono valutati
  • È richiesta la cittadinanza statunitense
  • Nulla osta di sicurezza statunitense attivo di livello Secret
  • Disponibilità a soddisfare requisiti elevati di sicurezza del personale per una parte del lavoro, come discusso durante la selezione
  • Esperienza nella gestione del rischio dei modelli in settori regolamentati o nel governo
  • Esperienza nel testare l’equità e gli effetti dispari e nel documentare la supervisione umana
  • Familiarità con il NIST AI Risk Management Framework o una pratica comparabile
  • Nulla osta di sicurezza attivo di livello Top Secret

Benefit

  • Stipendio competitivo con bonus e partecipazione azionaria
  • Ambiente di lavoro completamente da remoto e orientato ai risultati
  • Copertura medica, dentistica e oculistica a carico del datore di lavoro per te e la tua famiglia
  • Ferie retribuite illimitate previa approvazione del manager
  • Orario flessibile con autonomia nell’organizzazione della giornata lavorativa
  • 14 settimane di congedo parentale interamente retribuito
  • Viaggi occasionali presso la sede di DEFCON AI, le sedi dei clienti e le strutture dei partner, secondo necessità