D
Defcon AI utvecklar AI-drivna programvarulösningar för logistik, transporter och försörjningskedjor. Tekniken kombinerar programvarumodellering och intelligenta agenter för att hjälpa organisationer att planera och hantera störningar orsakade av naturkatastrofer, oförutsedda händelser och omstridda förhållanden. Företaget verkar i skärningspunkten mellan artificiell intelligens, mobilitet och logistik och samarbetar med partner för att leverera datadrivna verktyg som är utformade för att förbättra operativ motståndskraft, beslutsfattande och effektiviteten i insatser.
Ingenjör för modelltestning och mätning – distansarbete i USA
Defcon AI söker en ingenjör för modelltestning och mätning som självständigt validerar AI-system. Rollen omfattar utveckling av facitdata, modellgranskningar, mätning av arbetsflöden och underlag för ansvarsfulla lanseringsbeslut.
Beskrivning
- Bygg märkta facitdata för modelutvärdering
- Planera och genomför stickprovskontroller
- Villkora lanseringar per modellversion och samtidigt underhålla versionsregister, utvärderingsdokumentation och återställningstriggers
- Granska modellavvikelser och aktivitet kring manuella överskrivningar
- Ta fram underlag om mänsklig tillsyn, rättvisa och oproportionerliga effekter
- Förbli oberoende av modellutvecklingsteamen och leverera utvärderingsunderlag utan att bygga modeller, fastställa tröskelvärden eller godkänna lanseringar baserat på underlaget
- Mät förbättringar i arbetsflöden genom granskningstid, genomströmning, förändringar i ärendebalansen, andel manuella överskrivningar och andel omarbetningar
- Etablera kvalitetskontroller i utvärderingsfasen för urval av stickprov, granskningsenheter och rättvisa jämförelser mellan metoder eller sökta källor
- Specificera vilka mätningar som krävs från andra team och verifiera att granskningsarbetsytan registrerar arbetsflödeshändelser från första användningen
- Samarbeta med datavetare, AI-ingenjörer och teknisk ledning
- Stöd lanseringsbeslut, förbättringsinitiativ och kundutvärderingar genom oberoende bedömningar
Krav
- Minst 5 års erfarenhet av modellvalidering som ett definierat ansvarsområde
- Praktisk erfarenhet av att bygga facitdata och utforma urvalsmetoder
- Goda kunskaper i Python och SQL
- Förmåga att arbeta självständigt från de team vars modeller du utvärderar
- Amerikanskt medborgarskap krävs
- Aktiv amerikansk Secret-behörighet
- Villighet att uppfylla förhöjda personalsäkerhetskrav för delar av arbetet, enligt vad som diskuteras under urvalsprocessen
- Bakgrund inom modellrisk i reglerade branscher eller offentlig sektor
- Erfarenhet av att testa rättvisa och oproportionerliga effekter samt dokumentera mänsklig tillsyn
- Kännedom om NIST:s ramverk för AI-riskhantering eller en jämförbar metod
- Aktiv Top Secret-behörighet
Förmåner
- Konkurrenskraftig lön med bonus och aktieprogram
- Helt distansbaserad, resultatinriktad arbetsmiljö
- Arbetsgivarbetald sjuk-, tand- och synförsäkring för dig och din familj
- Obegränsad betald ledighet med godkännande från chef
- Flexibel schemaläggning med självständighet över arbetsdagen
- 14 veckors fullt betald föräldraledighet
- Enstaka resor till DEFCON AI:s huvudkontor, kundplatser och partneranläggningar vid behov