Forskningsingeniør innen algoritmer for LLM-inferensmaskinvare
Utvikle algoritmer for LLM-inferens på Normal Computings AI-maskinvare med beregninger i minnet. Samarbeid med maskinvare- og arkitekturteam om å utvikle numeriske metoder, referansetester og prototyper sammen.
Beskrivelse
- Utvikle algoritmer for LLM-inferensarbeidslaster på maskinvare med beregninger i minnet.
- Samarbeide med maskinvare- og arkitekturteam om samskaping av programvare og maskinvare.
- Lage numeriske metoder som utnytter termisk støy og analog dynamikk.
- Bygge rammeverk for evaluering og referansetester for simulering og fysisk maskinvare.
- Omsette innsikt i modellers arbeidslaster til begrensninger og muligheter for maskinvaredesign.
- Lage prototyper og videreutvikle algoritmer etter hvert som maskinvaren går fra simulering til silisium.
- Forbedre ytelsen både på portnivå og algoritmenivå.
- Teste algoritmer med simulatorer, FPGA-prototyper og silisium etter hvert som det blir tilgjengelig.
Krav
- God kunnskap om inferens for store modeller, inkludert attention-mekanismer, KV-cache, dekoding med lang kontekst og begrensninger i minnebåndbredde.
- Erfaring med å forbedre inferens gjennom teknikker som kvantisering, sparsomhet, sammenslåing av kjerner eller minneeffektiv attention.
- Kjennskap til stokastiske systemer, probabilistiske metoder, numerisk analyse eller analog databehandling.
- Erfaring med å implementere algoritmer nær maskinvaren i stedet for å bare bruke rammeverk på høyt nivå.
- Evne til å resonnere ut fra grunnleggende prinsipper om nye beregningssubstrater.
- Dokumentert evne til å ta ideer fra teori til implementering på fysisk maskinvare.
- Gode Python-ferdigheter og kompetanse i minst ett systemprogrammeringsspråk.
- Evne til å samarbeide på tvers av maskinvare-, arkitektur- og programvareteam.
- Doktorgrad i maskinlæring, anvendt matematikk, fysikk, elektroteknikk eller et beslektet fagfelt er en fordel.
- Erfaring med analoge systemer eller blandede signaler, databehandling i minnet eller arkitekturer som ikke følger von Neumann-prinsippet, er en fordel.
- Erfaring med å jobbe med maskinvare som fortsatt var under utvikling da du begynte, er en fordel.
- Publikasjoner eller bidrag til åpen kildekode innen effektiv inferens, stokastiske algoritmer eller nye beregningsmetoder er en fordel.
Fordeler
- En inkluderende arbeidsplass med et engasjement for mangfold.
- Rimelig tilrettelegging for personer med funksjonsnedsettelser.
- Vern gjennom like muligheter for ansettelse.
Relaterte jobber
Ingen jobber funnet
Prøv å justere eller tømme filtrene for å finne flere muligheter.