Forskningsingenjör inom algoritmer för LLM-inferenshårdvara
Utveckla algoritmer för LLM-inferens på Normal Computings AI-hårdvara med beräkningar i minnet. Samarbeta med hårdvaru- och arkitekturteam för att ta fram numeriska metoder, benchmarktester och prototyper tillsammans.
Beskrivning
- Utveckla algoritmer för LLM-inferensarbetslaster på hårdvara med beräkningar i minnet.
- Samarbeta med hårdvaru- och arkitekturteam kring gemensam utformning av mjukvara och hårdvara.
- Skapa numeriska metoder som använder termiskt brus och analog dynamik.
- Bygga ramverk för utvärdering och benchmarktester för simulering och fysisk hårdvara.
- Omsätta insikter om modellers arbetslaster i begränsningar och möjligheter för hårdvarudesign.
- Ta fram prototyper och förfina algoritmer i takt med att hårdvaran utvecklas från simulering till kisel.
- Förbättra prestanda både på grindnivå och algoritmnivå.
- Testa algoritmer med simulatorer, FPGA-prototyper och kisel när det blir tillgängligt.
Krav
- Goda kunskaper om inferens för stora modeller, inklusive attention-mekanismer, KV-cache, avkodning med lång kontext och begränsningar i minnesbandbredd.
- Erfarenhet av att förbättra inferens med tekniker som kvantisering, gleshet, sammanslagning av kärnor eller minneseffektiv attention.
- Kännedom om stokastiska system, probabilistiska metoder, numerisk analys eller analog beräkning.
- Erfarenhet av att implementera algoritmer nära hårdvaran i stället för att enbart förlita sig på ramverk på hög nivå.
- Förmåga att resonera utifrån grundprinciper kring nya beräkningssubstrat.
- Dokumenterad förmåga att föra idéer från teori till implementering på verklig hårdvara.
- Goda kunskaper i Python och färdigheter i minst ett systemprogrammeringsspråk.
- Förmåga att samarbeta med hårdvaru-, arkitektur- och mjukvaruteam.
- Doktorsexamen inom maskininlärning, tillämpad matematik, fysik, elektroteknik eller ett närliggande område är meriterande.
- Erfarenhet av analoga system eller blandat signalsystem, minnesnära beräkningar eller arkitekturer som inte bygger på von Neumann-principen är meriterande.
- Erfarenhet av att arbeta med hårdvara som fortfarande var under utveckling när du började är meriterande.
- Publikationer eller bidrag till öppen källkod inom effektiv inferens, stokastiska algoritmer eller nya beräkningsmetoder är meriterande.
Förmåner
- En inkluderande arbetsplats med ett engagemang för mångfald.
- Skäliga anpassningar för personer med funktionsnedsättning.
- Skydd enligt principen om lika möjligheter till anställning.
Relaterade jobb
Inga jobb hittades
Prova att justera eller rensa filtren för att hitta fler möjligheter.