Research Engineer: algoritmen voor LLM-inferentiehardware
Ontwikkel algoritmen voor LLM-inferentie op de in-memory AI-hardware van Normal Computing. Werk samen met hardware- en architectuurteams aan numerieke methoden, benchmarks en prototypes.
Beschrijving
- Ontwikkel algoritmen voor LLM-inferentieworkloads op in-memoryhardware.
- Werk samen met hardware- en architectuurteams aan het gezamenlijk ontwerpen van software en hardware.
- Ontwikkel numerieke methoden die thermische ruis en analoge dynamiek benutten.
- Bouw evaluatiekaders en benchmarks voor simulaties en fysieke hardware.
- Vertaal inzichten in modelworkloads naar randvoorwaarden en kansen voor hardwareontwerp.
- Maak prototypes en verfijn algoritmen terwijl de hardware zich ontwikkelt van simulatie tot silicium.
- Verbeter de prestaties op zowel gate- als algoritmeniveau.
- Test algoritmen met simulators, FPGA-prototypes en silicium zodra dit beschikbaar is.
Vereisten
- Grondige kennis van inferentie voor grote modellen, waaronder attentionmechanismen, KV-cache, decoding met lange context en beperkingen van geheugenbandbreedte.
- Ervaring met het verbeteren van inferentie via technieken zoals kwantisatie, sparsity, kernel fusion of geheugenefficiënte attention.
- Bekendheid met stochastische systemen, probabilistische methoden, numerieke analyse of analoge berekeningen.
- Ervaring met het implementeren van algoritmen dicht bij de hardware, in plaats van uitsluitend te vertrouwen op high-level frameworks.
- In staat om nieuwe computerplatforms vanuit eerste principes te beoordelen.
- Aantoonbaar vermogen om ideeën van theorie tot implementatie op echte hardware te brengen.
- Sterke Python-vaardigheden en beheersing van ten minste één systeemprogrammeertaal.
- Vermogen om samen te werken met hardware-, architectuur- en softwareteams.
- Een PhD in machine learning, toegepaste wiskunde, natuurkunde, elektrotechniek of een verwant vakgebied is een pré.
- Ervaring met analoge of mixed-signalsystemen, in-memorycomputing of niet-von-Neumannarchitecturen is een pré.
- Ervaring met hardware die nog in ontwikkeling was toen je in dienst trad, is een pré.
- Publicaties of open-sourcebijdragen op het gebied van efficiënte inferentie, stochastische algoritmen of vernieuwende computertechnologie zijn een pré.
Voordelen
- Een inclusieve werkplek met aandacht voor diversiteit.
- Redelijke aanpassingen voor mensen met een beperking.
- Bescherming tegen discriminatie bij gelijke kansen op werk.
Gerelateerde vacatures
Geen vacatures gevonden
Pas je filters aan of wis ze om meer mogelijkheden te vinden.