NVIDIA utvecklar tekniker för accelererad databehandling och artificiell intelligens som används inom spel, datacenter, molnbaserad databehandling, sjukvård, tillverkning, fordonsindustrin och robotik. Företagets arbete omfattar grafikprocessorer, AI-plattformar, simulering och branschspecifika lösningar, däribland NVIDIA Omniverse för samarbetsinriktade 3D-arbetsflöden, NVIDIA DRIVE för utveckling av autonoma fordon och NVIDIA Clara för tillämpningar inom sjukvården. Företaget samlar stora tekniska team som arbetar med den infrastruktur och programvara som stöder avancerad databehandling, simulering och AI-baserad analys.
Senior mjukvaruingenjör inom djupinlärning och inferens
Bygg och finjustera GPU-accelererad programvara för AI-inferens i stor skala hos NVIDIA. Förbättra ramverk med öppen källkod för modellservering och modellprestanda på NVIDIAs acceleratorer.
Beskrivning
- Bygg och optimera GPU-accelererad programvara för AI-tillämpningar.
- Utveckla och underhåll ramverk med öppen källkod för storskalig modellservering och inferens.
- Förbättra inferensplattformar och stödja driftsättning och servering av språkmodeller.
- Implementera nya algoritmer för distribution via inferensramverk.
- Driv prestandaförbättringar för avancerade LLM- och generativa AI-modeller på NVIDIAs acceleratorer.
- Använd verktyg som CUTLASS, OAI Triton, NCCL och CUDA-kärnor för att optimera pipelines för modellservering.
- Analysera och finjustera djupinlärningsmodeller inom LLM, multimodal AI och generativ AI.
- Skala modellprestanda över arkitekturer och olika typer av NVIDIA-acceleratorer.
- Bidra med funktioner och kod till NVIDIAs inferensbibliotek, vLLM, SGLang, FlashInfer och LLM-programvara.
- Samarbeta med team inom ramverk, NVIDIAs bibliotek och lösningar för inferensoptimering.
Krav
- Masterexamen, doktorsexamen eller motsvarande erfarenhet inom ett relevant område, till exempel datateknik, datavetenskap, EECS eller AI.
- Minst fem års relevant erfarenhet av programvaruutveckling.
- Goda kunskaper i C/C++-programmering och programvarudesign.
- Erfarenhet av agil programvaruutveckling är meriterande.
- Erfarenhet av Python är meriterande.
- Erfarenhet från produktion av träning, driftsättning eller optimering av inferens för djupinlärningsmodeller är meriterande.
- Erfarenhet av prestandamodellering, profilering, felsökning och kodoptimering, eller kunskap om CPU- och GPU-arkitektur, är meriterande.
- Erfarenhet av GPU-programmering med CUDA, OAI Triton eller CUTLASS är meriterande.
- Erfarenhet av att bidra till programvaruprojekt inom djupinlärning, till exempel PyTorch, vLLM eller SGLang.
- Erfarenhet av kommunikation mellan flera GPU:er, inklusive NCCL eller NVSHMEM.
Förmåner
- Omfattande förmånspaket.
- Aktier.