Istraživački inženjer za algoritme za hardversku inferenciju LLM-ova
Razvijajte algoritme za inferenciju LLM-ova na memorijskom AI hardveru tvrtke Normal Computing. Surađujte s timovima za hardver i arhitekturu na zajedničkom osmišljavanju numeričkih metoda, mjerila i prototipova.
Opis
- Razvijajte algoritme za inferencijska opterećenja LLM-ova na memorijskom hardveru.
- Surađujte s timovima za hardver i arhitekturu na zajedničkom osmišljavanju softvera i hardvera.
- Izrađujte numeričke metode koje koriste toplinski šum i analognu dinamiku.
- Izradite okvire za evaluaciju i mjerila za simulacije i fizički hardver.
- Pretvorite uvide o opterećenjima modela u ograničenja i mogućnosti za dizajn hardvera.
- Izrađujte prototipove i usavršavajte algoritme kako hardver napreduje od simulacije do silicija.
- Poboljšavajte performanse na razini logičkih vrata i algoritama.
- Testirajte algoritme pomoću simulatora, FPGA prototipova i silicijskih čipova kad postanu dostupni.
Zahtjevi
- Dobro poznavanje inferencije velikih modela, uključujući mehanizme pažnje, KV predmemoriju, dekodiranje dugog konteksta i ograničenja propusnosti memorije.
- Iskustvo s poboljšanjem inferencije tehnikama kao što su kvantizacija, rijetkost, spajanje kernela ili memorijski učinkovita pažnja.
- Poznavanje stohastičkih sustava, probabilističkih metoda, numeričke analize ili analognog računalstva.
- Iskustvo s implementacijom algoritama blizu hardvera, a ne oslanjanjem isključivo na okvire visoke razine.
- Sposobnost zaključivanja o novim računalnim platformama polazeći od prvih načela.
- Dokazana sposobnost pretvaranja ideja iz teorije u implementaciju na stvarnom hardveru.
- Napredno poznavanje Pythona i iskustvo u barem jednom programskom jeziku za sistemsko programiranje.
- Sposobnost suradnje s timovima za hardver, arhitekturu i softver.
- Doktorat iz strojnog učenja, primijenjene matematike, fizike, elektrotehnike ili srodnog područja prednost je.
- Iskustvo s analognim ili mješovitim signalnim sustavima, računalstvom u memoriji ili arhitekturama koje nisu von Neumannove prednost je.
- Iskustvo rada na hardveru koji se još razvijao u trenutku vašeg dolaska prednost je.
- Publikacije ili doprinosi projektima otvorenog koda u području učinkovite inferencije, stohastičkih algoritama ili novih načina računalstva prednost su.
Pogodnosti
- Inkluzivno radno okruženje posvećeno raznolikosti.
- Razumne prilagodbe za osobe s invaliditetom.
- Zaštita jednakih mogućnosti pri zapošljavanju.
Povezani poslovi
Nema pronađenih poslova
Pokušajte prilagoditi ili očistiti filtre kako biste pronašli više prilika.