„Cerebras“ kuria vaflio masto dirbtinio intelekto aparatinę įrangą ir integruotą programinę įrangą didelio našumo modelių mokymui bei išvadoms. Jos „Wafer-Scale Engine“ procesorius yra CS-3 sistemos ir „Cerebras Inference Cloud“ pagrindas. Ši debesijos paslauga palaiko su „OpenAI API“ suderinamas darbo eigas ir diegimą vietinėse, debesijos bei kraštinėse aplinkose. Įmonės platforma skirta tokioms taikymo sritims kaip modelių pateikimas, tikslinimas, išankstinis mokymas, realiojo laiko DI agentai, genomika, vaistų kūrimas, kibernetinis saugumas ir įmonių paieška. „Cerebras“ sujungia specializuotus lustus, sistemas ir programinę įrangą organizacijoms, kuriančioms ir valdančioms sudėtingus dirbtinio intelekto darbo krūvius. Įmonėje dirba 501–1 000 darbuotojų.
Mašininio mokymosi inžinierius, modelių parengimas
Perkelsite transformerių modelius į „Cerebras“ DI spartintuvų aparatinę įrangą ir optimizuosite jų išvadų vykdymą. Kursite MLIR kompiliatoriaus kelius, gerindami modelių korektiškumą, delsą, pralaidumą ir atminties naudojimo efektyvumą.
Aprašymas
- Parengsite naujus modelius naudoti gamyboje: analizuosite architektūras, konvertuosite svorius, įgyvendinsite vykdymo kelius ir tikrinsite rezultatus pagal etalonines realizacijas.
- Modelius pritaikysite „Cerebras“ aparatinei įrangai naudodami MLIR dialektus, grafų transformacijas, lowering etapus ir aparatinės įrangos specifinius susiejimus.
- Kompiliatoriaus ir branduolių kūrimo būdu palaikysite dėmesio mechanizmus, matricų daugybą, normalizavimą, pozicinius įterpinius ir kitus operatorius.
- Optimizuosite operatorių suliejimą, tenzorų išdėstymą, skaidymą į blokus, atminties paskirstymą, duomenų judėjimą ir lygiagretų vykdymą.
- Gerinsite prefill ir decode našumą derindami KV podėlio valdymą, paketų apdorojimą ir kvantavimą, kad sumažintumėte delsą, padidintumėte pralaidumą ir efektyviau naudotumėte atmintį.
- Analizuosite skaitinius neatitikimus ir vertinsite, kaip tikslumo pokyčiai bei kompiliatoriaus optimizacijos veikia tikslumą.
- Naudosite profiliavimo įrankius, vykdymo pėdsakus ir aparatinės įrangos skaitiklius, kad nustatytumėte skaičiavimo, atminties, ryšio ir vykdymo trukmės našumo ribojimus.
- Bendradarbiausite su aparatinės įrangos, kompiliatoriaus, branduolių ir vykdymo aplinkos komandomis, kad užtikrintumėte patikimą modelių palaikymą ir atkuriamus našumo matavimus.
Reikalavimai
- Puikiai programuojate C++ ir Python.
- Turite praktinės mašininio mokymosi modelių parengimo ir derinimo naudojant PyTorch ar panašią sistemą patirties.
- Turite praktinės MLIR patirties dirbant su dialektais, perrašymo šablonais, transformacijų etapais ir lowering konvejeriais.
- Išmanote kompiliatorių pagrindus, įskaitant tarpines reprezentacijas, duomenų srauto analizę ir kodo generavimą.
- Suprantate transformerių architektūras, dėmesio mechanizmus, tenzorų operacijas ir skaitinį tikslumą.
- Turite darbo krūvių profiliavimo ir optimizavimo GPU arba kituose DI spartintuvuose patirties.
- Gebate diagnozuoti korektiškumo ir našumo problemas modelio kodo, kompiliatoriaus išvesties, branduolių ir vykdymo aplinkos lygmenyse.
- Turite didelių kalbos modelių išvadų vykdymo patirties, įskaitant GQA, sliding-window attention, mixture-of-experts, KV podėlio ir spekuliatyvaus dekodavimo naudojimą.
- Turite FP16, BF16, FP8 arba mažo bitų skaičiaus kvantavimo bei su juo susijusių tikslumo ir našumo kompromisų patirties.
- Turite spartintuvų branduolių arba konkrečiai aparatinei įrangai skirtų kompiliatoriaus posistemių kūrimo patirties.
- Išmanote paskirstytą vykdymą, modelių lygiagretinimą ir spartintuvų atminties hierarchijas.
- Esate prisidėję prie MLIR, LLVM, išvadų vykdymo sistemų ar susijusių atvirojo kodo projektų.
Privalumai
- Stabilus darbas sparčiu startuolišku tempu veikiančioje aplinkoje.
- Galimybės skelbti ir atviruoju kodu dalytis pažangiais DI tyrimais.
- Dirbsite su vienu greičiausių pasaulyje DI superkompiuterių.
- Paprasta, nekorporatyvinė kultūra, gerbianti individualius įsitikinimus.
- Nuolatinis mokymasis, profesinis augimas ir palaikymas.
- Teisinga ir įvairi darbo aplinka.