A Cerebras lapkaméretű mesterségesintelligencia-hardvert és integrált szoftvert fejleszt nagy teljesítményű modellek tanításához és következtetéséhez. Wafer-Scale Engine technológiája működteti a CS-3 rendszert és a Cerebras Inference Cloudot, amely támogatja az OpenAI API-kompatibilis munkafolyamatokat, valamint a helyszíni, felhőalapú és peremhálózati környezetekben történő üzembe helyezést. A vállalat platformját többek között modellkiszolgálásra, finomhangolásra, előtanításra, valós idejű MI-ügynökökre, genomikára, gyógyszerkutatásra, kiberbiztonságra és vállalati keresésre tervezték. A Cerebras speciális chipeket, rendszereket és szoftvereket egyesít a nagy igényű mesterségesintelligencia-munkaterheléseket létrehozó és működtető szervezetek számára; a vállalat 501–1 000 alkalmazottat foglalkoztat.
Gépi tanulási mérnök, modellindítás
Transzformer modelleket üzemeltessen Cerebras mesterségesintelligencia-gyorsító hardverén, és optimalizálja a következtetési teljesítményüket. Fejlesszen MLIR-fordítói útvonalakat, miközben javítja a modellek helyességét, késleltetését, áteresztőképességét és memóriahatékonyságát.
Leírás
- Hozzon új modelleket éles környezetbe az architektúrák elemzésével, a súlyok konvertálásával, a végrehajtási útvonalak megvalósításával és az eredmények referenciaimplementációkkal való ellenőrzésével.
- Fordítsa le a modelleket Cerebras hardverre MLIR-dialektusokkal, gráfátalakításokkal, alacsonyabb szintre fordító lépésekkel és hardverspecifikus leképezésekkel.
- Támogassa az attentiont, a mátrixszorzást, a normalizálást, a pozicionális beágyazásokat és más operátorokat fordító- és kernelfejlesztéssel.
- Optimalizálja az operátorok összevonását, a tenzorelrendezéseket, a csempézést, a memóriafoglalást, az adatmozgatást és a párhuzamos végrehajtást.
- Javítsa az előfeldolgozás és a dekódolás teljesítményét a KV-gyorsítótár kezelésének, a kötegelt feldolgozásnak és a kvantálásnak a hangolásával a jobb késleltetés, áteresztőképesség és memóriahasználat érdekében.
- Elemezze a numerikus eltéréseket, és értékelje, hogyan hatnak a pontosságra a precízió módosításai és a fordítói optimalizálások.
- Használjon profilozókat, végrehajtási nyomkövetéseket és hardveres számlálókat a számítási, memória-, kommunikációs és futásidejű szűk keresztmetszetek azonosítására.
- Működjön együtt a hardveres, fordítói, kernel- és futásidejű csapatokkal megbízható modell-támogatás és reprodukálható teljesítménytesztek biztosításáért.
Követelmények
- C++ és Python programozási nyelvek magabiztos ismerete.
- Gyakorlati tapasztalat gépi tanulási modellek üzembe állításában és hibakeresésében PyTorchban vagy hasonló keretrendszerben.
- Gyakorlati MLIR-tapasztalat dialektusokkal, átírási mintákkal, transzformációs lépésekkel és alacsonyabb szintre fordító folyamatokkal.
- A fordítók alapjainak ismerete, beleértve a köztes reprezentációkat, az adatfolyam-elemzést és a kódgenerálást.
- A transzformer-architektúrák, az attentionmechanizmusok, a tenzorműveletek és a numerikus precízió ismerete.
- GPU-kon vagy más mesterségesintelligencia-gyorsítókon futó munkaterhelések profilozásában és optimalizálásában szerzett tapasztalat.
- Képesség a modellkód, a fordítói kimenet, a kernelek és a futásidejű végrehajtás közötti helyességi és teljesítményproblémák diagnosztizálására.
- Tapasztalat nagy nyelvi modellek következtetésében, beleértve a GQA-t, a csúszóablakos attentiont, a szakértőkeverékeket, a KV-gyorsítótárazást és a spekulatív dekódolást.
- Tapasztalat az FP16, BF16, FP8 vagy alacsony bitszámú kvantálás használatában, valamint ezek pontossági és teljesítménybeli kompromisszumaival.
- Háttér gyorsítókernelek vagy hardverspecifikus fordítói back-endek fejlesztésében.
- A elosztott végrehajtás, a modellpárhuzamosítás és a gyorsítómemória-hierarchiák ismerete.
- Hozzájárulás MLIR-, LLVM-, következtetési keretrendszer- vagy kapcsolódó nyílt forráskódú projektekhez.
Juttatások
- Stabil foglalkoztatás startuptempójú környezetben.
- Lehetőség fejlett mesterségesintelligencia-kutatások publikálására és nyílt forráskódúvá tételére.
- Munka a világ egyik leggyorsabb mesterségesintelligencia-szuperszámítógépével.
- Közvetlen, nem vállalati kultúra, amely tiszteletben tartja az egyéni meggyőződéseket.
- Folyamatos tanulás, szakmai fejlődés és támogatás.
- Méltányos és sokszínű munkahely.