Cerebras vyvíja hardvér s AI v rozsahu celej waferovej dosky a integrovaný softvér na vysokovýkonné trénovanie a inferenciu modelov. Jeho Wafer-Scale Engine poháňa systém CS-3 a Cerebras Inference Cloud, ktorý podporuje pracovné postupy kompatibilné s OpenAI API a nasadenie v lokálnych, cloudových aj edge prostrediach. Platforma spoločnosti je určená na aplikácie vrátane poskytovania modelov, dolaďovania, predtrénovania, AI agentov v reálnom čase, genomiky, objavovania liekov, kybernetickej bezpečnosti a podnikového vyhľadávania. Cerebras spája špecializované čipy, systémy a softvér pre organizácie, ktoré vytvárajú a prevádzkujú náročné úlohy umelej inteligencie, a má tím 501 až 1 000 zamestnancov.
Inžinier strojového učenia, uvedenie modelov
Uvádzajte transformátorové modely na akcelerátorový hardvér Cerebras AI a optimalizujte výkon ich inferencie. Vyvíjajte kompilátorové cesty MLIR a zároveň zlepšujte správnosť modelov, latenciu, priepustnosť a efektívnosť využitia pamäte.
Popis
- Uvádzajte nové modely do produkcie analýzou architektúr, konverziou váh, implementáciou vykonávacích ciest a overovaním výsledkov oproti referenčným implementáciám.
- Prevádzajte modely na hardvér Cerebras pomocou dialektov MLIR, transformácií grafov, fáz znižovania a mapovaní špecifických pre hardvér.
- Podporujte pozornosť, násobenie matíc, normalizáciu, pozičné vloženia a ďalšie operátory vývojom kompilátora a kernelov.
- Optimalizujte spájanie operátorov, rozloženia tenzorov, tiling, alokáciu pamäte, presun údajov a paralelné vykonávanie.
- Zlepšujte výkon prefill a decode ladením správy KV cache, dávkovania a kvantizácie s cieľom dosiahnuť lepšiu latenciu, priepustnosť a využitie pamäte.
- Analyzujte numerické odchýlky a posudzujte, ako zmeny presnosti a optimalizácie kompilátora ovplyvňujú presnosť.
- Používajte profilery, trasovanie vykonávania a hardvérové počítadlá na lokalizáciu úzkych miest vo výpočtoch, pamäti, komunikácii a behu.
- Spolupracujte s tímami pre hardvér, kompilátor, kernely a runtime na dodaní spoľahlivej podpory modelov a reprodukovateľných benchmarkov výkonu.
Požiadavky
- Pokročilá znalosť programovania v jazykoch C++ a Python.
- Praktické skúsenosti s uvádzaním a ladením modelov strojového učenia v PyTorch alebo porovnateľnom frameworku.
- Praktické skúsenosti s MLIR vrátane dialektov, prepisovacích vzorov, transformačných fáz a konverzných pipeline.
- Znalosť základov kompilátorov vrátane medzireprezentácií, analýzy toku údajov a generovania kódu.
- Porozumenie architektúram transformátorov, mechanizmom pozornosti, tenzorovým operáciám a numerickej presnosti.
- Skúsenosti s profilovaním a optimalizáciou úloh na GPU alebo iných AI akcelerátoroch.
- Schopnosť diagnostikovať problémy správnosti a výkonu v kóde modelu, výstupe kompilátora, kerneloch aj pri vykonávaní runtime.
- Skúsenosti s inferenciou veľkých jazykových modelov vrátane GQA, pozornosti s posuvným oknom, mixture-of-experts, KV cache a špekulatívneho dekódovania.
- Skúsenosti s FP16, BF16, FP8 alebo nízbitovou kvantizáciou a ich kompromismi medzi presnosťou a výkonom.
- Skúsenosti s vývojom akcelerátorových kernelov alebo backendov kompilátorov špecifických pre hardvér.
- Znalosť distribuovaného vykonávania, paralelizmu modelov a hierarchií pamäte akcelerátorov.
- Príspevky do projektov MLIR, LLVM, frameworkov inferencie alebo súvisiacich open-source projektov.
Benefity
- Stabilné zamestnanie v prostredí s tempom startupu.
- Príležitosti publikovať pokročilý výskum v oblasti AI a zverejňovať jeho zdrojový kód.
- Práca s jedným z najrýchlejších superpočítačov pre AI na svete.
- Priama nekorporátna kultúra, ktorá rešpektuje individuálne presvedčenie.
- Neustále vzdelávanie, profesionálny rast a podpora.
- Spravodlivé a rozmanité pracovisko.