Cerebras hutengeneza maunzi ya AI ya kiwango cha wafer na programu iliyounganishwa kwa ajili ya mafunzo na uendeshaji wa modeli zenye utendaji wa juu. Wafer-Scale Engine yake inaendesha mfumo wa CS-3 na Cerebras Inference Cloud, unaounga mkono mtiririko wa kazi unaooana na OpenAI API pamoja na usambazaji katika mazingira ya ndani ya kampuni, wingu na edge. Jukwaa la kampuni limeundwa kwa matumizi kama vile utoaji wa modeli, fine-tuning, mafunzo ya awali, mawakala wa AI wa wakati halisi, jenomiki, ugunduzi wa dawa, usalama wa mtandao na utafutaji wa biashara. Cerebras huunganisha chipu, mifumo na programu maalumu kwa mashirika yanayounda na kuendesha mizigo mizito ya kazi ya akili bandia, ikiwa na timu ya wafanyakazi 501–1,000.
Mhandisi wa Kujifunza kwa Mashine, Uanzishaji wa Miundo
Leta miundo ya transformer kwenye maunzi ya viongeza kasi vya AI ya Cerebras na uboreshe utendaji wa inference. Tengeneza njia za compiler za MLIR huku ukiimarisha usahihi wa modeli, latency, throughput, na ufanisi wa kumbukumbu.
Maelezo
- Leta miundo mipya katika uzalishaji kwa kuchanganua usanifu, kubadilisha uzani, kutekeleza njia za uendeshaji, na kuthibitisha matokeo dhidi ya utekelezaji wa marejeo.
- Shusha miundo kwenye maunzi ya Cerebras kwa kutumia lahaja za MLIR, mabadiliko ya grafu, pass za lowering, na upangaji mahususi wa maunzi.
- Wezesha attention, kuzidisha matriki, urekebishaji, embedding za nafasi, na waendeshaji wengine kupitia uundaji wa compiler na kernel.
- Boresha uunganishaji wa waendeshaji, mpangilio wa tensor, tiling, ugawaji wa kumbukumbu, usogezaji wa data, na uendeshaji sambamba.
- Boresha utendaji wa prefill na decode kwa kurekebisha usimamizi wa KV-cache, batching, na quantization ili kuboresha latency, throughput, na matumizi ya kumbukumbu.
- Changanua tofauti za nambari na tathmini jinsi mabadiliko ya precision na uboreshaji wa compiler yanavyoathiri usahihi.
- Tumia profilers, athari za uendeshaji, na vihesabu vya maunzi kutambua vikwazo vya compute, kumbukumbu, mawasiliano, na runtime.
- Shirikiana na timu za maunzi, compiler, kernel, na runtime ili kutoa usaidizi wa kuaminika wa modeli na vipimo vya utendaji vinavyoweza kurudiwa.
Mahitaji
- Uwezo mzuri wa kupanga programu kwa C++ na Python.
- Uzoefu wa vitendo wa kuanzisha na kutatua hitilafu za miundo ya kujifunza kwa mashine katika PyTorch au mfumo unaolingana.
- Uzoefu wa kivitendo wa MLIR, ikijumuisha lahaja, mifumo ya rewrite, pass za mabadiliko, na mabomba ya lowering.
- Ujuzi wa misingi ya compiler, ikijumuisha uwakilishi wa kati, uchanganuzi wa mtiririko wa data, na uzalishaji wa msimbo.
- Uelewa wa usanifu wa transformer, mifumo ya attention, utendakazi wa tensor, na precision ya nambari.
- Uzoefu wa kupima na kuboresha mzigo wa kazi kwenye GPU au viongeza kasi vingine vya AI.
- Uwezo wa kutambua matatizo ya usahihi na utendaji katika msimbo wa modeli, matokeo ya compiler, kernel, na utekelezaji wa runtime.
- Uzoefu wa inference ya large language model, ikijumuisha GQA, sliding-window attention, mixture-of-experts, KV caching, na speculative decoding.
- Uzoefu wa FP16, BF16, FP8, au quantization ya bit chache pamoja na mabadilishano yake ya usahihi na utendaji.
- Msingi wa kuunda accelerator kernel au backend ya compiler mahususi kwa maunzi.
- Uzoefu na utekelezaji uliosambazwa, model parallelism, na ngazi za kumbukumbu za accelerator.
- Mchango katika MLIR, LLVM, mifumo ya inference, au miradi inayohusiana ya open source.
Manufaa
- Ajira thabiti katika mazingira yenye kasi ya startup.
- Fursa za kuchapisha na kuweka wazi utafiti wa hali ya juu wa AI.
- Kufanya kazi na mojawapo ya supercomputer za AI zenye kasi zaidi duniani.
- Utamaduni wa moja kwa moja usio wa kikampuni unaoheshimu imani za mtu binafsi.
- Kujifunza kwa kuendelea, ukuaji wa kitaaluma, na usaidizi.
- Mahali pa kazi penye usawa na utofauti.