Cerebras kehittää wafer-asteikon tekoälylaitteistoja ja integroitua ohjelmistoa suorituskykyiseen mallien koulutukseen ja päättelyyn. Sen Wafer-Scale Engine -prosessori toimii CS-3-järjestelmän ja Cerebras Inference Cloud -palvelun perustana. Palvelu tukee OpenAI API -yhteensopivia työnkulkuja ja käyttöönottoa paikallisissa ympäristöissä, pilvessä ja reunalaskentaympäristöissä. Yrityksen alusta on suunniteltu muun muassa mallien tarjoiluun, hienosäätöön, esikoulutukseen, reaaliaikaisiin tekoälyagentteihin, genomiikkaan, lääkekehitykseen, kyberturvallisuuteen ja yrityshakuun. Cerebras yhdistää erikoistuneet sirut, järjestelmät ja ohjelmistot organisaatioille, jotka rakentavat ja käyttävät vaativia tekoälykuormia. Yrityksessä työskentelee 501–1 000 työntekijää.
Koneoppimisinsinööri, mallien käyttöönotto
Tuot Cerebrasin tekoälykiihdyttimille transformer-malleja ja optimoit niiden päättelysuorituskykyä. Kehität MLIR-kääntäjäpolkuja ja parannat mallien oikeellisuutta, viivettä, läpimenoa sekä muistin tehokasta käyttöä.
Kuvaus
- Tuot uusia malleja tuotantoon analysoimalla arkkitehtuureja, muuntamalla painoja, toteuttamalla suorituspolkuja ja validoimalla tuloksia vertailutoteutuksia vasten.
- Muunna mallit Cerebras-laitteistolle MLIR-dialekteilla, graafimuunnoksilla, lowering-vaiheilla ja laitekohtaisilla kuvauksilla.
- Tuet attention-mekanismeja, matriisikertolaskua, normalisointia, positio upotuksia ja muita operaattoreita kääntäjä- ja kernelikehityksen avulla.
- Optimoit operaattorien yhdistämistä, tensorien asetteluja, tiling-menetelmiä, muistin allokointia, datan siirtoa ja rinnakkaista suoritusta.
- Parannat prefill- ja decode-suorituskykyä säätämällä KV-välimuistin hallintaa, eräkäsittelyä ja kvantisointia paremman viiveen, läpimenon ja muistinkäytön saavuttamiseksi.
- Analysoit numeerisia poikkeamia ja arvioit, miten tarkkuuden muutokset sekä kääntäjän optimoinnit vaikuttavat tarkkuuteen.
- Käytät profilointityökaluja, suoritusjälkiä ja laitteiston laskureita laskennan, muistin, tiedonsiirron ja ajonaikaisten pullonkaulojen paikantamiseen.
- Teet yhteistyötä laitteisto-, kääntäjä-, kernel- ja runtime-tiimien kanssa luotettavan mallitukien sekä toistettavien suorituskykymittausten toimittamiseksi.
Vaatimukset
- Hallitset C++- ja Python-ohjelmoinnin.
- Sinulla on käytännön kokemusta koneoppimismallien käyttöönotosta ja virheenkorjauksesta PyTorchilla tai vastaavalla kehyksellä.
- Sinulla on käytännön MLIR-kokemusta dialekteista, uudelleenkirjoitussäännöistä, muunnospasseista ja lowering-putkista.
- Tunnet kääntäjien perusteet, kuten välimuotoesitykset, tietovuotoanalyysin ja koodin generoinnin.
- Ymmärrät transformer-arkkitehtuureja, attention-mekanismeja, tensoritoimintoja ja numeerista tarkkuutta.
- Sinulla on kokemusta työkuormien profiloinnista ja optimoinnista GPU:illa tai muilla tekoälykiihdyttimillä.
- Pystyt diagnosoimaan oikeellisuus- ja suorituskykyongelmia mallikoodin, kääntäjätulosteen, kernelien ja runtime-suorituksen eri tasoilla.
- Sinulla on kokemusta suurten kielimallien päättelystä, mukaan lukien GQA, sliding-window attention, mixture-of-experts, KV-välimuisti ja spekulatiivinen dekoodaus.
- Sinulla on kokemusta FP16-, BF16-, FP8- tai matalan bittimäärän kvantisoinnista sekä niiden tarkkuus- ja suorituskykykompromisseista.
- Sinulla on taustaa kiihdytinkernelien tai laitekohtaisten kääntäjätaustajärjestelmien kehittämisestä.
- Tunnet hajautetun suorituksen, malliparallellismin ja kiihdyttimien muistihierarkiat.
- Olet osallistunut MLIR:n, LLVM:n, päättelykehysten tai vastaavien avoimen lähdekoodin projektien kehittämiseen.
Edut
- Vakaa työpaikka startup-henkisessä ympäristössä.
- Mahdollisuuksia julkaista edistynyttä tekoälytutkimusta ja avata sitä avoimeen lähdekoodiin.
- Työskentelet yhden maailman nopeimman tekoälysupertietokoneen parissa.
- Suoraviivainen, epäbyrokraattinen kulttuuri, joka kunnioittaa yksilöllisiä vakaumuksia.
- Jatkuvaa oppimista, ammatillista kehittymistä ja tukea.
- Oikeudenmukainen ja monimuotoinen työyhteisö.