adaption kehittää mukautuvia tekoälyjärjestelmiä ja työkaluja, jotka on suunniteltu sovittamaan älykkyys yksittäisten käyttäjien, kielten, toimialojen ja erityisten poikkeustapausten tarpeisiin. Sen työ kattaa mukautuvan datan, mukautuvan älykkyyden ja mukautuvat käyttöliittymät. Näiden lähestymistapojen avulla mallit voivat mukautua jatkuvasti ja tukea responsiivisempia käyttökokemuksia ilman yhtä suurta riippuvuutta manuaalisesta kehotesuunnittelusta tai yhdestä monoliittisesta mallista. Yrityksen teknologia soveltuu organisaatioille, jotka tutkivat käytännön tekoälysovelluksia esimerkiksi konsultoinnin, logistiikan ja markkinoinnin aloilla.
Päättelyinsinööri — Adaption (hybridi, Bay Area)
Optimoi päättelyinfrastruktuuria läpimenon, kustannusten ja viiveen parantamiseksi Adaptionilla, joka kehittää mukautuvia älyjärjestelmiä. Paranna mallien palvelemista grafiikkasuorittimilla, päättelymoottoreilla ja tuotantokuormilla.
Kuvaus
- Vastaa päättelypinon kustannuksista ja suorituskyvystä.
- Kasvata läpimenoa ja pienennä kustannuksia sekä hännän viivettä KV-välimuistin hallinnalla, jatkuvalla eräkäsittelyllä, spekulatiivisella dekoodauksella ja kvantisoinnilla.
- Optimoi pitkän kontekstin esitäyttö- ja dekoodauskuormat todellista tuotantoliikennettä vasten.
- Säädä reititystä sisäisen infrastruktuurin ja ulkoisten palveluntarjoajien välillä kustannusten, kapasiteetin ja suorituskyvyn perusteella.
- Käytä palvelumoottoreita, kuten vLLM:ää, SGLangia ja TensorRT-LLM:ää, ja työskentele tarvittaessa kehyksen alapuolella.
- Kehitä profilointi- ja mittausjärjestelmiä ajan, muistin ja laskennan käytön paikantamiseksi.
- Tee tiivistä yhteistyötä palvelukalustosta vastaavien insinöörien kanssa.
Vaatimukset
- Sinulla on vähintään viiden vuoden kokemus ML-järjestelmistä, päättelyinfrastruktuurista tai suorituskykyinsinöörityöstä sekä osoitettavia kustannus- tai viiveparannuksia.
- Sinulla on syvällinen ymmärrys mallien palvelemisesta, mukaan lukien esitäyttö ja dekoodaus, muistikaistanleveys, eräkäsittely ja samanaikaisuus.
- Sinulla on tuotantokokemusta palvelumoottoreista, kuten vLLM:stä, SGLangista tai TensorRT-LLM:stä.
- Käytät Pythonia sujuvasti ja hallitset C++:n, Rustin tai jonkin muun järjestelmäohjelmointikielen.
- Ymmärrät grafiikkasuorittimien suorituskykyyn liittyviä aiheita, kuten CUDA:n, NCCL:n, sekatarkkuuden, muistiasettelun, kernelit tai kvantisoinnin.
- Pystyt työskentelemään paikan päällä Bay Arealla hybridijärjestelyssä.
Edut
- Yhdistä paikan päällä tapahtuva yhteistyö Bay Arealla hajautettuun, globaalisti toimivaan tiimiin ja tiimin yhteisiin tapaamisiin.
- Saat vuosittaisen Adaption Passport -matkatuen sellaisen maan tutkimiseen, jossa et ole aiemmin vieraillut.
- Saat viikoittaisen etuuden noutoruokaan tai ruokaostosten kotiinkuljetukseen.
- Saat kattavan sairausvakuutusturvan ja runsaasti palkallista vapaata.