Baseten tarjoaa mallipäätelmäinfrastruktuuria yrityksille, jotka ottavat käyttöön koneoppimis- ja tekoälysovelluksia. Sen alusta on suunniteltu nopeaan ja skaalautuvaan mallien palvelemiseen, ja se yhdistää suuren läpimenon päätelmät, nopean käyttöönoton, automaattisen skaalauksen, suojatun yritystason mallien palvelemisen sekä tuen avoimen lähdekoodin mallipaketointiin. Baseten auttaa suunnittelu- ja koneoppimistiimejä hallitsemaan malliinfrastruktuurin operatiivisia vaatimuksia, jotta ne voivat keskittyä toimialakohtaisten mallien kehittämiseen. Yritys toimii tekoälyn, SaaS-palveluiden ja yritysteknologian aloilla, ja sen palveluksessa on 11–50 työntekijää.
Ohjelmistoinsinööri, LLM-päättelyalusta – Baseten, hybridityö
Rakenna Basetenin hajautettua LLM-päättelyalustaa tekoäly-yrityksille. Työskentele Kubernetes-orkestroinnin, mallirajapintojen, reitityksen, automaattisen skaalauksen ja tuotantovalvonnan parissa.
Kuvaus
- Rakenna infrastruktuuria ja orkestrointia laajamittaiseen hajautettuun LLM-päättelyyn, mukaan lukien reititys, automaattinen skaalaus, ajoitus ja ajonaikainen hallinta.
- Kehitä ja ylläpidä mallirajapintoja, jotka tukevat rakenteistettuja tuloksia, työkalujen ja funktioiden kutsumista sekä multimodaalista tarjoilua.
- Toteuta rajapintojen versiointi, pyyntöjen validointi, käytön mittaus, kiintiöt ja todennus.
- Luo instrumentointi mittareille, jäljityksille ja lokeille sekä toistettavat vertailutestit nopeuden, luotettavuuden ja laadun arviointiin.
- Määritä vahvat käytännöt testaukselle, julkaisujen automatisoinnille ja operatiiviselle erinomaisuudelle.
- Diagnosoi ja vahvista tuotantojärjestelmiä Kubernetesin, hajautettujen ajonaikaisten ympäristöjen, verkkojen ja GPU-kuormien osalta.
- Tee yhteistyötä päättelysuorituskyvyn insinöörien ja kumppanitiimien kanssa asiakaslähtöisten optimointien toimittamiseksi.
- Johda projekteja arkkitehtuurista ja käyttöönotosta valvontaan ja asiakaspalautteen ohjaamaan iterointiin.
- Tasapainota järjestelmän suorituskyky, luotettavuus, operatiivinen yksinkertaisuus ja kehittäjäkokemus.
Vaatimukset
- Tietojenkäsittelytieteen, tekniikan tai vastaavan alan kandidaatin, maisterin tai tohtorin tutkinto tai vastaava käytännön kokemus.
- Vähintään kolmen vuoden kokemus hajautettujen järjestelmien, taustainfrastruktuurin tai laajamittaisten rajapintojen rakentamisesta ja käytöstä ympäristöissä, joissa luotettavuus, viive ja skaalautuvuus ovat kriittisiä.
- Osoitettu vastuunotto matalan viiveen ja luotettavista taustapalveluista, joihin liittyy nopeudenrajoitus, todennus, kiintiöt, käytön mittaus ja migraatiot.
- Vahva infrastruktuuria koskeva harkintakyky, mukaan lukien profilointi, jäljitys, kapasiteettisuunnittelu ja SLO-hallinta.
- Kyky diagnosoida suorituskyky- ja luotettavuusongelmia sovellus-, ajonaikaisella ja infrastruktuuritasolla.
- Vahva keskittyminen kehittäjäkokemukseen.
- Halukkuus oppia uusia kieliä, kehyksiä ja järjestelmiä sekä kiinnostus päättelytekniikkaan.
- Erinomaiset kirjallisen viestinnän ja yhteistyön taidot, mukaan lukien selkeä suunnitteludokumentaatio ja tehokas työskentely yli tiimirajojen.
- Kokemus LLM-päättelymoottoreista tai -kehyksistä, kuten vLLM, SGLang, TensorRT-LLM, TGI tai Dynamo, tai osallistuminen niiden kehitykseen katsotaan eduksi.
- Perusteellinen Kubernetes-kokemus, mukaan lukien operaattorit ja mukautetut resurssit; palveluverkkojen tai API-yhdyskäytävien tuntemus katsotaan eduksi.
- Kokemus hajautetusta ajoituksesta, automaattisesta skaalauksesta tai palveluorkestroinnista katsotaan eduksi.
- Kokemus GPU-kuormien ajamisesta tuotannossa katsotaan eduksi.
- Tausta kehittäjille suunnatussa infrastruktuurissa tai rajapinnoissa tai osallistuminen avoimen lähdekoodin infrastruktuuri- tai koneoppimisjärjestelmiin katsotaan eduksi.
- Havaittavuustyökalujen, CI/CD-järjestelmien tai julkaisujen automatisoinnin tuntemus katsotaan eduksi.
Edut
- Kilpailukykyinen palkitseminen ja merkityksellinen osakeomistus.
- Yhdysvalloissa työskenteleville työntekijöille ja heidän huollettavilleen täysi sairaus-, hammas- ja näkövakuutusturva.
- Joustava palkallinen vapaa, mukaan lukien koko yrityksen talvitauko.
- Palkallinen vanhempainvapaa.
- Hedelmällisyys- ja perheen perustamisen tuki Carrot-stipendin kautta.
- Yhdysvalloissa työskenteleville työntekijöille yrityksen järjestämä 401(k)-suunnitelma.
- Mahdollisuus tutustua monenlaisiin koneoppimisen startup-yrityksiin, mikä tarjoaa runsaasti oppimis- ja ammatillisen verkostoitumisen mahdollisuuksia.