Baseten pakub mudelite järeldustaristut ettevõtetele, kes juurutavad masinõppe- ja tehisintellektirakendusi. Selle platvorm on loodud kiireks ja skaleeritavaks mudelite teenindamiseks ning ühendab suure läbilaskevõimega järelduse, kiire juurutamise, automaatse skaleerimise, turvalise ettevõtetele mõeldud mudelite teenindamise ja avatud lähtekoodiga mudelite pakendamise toe. Baseten aitab inseneri- ja masinõppemeeskondadel hallata mudelitaristu operatiivseid vajadusi, et nad saaksid keskenduda valdkonnaspetsiifiliste mudelite arendamisele. Ettevõte tegutseb tehisintellekti, SaaS-i ja ettevõttetehnoloogia valdkonnas ning seal töötab 11–50 inimest.
Tarkvarainsener, LLM-i inferentsiplatvorm – Baseten, hübriidtöö
Ehita Baseteni hajutatud LLM-i inferentsiplatvormi tehisintellektiettevõtetele. Töötad Kubernetes-e orkestreerimise, mudeli-API-de, marsruutimise, automaatse skaleerimise ja tootmise jälgitavuse parendamisega.
Kirjeldus
- Loo infrastruktuuri ja orkestreerimist suuremahulise hajutatud LLM-i inferentsi jaoks, hõlmates marsruutimist, automaatset skaleerimist, ajastamist ja käituskeskkonna haldust.
- Arenda ja halda mudeli-API-sid, mis toetavad struktureeritud väljundeid, tööriistade ja funktsioonide kutsumist ning multimodaalset teenindamist.
- Rakenda API-de versioonihaldus, päringute valideerimine, kasutuse mõõtmine, kvoodid ja autentimine.
- Loo mõõdikute, jälgede ja logide instrumentatsioon ning korratavad võrdlustestid kiiruse, töökindluse ja kvaliteedi hindamiseks.
- Määra tugevad tavad testimiseks, väljalasete automatiseerimiseks ja operatiivseks tipptasemeks.
- Diagnoosi ja tugevda tootmissüsteeme Kubernetes-e, hajutatud käituskeskkondade, võrkude ja GPU-töökoormuste lõikes.
- Tee koostööd inferentsi jõudluse inseneride ja partnermeeskondadega, et pakkuda klientidele suunatud optimeerimisi.
- Juhi projekte arhitektuurist ja juurutamisest kuni seire ning klienditagasisidest lähtuva iteratsioonini.
- Tasakaalusta süsteemi jõudlus, töökindlus, operatiivne lihtsus ja arendajakogemus.
Nõuded
- Arvutiteaduse, inseneriteaduse või seotud valdkonna bakalaureuse-, magistri- või doktorikraad või samaväärne praktiline kogemus.
- Vähemalt kolm aastat kogemust hajutatud süsteemide, taustainfrastruktuuri või suuremahuliste API-de ehitamisel ja käitamisel keskkondades, kus töökindlus, latentsus ja skaleeritavus on kriitilised.
- Tõendatud vastutus väikese latentsusega töökindlate taustateenuste eest, mis hõlmavad päringumäära piiramist, autentimist, kvoote, kasutuse mõõtmist ja migratsioone.
- Tugev infrastruktuurialane otsustusvõime, sealhulgas profiliseerimise, jälitamise, mahutavuse planeerimise ja SLO-de haldamise kogemus.
- Võime diagnoosida jõudlus- ja töökindlusprobleeme rakenduse, käituskeskkonna ja infrastruktuuri tasandil.
- Tugev keskendumine arendajakogemusele.
- Valmisolek õppida uusi keeli, raamistikke ja süsteeme ning huvi inferentsitehnika vastu.
- Suurepärased kirjaliku suhtluse ja koostööoskused, sealhulgas selge disainidokumentatsioon ja tõhus funktsioonideülene koostöö.
- LLM-i inferentsimootorite või -raamistikega, nagu vLLM, SGLang, TensorRT-LLM, TGI või Dynamo, töötamise kogemus või nende arendamisse panustamine tuleb kasuks.
- Põhjalik Kubernetes-e kogemus, sealhulgas operaatorid ja kohandatud ressursid; teenusevõrkude või API-lüüside tundmine tuleb kasuks.
- Hajutatud ajastamise, automaatse skaleerimise või teenuseorkestreerimise kogemus tuleb kasuks.
- GPU-töökoormuste tootmises käitamise kogemus tuleb kasuks.
- Taust arendajatele suunatud infrastruktuuri või API-de valdkonnas või panus avatud lähtekoodiga infrastruktuuri- või masinõppesüsteemidesse tuleb kasuks.
- Jälgitavustööriistade, CI/CD-süsteemide või väljalasete automatiseerimise tundmine tuleb kasuks.
Hüved
- Konkurentsivõimeline tasu ja tähenduslik osalus ettevõttes.
- USA töötajatele ja nende ülalpeetavatele täielikult kaetud tervise-, hambaravi- ja nägemiskindlustus.
- Paindlik tasustatud puhkus, sealhulgas ettevõtte ühine talvepuhkus.
- Tasustatud lapsehoolduspuhkus.
- Viljakus- ja pere loomise tugi Carroti stipendiumi kaudu.
- USA töötajatele ettevõtte vahendatud 401(k) plaan.
- Võimalus saada kokkupuudet mitmesuguste masinõppe iduettevõtetega, mis loob palju õppimis- ja professionaalse võrgustumise võimalusi.