Baseten
Baseten
Baseten zagotavlja infrastrukturo za izvajanje modelov podjetjem, ki uvajajo aplikacije strojnega učenja in umetne inteligence. Njegova platforma je zasnovana za hitro in razširljivo streženje modelov ter združuje izvajanje z visoko prepustnostjo, hitro uvajanje, samodejno prilagajanje obsega, varno streženje modelov za podjetja in podporo pakiranju odprtokodnih modelov. Baseten inženirskim ekipam ter ekipam za strojno učenje pomaga upravljati operativne zahteve infrastrukture modelov, da se lahko osredotočijo na razvoj modelov, prilagojenih posameznim področjem. Podjetje deluje na področjih umetne inteligence, SaaS in poslovne tehnologije ter ima 11–50 zaposlenih.

Programski inženir, platforma za sklepanje LLM – Baseten Hybrid

Gradite distribuirano platformo podjetja Baseten za sklepanje LLM za podjetja na področju umetne inteligence. Delali boste z orkestracijo Kubernetes, API-ji modelov, usmerjanjem, samodejnim skaliranjem in opazljivostjo produkcije.

Opis

  • Izgradnja infrastrukture in orkestracije za obsežno distribuirano sklepanje LLM, vključno z usmerjanjem, samodejnim skaliranjem, razporejanjem in upravljanjem izvajanja.
  • Razvoj in upravljanje API-jev modelov, ki podpirajo strukturirane izhode, klicanje orodij in funkcij ter multimodalno streženje.
  • Izvajanje različic API-jev, preverjanja zahtev, merjenja uporabe, kvot in preverjanja pristnosti.
  • Ustvarjanje instrumentacije za metrike, sledi in dnevnike ter ponovljivih meril uspešnosti za hitrost, zanesljivost in kakovost.
  • Vzpostavljanje učinkovitih praks za testiranje, avtomatizacijo izdaj in operativno odličnost.
  • Diagnosticiranje in krepitev produkcijskih sistemov na področju Kubernetesa, distribuiranih izvajalnih okolij, omrežij in delovnih obremenitev GPU.
  • Sodelovanje z inženirji za zmogljivost sklepanja in partnerskimi ekipami pri optimizacijah za stranke.
  • Vodenje projektov od arhitekture in uvedbe do spremljanja ter iteracij na podlagi povratnih informacij strank.
  • Uravnoteženje zmogljivosti sistema, zanesljivosti, operativne preprostosti in izkušnje razvijalcev.

Zahteve

  • Diploma dodiplomskega, magistrskega ali doktorskega študija računalništva, inženirstva ali sorodnega področja oziroma enakovredne praktične izkušnje.
  • Najmanj tri leta izkušenj z gradnjo in upravljanjem distribuiranih sistemov, zaledne infrastrukture ali API-jev velikega obsega, kjer so zanesljivost, zakasnitev in obseg ključnega pomena.
  • Dokazano prevzemanje odgovornosti za zanesljive zaledne storitve z nizko zakasnitvijo, ki vključujejo omejevanje hitrosti, preverjanje pristnosti, kvote, merjenje uporabe in migracije.
  • Dobro presojanje na področju infrastrukture, vključno z izkušnjami s profiliranjem, sledenjem, načrtovanjem zmogljivosti in upravljanjem SLO.
  • Sposobnost diagnosticiranja težav z zmogljivostjo in zanesljivostjo na ravni aplikacije, izvajalnega okolja in infrastrukture.
  • Močna osredotočenost na izkušnjo razvijalcev.
  • Pripravljenost na učenje novih jezikov, ogrodij in sistemov ter zanimanje za inženirstvo sklepanja.
  • Odlične veščine pisnega komuniciranja in sodelovanja, vključno z jasno projektno dokumentacijo in učinkovitim medfunkcijskim delom.
  • Izkušnje z mehanizmi ali ogrodji za sklepanje LLM, kot so vLLM, SGLang, TensorRT-LLM, TGI ali Dynamo, oziroma prispevki k njim so prednost.
  • Poglobljene izkušnje s Kubernetesom, vključno z operatorji in prilagojenimi viri; poznavanje servisnih mrež ali prehodov API je prednost.
  • Izkušnje z distribuiranim razporejanjem, samodejnim skaliranjem ali orkestracijo storitev so prednost.
  • Izkušnje z izvajanjem delovnih obremenitev GPU v produkciji so prednost.
  • Izkušnje z infrastrukturo ali API-ji za razvijalce oziroma prispevki k odprtokodni infrastrukturi ali sistemom strojnega učenja so prednost.
  • Poznavanje orodij za opazljivost, sistemov CI/CD ali avtomatizacije izdaj je prednost.

Ugodnosti

  • Konkurenčno plačilo z pomembnim lastniškim deležem.
  • Za zaposlene in vzdrževane družinske člane v ZDA popolno kritje zdravstvenega, zobozdravstvenega in vidnega zavarovanja.
  • Prilagodljiv plačan dopust, vključno z zimskim premorom za celotno podjetje.
  • Plačan starševski dopust.
  • Podpora plodnosti in ustvarjanju družine prek štipendije Carrot.
  • Za zaposlene v ZDA načrt 401(k), ki ga omogoča podjetje.
  • Stik z različnimi zagonskimi podjetji na področju strojnega učenja, kar ustvarja veliko priložnosti za učenje in poklicno mreženje.

Sorodna delovna mesta

Sikla GmbH

Customer and Sales Support Specialist

Sikla GmbH
501 – 1000 Zaposleni
LogistikaProizvodnjaSvetovanje

Support Sikla UK’s technical modular support systems business in Milton Keynes, handling customer and sales enquiries from quotation through delivery. Coordinate orders, documentation, logistics, and ERP administration with customers and internal teams.

Odpri
Newstel Worldwide

Part-Time Danish-Speaking Customer Service Agent (Portugal, Remote)

Newstel Worldwide
201 – 500 Zaposleni
LogistikaSvetovanjeTrženje

Provide remote customer support in Danish for Newstel’s multilingual BPO customers while meeting service and quality targets. This part-time role covers email, chat and phone enquiries from Portugal.

Odpri