Nagbibigay ang Baseten ng imprastraktura para sa model inference para sa mga kumpanyang nagde-deploy ng mga aplikasyon sa machine learning at artificial intelligence. Ang platform nito ay ginawa para sa mabilis at scalable na paghahatid ng mga modelo, na pinagsasama ang high-throughput inference, mabilis na deployment, autoscaling, secure na enterprise model serving, at suporta para sa packaging ng mga open-source na modelo. Tinutulungan ng Baseten ang mga engineering at machine learning team na pamahalaan ang mga operasyonal na pangangailangan ng imprastraktura ng modelo upang makapagtuon sila sa pagbuo ng mga modelong partikular sa kanilang domain. Nagpapatakbo ang kumpanya sa larangan ng artificial intelligence, SaaS, at enterprise technology, at may pangkat na binubuo ng 11–50 empleyado.
Inhinyero ng Software, Platform ng Inferensiya ng LLM - Baseten Hybrid
Buuin ang distributed LLM inference platform ng Baseten para sa mga kompanya ng AI. Magtrabaho sa Kubernetes orchestration, model API, routing, autoscaling, at production observability.
Paglalarawan
- Bumuo ng imprastraktura at orchestration para sa malakihang distributed LLM inference, kabilang ang routing, autoscaling, scheduling, at runtime management.
- Bumuo at magpatakbo ng Model API na sumusuporta sa structured output, tool at function calling, at multimodal serving.
- Ipatupad ang API versioning, request validation, usage metering, quota, at authentication.
- Lumikha ng instrumentation para sa metrics, traces, at log, kasama ang paulit-ulit na benchmark para sa bilis, reliability, at kalidad.
- Magtakda ng matitibay na kasanayan para sa testing, release automation, at operational excellence.
- Mag-diagnose at magpatibay ng mga production system sa Kubernetes, distributed runtime, networking, at GPU workload.
- Makipagtulungan sa mga engineer ng Inference Performance at mga partner team upang makapaghatid ng mga optimization para sa customer.
- Pangunahan ang mga proyekto mula architecture at deployment hanggang monitoring at iteration batay sa feedback ng customer.
- Balansehin ang performance ng system, reliability, operational simplicity, at developer experience.
Mga Kinakailangan
- Bachelor's, master's, o doctoral degree sa computer science, engineering, o kaugnay na larangan, o katumbas na praktikal na karanasan.
- Hindi bababa sa tatlong taong karanasan sa pagbuo at pagpapatakbo ng distributed system, backend infrastructure, o malakihang API kung saan kritikal ang reliability, latency, at scale.
- Napatunayang pagmamay-ari sa mababang-latency at maaasahang backend service na may rate limiting, authentication, quota, metering, at migration.
- Matibay na paghatol sa imprastraktura, kabilang ang karanasan sa profiling, tracing, capacity planning, at SLO management.
- Kakayahang mag-diagnose ng mga problema sa performance at reliability sa mga layer ng application, runtime, at infrastructure.
- Matinding pagtutok sa developer experience.
- Kahandaang matuto ng mga bagong wika, framework, at system, na may interes sa inference engineering.
- Napakahusay na kasanayan sa nakasulat na komunikasyon at pakikipagtulungan, kabilang ang malinaw na design documentation at epektibong cross-functional na trabaho.
- Ang karanasan o mga ambag sa LLM inference engine o framework gaya ng vLLM, SGLang, TensorRT-LLM, TGI, o Dynamo ay dagdag na kalamangan.
- Malalim na karanasan sa Kubernetes, kabilang ang mga operator at custom resource; dagdag na kalamangan ang pamilyaridad sa service mesh o API gateway.
- Ang karanasan sa distributed scheduling, autoscaling, o service orchestration ay dagdag na kalamangan.
- Ang karanasan sa pagpapatakbo ng GPU workload sa production ay dagdag na kalamangan.
- Ang background sa developer-facing infrastructure o API, o mga ambag sa open-source infrastructure o machine-learning system, ay dagdag na kalamangan.
- Ang pamilyaridad sa observability tool, CI/CD system, o release automation ay dagdag na kalamangan.
Mga Benepisyo
- Kumpetitibong kompensasyon na may makabuluhang equity.
- Para sa mga empleyado at dependent sa U.S., buong saklaw ng medical, dental, at vision insurance.
- Flexible na bayad na time off, kabilang ang Winter Break para sa buong kumpanya.
- Bayad na parental leave.
- Suporta sa fertility at family-building sa pamamagitan ng Carrot stipend.
- Para sa mga empleyado sa U.S., planong 401(k) na pinadadaloy ng kumpanya.
- Pagkakalantad sa iba't ibang ML startup, na nagbibigay ng malalaking pagkakataon para sa pagkatuto at propesyonal na networking.