Baseten
Baseten
Baseten menyediakan infrastruktur inferens model untuk syarikat yang menggunakan aplikasi pembelajaran mesin dan kecerdasan buatan. Platformnya dibina untuk penyajian model yang pantas dan boleh diskalakan, dengan menggabungkan inferens berthroughput tinggi, pelancaran pantas, penskalaan automatik, penyajian model perusahaan yang selamat, serta sokongan untuk pembungkusan model sumber terbuka. Baseten membantu pasukan kejuruteraan dan pembelajaran mesin mengurus keperluan operasi infrastruktur model supaya mereka dapat memberi tumpuan kepada pembangunan model khusus domain. Syarikat ini beroperasi dalam bidang kecerdasan buatan, SaaS, dan teknologi perusahaan, dengan pasukan seramai 11–50 orang pekerja.

Jurutera Perisian, Platform Inferens LLM - Baseten Hibrid

Bina platform inferens LLM teragih Baseten untuk syarikat AI. Bekerja merentas orkestrasi Kubernetes, API model, penghalaan, penskalaan automatik dan kebolehlihatan operasi.

Penerangan

  • Bina infrastruktur dan orkestrasi untuk inferens LLM teragih berskala besar, meliputi penghalaan, penskalaan automatik, penjadualan dan pengurusan masa jalan.
  • Bangunkan dan kendalikan API Model yang menyokong output berstruktur, panggilan alat dan fungsi, serta penyajian multimodal.
  • Laksanakan pemversian API, pengesahan permintaan, pemeteran penggunaan, kuota dan pengesahan identiti.
  • Cipta instrumentasi untuk metrik, jejak dan log, bersama penanda aras berulang bagi kelajuan, kebolehpercayaan dan kualiti.
  • Tentukan amalan kukuh untuk pengujian, automasi keluaran dan kecemerlangan operasi.
  • Diagnosis dan perkukuh sistem produksi merentas Kubernetes, masa jalan teragih, rangkaian dan beban kerja GPU.
  • Bekerjasama dengan jurutera Prestasi Inferens dan pasukan rakan kongsi untuk menyampaikan pengoptimuman kepada pelanggan.
  • Pimpin projek daripada seni bina dan penggunaan hingga pemantauan serta lelaran berdasarkan maklum balas pelanggan.
  • Seimbangkan prestasi sistem, kebolehpercayaan, kesederhanaan operasi dan pengalaman pembangun.

Keperluan

  • Ijazah sarjana muda, sarjana atau doktor falsafah dalam sains komputer, kejuruteraan atau bidang berkaitan, atau pengalaman praktikal yang setara.
  • Sekurang-kurangnya tiga tahun pengalaman membina dan mengendalikan sistem teragih, infrastruktur backend atau API berskala besar yang memerlukan kebolehpercayaan, kependaman dan skala.
  • Mempunyai rekod pemilikan perkhidmatan backend yang boleh dipercayai dan berkependaman rendah, melibatkan pengehadan kadar, pengesahan identiti, kuota, pemeteran dan migrasi.
  • Pertimbangan infrastruktur yang kukuh, termasuk pengalaman dengan pemprofilan, penjejakan, perancangan kapasiti dan pengurusan SLO.
  • Keupayaan mendiagnosis masalah prestasi dan kebolehpercayaan merentas lapisan aplikasi, masa jalan dan infrastruktur.
  • Fokus yang kukuh terhadap pengalaman pembangun.
  • Kesediaan mempelajari bahasa, rangka kerja dan sistem baharu, serta minat dalam kejuruteraan inferens.
  • Kemahiran komunikasi bertulis dan kerjasama yang cemerlang, termasuk dokumentasi reka bentuk yang jelas dan kerja rentas fungsi yang berkesan.
  • Pengalaman dengan atau sumbangan kepada enjin atau rangka kerja inferens LLM seperti vLLM, SGLang, TensorRT-LLM, TGI atau Dynamo merupakan kelebihan.
  • Pengalaman mendalam dengan Kubernetes, termasuk operator dan sumber tersuai; kebiasaan dengan mesh perkhidmatan atau get laluan API merupakan kelebihan.
  • Pengalaman dengan penjadualan teragih, penskalaan automatik atau orkestrasi perkhidmatan merupakan kelebihan.
  • Pengalaman menjalankan beban kerja GPU dalam produksi merupakan kelebihan.
  • Latar belakang dalam infrastruktur atau API yang menghadap pembangun, atau sumbangan kepada infrastruktur sumber terbuka atau sistem pembelajaran mesin, merupakan kelebihan.
  • Kebiasaan dengan alat kebolehlihatan operasi, sistem CI/CD atau automasi keluaran merupakan kelebihan.

Faedah

  • Pampasan kompetitif dengan ekuiti yang bermakna.
  • Bagi pekerja dan tanggungan di AS, perlindungan penuh insurans perubatan, pergigian dan penglihatan.
  • Cuti berbayar yang fleksibel, termasuk Cuti Musim Sejuk seluruh syarikat.
  • Cuti ibu bapa berbayar.
  • Sokongan kesuburan dan pembinaan keluarga melalui elaun Carrot.
  • Bagi pekerja di AS, pelan 401(k) yang difasilitasi syarikat.
  • Pendedahan kepada pelbagai syarikat pemula ML, yang mewujudkan peluang besar untuk pembelajaran dan jaringan profesional.

Pekerjaan Berkaitan

Ambush

Jurutera Kanan Pembelajaran Mesin dan AI

Ambush

Bina AI generatif dan aliran kerja ejen bertaraf produksi untuk pelanggan perkhidmatan kewangan Ambush. Bangunkan perkhidmatan Python dan FastAPI, aliran data SQL, retrieval-augmented generation serta sistem AI berasaskan awan.

Buka
GFN

Jurutera Perisian Kanan, Pembelajaran Mesin

GFN
201 – 500 Pekerja
E-dagangFintechSaaS

Bina infrastruktur bahagian belakang dan produk pembelajaran berasaskan AI untuk GFN, penyedia pendidikan dari Jerman. Bangunkan platform pendidikan yang boleh diskalakan dengan tumpuan pada seni bina perisian yang teguh dan pembelajaran mesin yang praktikal.

Buka