LogoFresh Jobs Ahead
Baseten
Baseten
11 – 50 Karyawan
Sponsor Visa H1BKecerdasan buatanPerusahaanSaaS
Baseten menyediakan infrastruktur inferensi model bagi perusahaan yang menerapkan aplikasi pembelajaran mesin dan kecerdasan buatan. Platformnya dirancang untuk penyajian model yang cepat dan dapat diskalakan, dengan menggabungkan inferensi berthroughput tinggi, penerapan cepat, penskalaan otomatis, penyajian model perusahaan yang aman, serta dukungan untuk pengemasan model sumber terbuka. Baseten membantu tim teknik dan pembelajaran mesin mengelola kebutuhan operasional infrastruktur model agar dapat berfokus pada pengembangan model khusus domain. Perusahaan ini bergerak di bidang kecerdasan buatan, SaaS, dan teknologi perusahaan, dengan tim yang terdiri dari 11–50 karyawan.
LinkedIn
Lowongan Perusahaan

Insinyur Perangkat Lunak, Platform Inferensi LLM - Baseten Hybrid

Bangun platform inferensi LLM terdistribusi milik Baseten untuk perusahaan AI. Kerjakan orkestrasi Kubernetes, API model, perutean, penskalaan otomatis, dan observabilitas produksi.

USAmerika SerikatCACaliforniaNYNew YorkWAWashington
$180.000 – $360.000 / tahun
HibridaPenuh waktuMenengahSeniorBahasa Wajib: InggrisInsinyur full-stackInsinyur perangkat lunak
KubernetesSistem terdistribusi

Deskripsi

  • Bangun infrastruktur dan orkestrasi untuk inferensi LLM terdistribusi berskala besar, mencakup perutean, penskalaan otomatis, penjadwalan, dan pengelolaan runtime.
  • Kembangkan dan operasikan Model API yang mendukung keluaran terstruktur, pemanggilan alat dan fungsi, serta penyajian multimodal.
  • Terapkan pembuatan versi API, validasi permintaan, pengukuran penggunaan, kuota, dan autentikasi.
  • Buat instrumentasi untuk metrik, jejak, dan log, beserta tolok ukur berulang untuk kecepatan, keandalan, dan kualitas.
  • Tetapkan praktik yang kuat untuk pengujian, otomatisasi rilis, dan keunggulan operasional.
  • Diagnosis dan perkuat sistem produksi di berbagai Kubernetes, runtime terdistribusi, jaringan, dan beban kerja GPU.
  • Berkolaborasi dengan insinyur Performa Inferensi dan tim mitra untuk menghadirkan optimasi yang berdampak langsung bagi pelanggan.
  • Pimpin proyek mulai dari arsitektur dan penerapan hingga pemantauan dan iterasi berdasarkan masukan pelanggan.
  • Seimbangkan kinerja sistem, keandalan, kesederhanaan operasional, dan pengalaman pengembang.

Persyaratan

  • Gelar sarjana, magister, atau doktor dalam ilmu komputer, teknik, atau bidang terkait, atau pengalaman praktis yang setara.
  • Setidaknya tiga tahun pengalaman membangun dan mengoperasikan sistem terdistribusi, infrastruktur backend, atau API berskala besar yang menuntut keandalan, latensi, dan skala.
  • Memiliki rekam jejak dalam menangani layanan backend yang andal dan berlatensi rendah, termasuk pembatasan laju, autentikasi, kuota, pengukuran penggunaan, dan migrasi.
  • Pertimbangan infrastruktur yang kuat, termasuk pengalaman dengan profiling, tracing, perencanaan kapasitas, dan pengelolaan SLO.
  • Mampu mendiagnosis masalah kinerja dan keandalan di seluruh lapisan aplikasi, runtime, dan infrastruktur.
  • Fokus kuat pada pengalaman pengembang.
  • Bersedia mempelajari bahasa, framework, dan sistem baru, serta tertarik pada rekayasa inferensi.
  • Keterampilan komunikasi tertulis dan kolaborasi yang sangat baik, termasuk dokumentasi desain yang jelas dan kerja lintas fungsi yang efektif.
  • Pengalaman dengan atau kontribusi pada mesin atau framework inferensi LLM seperti vLLM, SGLang, TensorRT-LLM, TGI, atau Dynamo menjadi nilai tambah.
  • Pengalaman mendalam dengan Kubernetes, termasuk operator dan sumber daya khusus; pemahaman tentang service mesh atau gateway API menjadi nilai tambah.
  • Pengalaman dengan penjadwalan terdistribusi, penskalaan otomatis, atau orkestrasi layanan menjadi nilai tambah.
  • Pengalaman menjalankan beban kerja GPU dalam produksi menjadi nilai tambah.
  • Latar belakang dalam infrastruktur atau API yang ditujukan bagi pengembang, atau kontribusi pada infrastruktur sumber terbuka atau sistem pembelajaran mesin, menjadi nilai tambah.
  • Pemahaman tentang alat observabilitas, sistem CI/CD, atau otomatisasi rilis menjadi nilai tambah.

Tunjangan

  • Kompensasi kompetitif dengan ekuitas yang bermakna.
  • Bagi karyawan dan tanggungan di AS, pertanggungan penuh asuransi kesehatan, gigi, dan penglihatan.
  • Cuti berbayar fleksibel, termasuk libur musim dingin untuk seluruh perusahaan.
  • Cuti melahirkan dan mengasuh anak berbayar.
  • Dukungan kesuburan dan pembentukan keluarga melalui tunjangan Carrot.
  • Bagi karyawan di AS, program 401(k) yang difasilitasi perusahaan.
  • Kesempatan berinteraksi dengan berbagai startup ML, yang menciptakan peluang besar untuk belajar dan membangun jejaring profesional.

Lowongan Terkait

Latham & Watkins

Asisten PA Hukum Junior dan Pendukung Advokat

Latham & Watkins
1.001 – 5.000 Karyawan
Sponsor Visa Pekerja TerampilB2BHukumKeuangan
GBInggris RayaHibridaPenuh waktuJuniorBahasa Wajib: InggrisPengacara
ServiceNow

Memberikan dukungan administratif kepada pengacara di Latham & Watkins, termasuk koordinasi jadwal, pengelolaan dokumen, penagihan, perjalanan, dan permintaan melalui ServiceNow. Posisi penuh waktu dengan sistem kerja hybrid ini berlokasi di Inggris dan menyediakan pelatihan langsung, pembinaan, serta pendampingan.

Buka