LogoFresh Jobs Ahead
Baseten
Baseten
11 – 50 Karyawan
Sponsor Visa H1BKecerdasan buatanPerusahaanSaaS
Baseten menyediakan infrastruktur inferensi model bagi perusahaan yang menerapkan aplikasi pembelajaran mesin dan kecerdasan buatan. Platformnya dirancang untuk penyajian model yang cepat dan dapat diskalakan, dengan menggabungkan inferensi berthroughput tinggi, penerapan cepat, penskalaan otomatis, penyajian model perusahaan yang aman, serta dukungan untuk pengemasan model sumber terbuka. Baseten membantu tim teknik dan pembelajaran mesin mengelola kebutuhan operasional infrastruktur model agar dapat berfokus pada pengembangan model khusus domain. Perusahaan ini bergerak di bidang kecerdasan buatan, SaaS, dan teknologi perusahaan, dengan tim yang terdiri dari 11–50 karyawan.
LinkedIn
Lowongan Perusahaan

Insinyur Perangkat Lunak Performa Inferensi di Baseten (Hibrida)

Baseten sedang merekrut insinyur performa inferensi untuk mengoptimalkan runtime LLM, kernel GPU, dan sistem penyajian model. Peran ini berfokus pada peningkatan kecepatan inferensi produksi, pemanfaatan perangkat keras, dan efisiensi biaya.

USAmerika SerikatCACaliforniaNYNew YorkWAWashington
$180.000 – $360.000 / tahun
HibridaPenuh waktuMenengahSeniorBahasa Wajib: InggrisInsinyur full-stackInsinyur perangkat lunak
C++PythonPyTorch

Deskripsi

  • Menerapkan metode inferensi canggih ke lingkungan produksi, seperti kuantisasi, speculative decoding, penggunaan ulang KV-cache, chunked prefill, LoRA, guided generation, serta penjadwalan atau perutean khusus.
  • Menganalisis seluruh pipeline inferensi dengan mengoptimalkan overhead kernel, penempatan memori, penjadwalan permintaan, pemisahan prefill/decode, dan perutean yang mempertimbangkan cache.
  • Meningkatkan jumlah token per jam GPU dan pemanfaatan perangkat keras sambil menyeimbangkan latensi, throughput, dan biaya.
  • Menerapkan serta mengoptimalkan arsitektur model baru pada platform perangkat keras terbaru.
  • Membuat benchmark yang mencakup berbagai jenis model, ukuran batch, panjang urutan, dan konfigurasi perangkat keras.
  • Mengirimkan peningkatan ke proyek inferensi sumber terbuka, termasuk vLLM, SGLang, dan TensorRT-LLM.
  • Bekerja sama dengan tim model, infrastruktur, dan yang berhubungan langsung dengan pelanggan untuk menghasilkan peningkatan performa yang terukur.

Persyaratan

  • Gelar sarjana, magister, atau doktor dalam ilmu komputer, teknik, matematika, atau bidang terkait.
  • Pengalaman profesional dengan setidaknya satu bahasa pemrograman serbaguna, termasuk Python atau C++.
  • Pengetahuan praktis tentang metode optimasi LLM seperti kuantisasi, speculative decoding, dan continuous batching.
  • Penguasaan yang kuat atas pustaka pembelajaran mesin, khususnya PyTorch, TensorRT, atau TensorRT-LLM.
  • Memiliki minat yang terbukti dan pengalaman praktis dengan model bahasa besar.
  • Pemahaman menyeluruh tentang arsitektur GPU.

Tunjangan

  • Paket kompensasi kompetitif dengan partisipasi ekuitas yang bermakna.
  • Bagi karyawan di AS, perlindungan asuransi kesehatan, gigi, dan penglihatan penuh juga mencakup karyawan serta tanggungannya.
  • Cuti berbayar yang fleksibel, ditambah libur musim dingin untuk seluruh perusahaan.
  • Cuti berbayar untuk orang tua.
  • Dukungan kesuburan dan pembentukan keluarga melalui tunjangan Carrot.
  • Bagi karyawan di AS, program 401(k) yang difasilitasi perusahaan.
  • Kesempatan bekerja dengan beragam perusahaan rintisan pembelajaran mesin, yang mendukung pembelajaran substansial dan jejaring profesional.

Lowongan Terkait