Baseten menyediakan infrastruktur inferens model untuk syarikat yang menggunakan aplikasi pembelajaran mesin dan kecerdasan buatan. Platformnya dibina untuk penyajian model yang pantas dan boleh diskalakan, dengan menggabungkan inferens berthroughput tinggi, pelancaran pantas, penskalaan automatik, penyajian model perusahaan yang selamat, serta sokongan untuk pembungkusan model sumber terbuka. Baseten membantu pasukan kejuruteraan dan pembelajaran mesin mengurus keperluan operasi infrastruktur model supaya mereka dapat memberi tumpuan kepada pembangunan model khusus domain. Syarikat ini beroperasi dalam bidang kecerdasan buatan, SaaS, dan teknologi perusahaan, dengan pasukan seramai 11–50 orang pekerja.
Jurutera Perisian Prestasi Inferens di Baseten (Hibrid)
Baseten sedang mengambil jurutera prestasi inferens untuk mengoptimumkan runtime LLM, kernel GPU dan sistem penyajian model. Peranan ini memberi tumpuan kepada peningkatan kelajuan inferens produksi, penggunaan perkakasan dan kecekapan kos.
Penerangan
- Menerapkan kaedah inferens lanjutan ke dalam produksi, seperti pengkuantuman, speculative decoding, penggunaan semula KV-cache, chunked prefill, LoRA, guided generation serta penjadualan atau penghalaan tersuai.
- Menganalisis keseluruhan saluran inferens dengan mengoptimumkan overhed kernel, penempatan memori, penjadualan permintaan, pemisahan prefill/decode dan penghalaan yang menyedari cache.
- Meningkatkan jumlah token setiap jam GPU dan penggunaan perkakasan sambil mengimbangi kependaman, throughput dan kos.
- Menggunakan serta mengoptimumkan seni bina model baharu pada platform perkakasan baharu.
- Mewujudkan penanda aras merangkumi pelbagai jenis model, saiz kelompok, panjang jujukan dan persediaan perkakasan.
- Menyumbangkan penambahbaikan kepada projek inferens sumber terbuka termasuk vLLM, SGLang dan TensorRT-LLM.
- Bekerjasama dengan pasukan model, infrastruktur dan yang berhadapan dengan pelanggan untuk menghasilkan peningkatan prestasi yang boleh diukur.
Keperluan
- Ijazah sarjana muda, sarjana atau kedoktoran dalam sains komputer, kejuruteraan, matematik atau bidang berkaitan.
- Pengalaman profesional dengan sekurang-kurangnya satu bahasa pengaturcaraan serbaguna, termasuk Python atau C++.
- Pengetahuan kerja tentang kaedah pengoptimuman LLM seperti pengkuantuman, speculative decoding dan continuous batching.
- Penguasaan kukuh terhadap perpustakaan pembelajaran mesin, khususnya PyTorch, TensorRT atau TensorRT-LLM.
- Minat yang terbukti dan pengalaman praktikal dengan model bahasa besar.
- Pemahaman menyeluruh tentang seni bina GPU.
Faedah
- Pakej gaji yang kompetitif dengan penyertaan ekuiti yang bermakna.
- Bagi pekerja di AS, perlindungan insurans perubatan, pergigian dan penglihatan penuh turut meliputi pekerja serta tanggungan mereka.
- Cuti berbayar yang fleksibel, serta cuti musim sejuk untuk seluruh syarikat.
- Cuti ibu bapa berbayar.
- Sokongan kesuburan dan pembinaan keluarga melalui stipend Carrot.
- Bagi pekerja di AS, pelan 401(k) yang difasilitasi syarikat.
- Peluang bekerja dengan pelbagai syarikat pemula pembelajaran mesin, sambil menyokong pembelajaran yang besar dan rangkaian profesional.