Baseten, makine öğrenimi ve yapay zekâ uygulamaları geliştiren şirketler için model çıkarımı altyapısı sunar. Platformu; yüksek hacimli çıkarım, hızlı dağıtım, otomatik ölçeklendirme, güvenli kurumsal model sunumu ve açık kaynaklı modellerin paketlenmesine yönelik destek özelliklerini bir araya getirerek hızlı ve ölçeklenebilir sunum için tasarlanmıştır. Baseten, mühendislik ve makine öğrenimi ekiplerinin model altyapısının operasyonel gereksinimlerini yönetmesine yardımcı olur; böylece ekipler alana özgü modeller geliştirmeye odaklanabilir. Şirket yapay zekâ, SaaS ve kurumsal teknoloji alanlarında faaliyet gösterir ve 11–50 kişilik bir ekibe sahiptir.
Baseten'de Çıkarım Performansı Yazılım Mühendisi (Hibrit)
Baseten, LLM çalışma zamanlarını, GPU çekirdeklerini ve model sunum sistemlerini optimize edecek bir çıkarım performansı mühendisi arıyor. Bu rol, üretim ortamında çıkarım hızını, donanım kullanımını ve maliyet verimliliğini iyileştirmeye odaklanır.
Açıklama
- Niceleme, spekülatif kod çözme, KV önbelleğinin yeniden kullanımı, parçalı ön doldurma, LoRA, yönlendirmeli üretim ve özel zamanlama veya yönlendirme gibi gelişmiş çıkarım yöntemlerini üretim ortamına hazır hâle getirmek.
- Çekirdek ek yükünü, bellek yerleşimini, istek zamanlamasını, ön doldurma/kod çözme ayrımını ve önbellek farkındalıklı yönlendirmeyi optimize ederek çıkarım hattının tamamını analiz etmek.
- Gecikme, iş hacmi ve maliyet arasında denge kurarken GPU-saat başına üretilen belirteç sayısını ve kullanım oranını artırmak.
- Yeni donanım platformlarında ortaya çıkan model mimarilerini kullanıma sunmak ve optimize etmek.
- Model türleri, toplu iş boyutları, dizi uzunlukları ve donanım yapılandırmalarını kapsayan karşılaştırmalı testler oluşturmak.
- vLLM, SGLang ve TensorRT-LLM dâhil açık kaynaklı çıkarım projelerine iyileştirmeler göndermek.
- Ölçülebilir performans kazanımları sağlamak için model, altyapı ve müşteriyle doğrudan çalışan ekiplerle iş birliği yapmak.
Gereksinimler
- Bilgisayar bilimi, mühendislik, matematik veya ilgili bir disiplinde lisans, yüksek lisans ya da doktora derecesi.
- Python veya C++ dâhil en az bir genel amaçlı programlama dilinde profesyonel deneyim.
- Niceleme, spekülatif kod çözme ve sürekli toplu işleme gibi LLM optimizasyon yöntemleri hakkında çalışma bilgisi.
- Özellikle PyTorch, TensorRT veya TensorRT-LLM olmak üzere makine öğrenimi kütüphanelerine hâkimiyet.
- Büyük dil modellerine ilgi ve bu alanda pratik deneyim sahibi olduğunu gösteren geçmiş.
- GPU mimarisi hakkında kapsamlı bilgi.
Yan Haklar
- Rekabetçi ücret paketi ve anlamlı hisse payı.
- ABD çalışanları için tam kapsamlı sağlık, diş ve göz sigortası; çalışanları ve bakmakla yükümlü oldukları kişileri kapsar.
- Esnek ücretli izin ve şirket genelinde kış tatili.
- Ücretli ebeveyn izni.
- Carrot ödeneği aracılığıyla doğurganlık ve aile kurma desteği.
- ABD çalışanları için şirket aracılığıyla sunulan 401(k) planı.
- Çeşitli makine öğrenimi girişimleriyle çalışma, kapsamlı öğrenme ve profesyonel ağ oluşturma fırsatları.