Baseten, makine öğrenimi ve yapay zekâ uygulamaları geliştiren şirketler için model çıkarımı altyapısı sunar. Platformu; yüksek hacimli çıkarım, hızlı dağıtım, otomatik ölçeklendirme, güvenli kurumsal model sunumu ve açık kaynaklı modellerin paketlenmesine yönelik destek özelliklerini bir araya getirerek hızlı ve ölçeklenebilir sunum için tasarlanmıştır. Baseten, mühendislik ve makine öğrenimi ekiplerinin model altyapısının operasyonel gereksinimlerini yönetmesine yardımcı olur; böylece ekipler alana özgü modeller geliştirmeye odaklanabilir. Şirket yapay zekâ, SaaS ve kurumsal teknoloji alanlarında faaliyet gösterir ve 11–50 kişilik bir ekibe sahiptir.
Yazılım Mühendisi, LLM Çıkarım Platformu - Baseten Hibrit
Yapay zekâ şirketleri için Baseten’in dağıtık LLM çıkarım platformunu geliştirin. Kubernetes orkestrasyonu, model API’leri, yönlendirme, otomatik ölçeklendirme ve üretim gözlemlenebilirliği üzerinde çalışın.
Açıklama
- Büyük ölçekli dağıtık LLM çıkarımı için yönlendirme, otomatik ölçeklendirme, zamanlama ve çalışma zamanı yönetimini kapsayan altyapı ve orkestrasyon geliştirin.
- Yapılandırılmış çıktıları, araç ve işlev çağrılarını ve çok modlu sunumu destekleyen Model API’lerini geliştirin ve işletin.
- API sürümlemeyi, istek doğrulamayı, kullanım ölçümünü, kotaları ve kimlik doğrulamayı uygulayın.
- Hız, güvenilirlik ve kalite için ölçümler, izler ve günlüklerin yanı sıra tekrarlanabilir kıyaslamalar oluşturun.
- Test, sürüm otomasyonu ve operasyonel mükemmellik için güçlü uygulamalar tanımlayın.
- Kubernetes, dağıtık çalışma zamanları, ağ iletişimi ve GPU iş yükleri genelinde üretim sistemlerindeki sorunları teşhis edin ve sistemleri güçlendirin.
- Müşteriye yönelik optimizasyonlar sunmak için Çıkarım Performansı mühendisleri ve iş ortağı ekiplerle iş birliği yapın.
- Müşteri geri bildirimleriyle şekillenen izleme ve yineleme süreçleri de dâhil olmak üzere projelere mimari ve dağıtımdan itibaren liderlik edin.
- Sistem performansı, güvenilirlik, operasyonel yalınlık ve geliştirici deneyimi arasında denge kurun.
Gereksinimler
- Bilgisayar bilimi, mühendislik veya ilgili bir alanda lisans, yüksek lisans ya da doktora derecesi veya eşdeğer pratik deneyim.
- Güvenilirlik, gecikme süresi ve ölçeğin kritik olduğu dağıtık sistemler, arka uç altyapısı veya büyük ölçekli API’ler geliştirme ve işletme konusunda en az üç yıl deneyim.
- Hız sınırlama, kimlik doğrulama, kotalar, ölçümleme ve geçişleri içeren düşük gecikmeli, güvenilir arka uç hizmetlerinde sorumluluk üstlenmiş olmak.
- Profil oluşturma, izleme, kapasite planlama ve SLO yönetimi dâhil olmak üzere güçlü altyapı muhakemesi.
- Uygulama, çalışma zamanı ve altyapı katmanlarındaki performans ve güvenilirlik sorunlarını teşhis edebilme.
- Geliştirici deneyimine güçlü biçimde odaklanma.
- Çıkarım mühendisliğine ilgiyle yeni dilleri, çerçeveleri ve sistemleri öğrenmeye istekli olma.
- Açık tasarım dokümantasyonu ve etkili ekipler arası çalışma dâhil olmak üzere mükemmel yazılı iletişim ve iş birliği becerileri.
- vLLM, SGLang, TensorRT-LLM, TGI veya Dynamo gibi LLM çıkarım motorları ya da çerçeveleriyle deneyim veya bu projelere katkı artıdır.
- Operatörler ve özel kaynaklar dâhil olmak üzere derin Kubernetes deneyimi; hizmet ağları veya API ağ geçitlerine aşinalık artıdır.
- Dağıtık zamanlama, otomatik ölçeklendirme veya hizmet orkestrasyonu deneyimi artıdır.
- GPU iş yüklerini üretimde çalıştırma deneyimi artıdır.
- Geliştiriciye yönelik altyapı veya API’ler konusunda geçmiş ya da açık kaynak altyapı veya makine öğrenimi sistemlerine katkı artıdır.
- Gözlemlenebilirlik araçlarına, CI/CD sistemlerine veya sürüm otomasyonuna aşinalık artıdır.
Yan Haklar
- Rekabetçi ücretlendirme ve anlamlı hisse payı.
- ABD çalışanları ve bakmakla yükümlü oldukları kişiler için sağlık, diş ve görme sigortasının tamamen karşılanması.
- Şirket genelindeki Kış Tatili de dâhil esnek ücretli izin.
- Ücretli ebeveyn izni.
- Carrot ödeneği aracılığıyla doğurganlık ve aile kurma desteği.
- ABD çalışanları için şirketin kolaylaştırdığı 401(k) planı.
- Çeşitli makine öğrenimi girişimleriyle çalışma fırsatı; öğrenme ve profesyonel ağ oluşturma açısından önemli imkânlar.