Hewlett Packard Enterprise, hibrit bulut ve yapay zekâ odaklı operasyonlar yürüten kuruluşlar için kurumsal teknoloji geliştirir. Portföyünde HPE ProLiant sunucuları ve HPE Cray yüksek performanslı bilgi işlem çözümleri, HPE Alletra depolama, HPE Aruba ağ çözümleri, yapay zekâ platformları ve kullanıma hazır yapay zekâ fabrikaları ile hizmet olarak sunulan GreenLake çözümleri yer alır. HPE ayrıca büyük kuruluşların altyapılarını modernleştirmesine, veri merkezi ortamlarını yönetmesine ve yapay zekâyı geniş ölçekte devreye almasına yardımcı olan Zero Trust ve SASE gibi güvenlik yeteneklerinin yanı sıra profesyonel, danışmanlık ve destek hizmetleri de sunar.
HPE Hybrid Kıdemli Çıkarım Yazılım Mühendisi
Müşteriye ait altyapılar için HPE AI Essentials’ın kurumsal LLM çıkarım çalışma zamanının geliştirilmesine liderlik edin. GPU verimli sunumu, dağıtık yürütmeyi ve Kubernetes orkestrasyonunu iyileştirin.
Açıklama
- LLM sunum dağıtımının motor entegrasyonu, sürekli toplu işleme, KV önbelleği yönetimi ve yeniden kullanımı ile kuantize yürütme gibi temel bileşenlerinin sorumluluğunu üstlenin.
- İlk belirtece kadar geçen süreyi, belirteçler arası gecikmeyi, GPU aktarım hızını ve P95/P99 kuyruk gecikmesini azaltmak için çıkarım mühendisliği ekipleriyle birlikte çalışın.
- Ayrıştırılmış önyükleme ve kod çözme, tensör ve işlem hattı paralelliği ile GPU belleği, ana makine belleği ve RDMA bağlantılı depolama arasında KV önbelleği aktarımı gibi dağıtık yürütme özelliklerini geliştirin ve işletin.
- Gelişmekte olan çalışma zamanlarını, kuantizasyon yöntemlerini, spekülatif kod çözmeyi ve uzmanların karışımı sunumunu değerlendirin; ardından benimsenmesi için teknolojiler önerin.
- Model kabulü, GPU zamanlama ve bölümlendirme, önbellek farkındalıklı istek yönlendirme ve otomatik ölçeklendirmeyi kapsayan orkestrasyon katmanının oluşturulmasına katkıda bulunun.
- Müşteri sorunlarını uçtan uca çözün, kök nedenleri belirleyin ve ilgili sistemleri ve süreçleri güçlendirin.
- Kodu ve tasarımları inceleyin, çalışma arkadaşlarınıza mentorluk yapın ve güçlü mühendislik uygulamalarını örnekleyin.
Gereksinimler
- En az 8 yıllık yazılım mühendisliği deneyimi.
- LLM çıkarım çalışma zamanları veya üretim ortamında model sunumu konusunda bir ila iki ya da daha fazla yıllık doğrudan deneyim.
- Bilgisayar bilimi veya ilgili bir alanda derece.
- vLLM, SGLang, TensorRT-LLM, TGI veya NVIDIA NIM gibi LLM çıkarım motorlarına aşinalık ve motor iç işleyişini değiştirme deneyimi.
- Sürekli toplu işleme, sayfalanmış dikkat, KV önbelleği yeniden kullanımı ve önek önbelleğe alma, parçalı önyükleme, kuantizasyon ve spekülatif kod çözme konusunda güçlü bilgi.
- Tensör ve işlem hattı paralelliği, NCCL toplu işlemleri, GPU bellek hiyerarşisi ve ara bağlantı davranışı hakkında çalışma bilgisi.
- Operatörler, özel kaynaklar, denetleyiciler ve zamanlamayı kapsayan Kubernetes platform mimarisinde ileri düzey yetkinlik.
- Go ve Python’da güçlü programlama becerileri.
- Nsight gibi araçları kullanarak C++ ve CUDA kodunu okuma, hatalarını ayıklama ve profilini çıkarma becerisi.
- RAG ve aracı uygulamalar da dahil olmak üzere çok katmanlı iş yüklerinde hata ayıklama ve profil çıkarma konusunda aşinalık.
- Mükemmel analitik, hata ayıklama ve problem çözme becerileri.
- Tercihen: vLLM, SGLang, TensorRT-LLM, llm-d, LMCache veya KServe projelerine katkı.
- Tercihen: Ayrıştırılmış önyükleme ve kod çözme sunumu ya da büyük ölçekli KV önbelleği aktarımı ve yeniden kullanımı deneyimi.
- Tercihen: RDMA, GPUDirect Storage, InfiniBand veya RoCE deneyimi.
- Tercihen: MIG, bölümlendirilmiş GPU tahsisi ve çok kiracılı GPU izolasyonu deneyimi.
- Tercihen: Şirket içi, internete kapalı veya düzenlemeye tabi kurumsal ortamlar için yazılım geliştirme deneyimi.
Yan Haklar
- Fiziksel sağlığı, finansal güvenliği ve duygusal iyilik halini destekleyen kapsamlı yan haklar.
- Kişisel ve mesleki gelişimi destekleyen programlar.
- Çalışma düzenleri ve kişisel ihtiyaçlar için esneklik.
- Kapsayıcı bir iş yeri kültürü.
- Engelli ve nitelikli adaylar için başvuru veya mülakat sürecinde makul düzenlemeler.