LogoFresh Jobs Ahead
STN Incorporated
STN Incorporated
11 – 50 Karyawan
Keamanan siberPerangkat kerasPerusahaan
STN Incorporated menyediakan layanan pengelolaan TI dan infrastruktur cloud bagi perusahaan serta tim yang membangun perangkat lunak, sistem AI, dan robotika yang sangat penting bagi bisnis. Layanannya mencakup cloud CPU privat, infrastruktur AI berbasis GPU One, jaringan dan penyimpanan yang aman, serta operasional cloud berkelanjutan dengan dukungan manusia 24/7 dan perjanjian tingkat layanan dengan ketersediaan tinggi. Perusahaan ini juga menangani operasional keamanan siber dan respons insiden, manajemen kepatuhan dan risiko, pencadangan dan pemulihan, serta pengadaan teknologi dan pengelolaan siklus hidupnya. STN melayani perusahaan SaaS, pengembang AI dan model, perusahaan robotika, serta organisasi yang diatur, termasuk penyedia layanan kesehatan, dengan infrastruktur yang dirancang untuk mendukung kesiapan audit dan kerangka kerja seperti SOC 2 Type II dan HIPAA.
LinkedIn
Lowongan Perusahaan

Pemimpin Senior Optimasi Beban Kerja Inferensi

Pimpin penyetelan kinerja GPU untuk beban kerja AI pelanggan di platform pusat data otonom STN. Ubah keahlian optimasi menjadi perbaikan yang dapat dijalankan agen dan awasi penyajian model internal.

USAmerika SerikatJarak jauhPenuh waktuSeniorBahasa Wajib: InggrisKecerdasan buatan

Deskripsi

  • Analisis beban kerja pelatihan dan inferensi pelanggan untuk menemukan hambatan kinerja pada pemuatan data, komunikasi kolektif, bandwidth memori, kernel, batching, dan paralelisme.
  • Tetapkan tolok ukur kinerja untuk setiap generasi perangkat keras, dimulai dengan sistem NVIDIA generasi saat ini.
  • Ubah keahlian optimasi menjadi perbaikan yang dapat diterapkan agen di seluruh klaster pelanggan.
  • Sesuaikan beban kerja bersama pelanggan berkapasitas terkomitmen, secara langsung atau melalui tim operasi mereka.
  • Sebagai tanggung jawab sekunder, kelola penyajian model internal, termasuk perutean yang mempertimbangkan biaya dan latensi serta migrasi versi model.
  • Berikan saran tentang alokasi GPU antara inferensi internal dan beban kerja pelanggan.

Persyaratan

  • Memiliki keahlian mendalam dalam rekayasa kinerja GPU, termasuk pembuatan profil, perilaku memori dan bandwidth, serta pemahaman pada tingkat kernel.
  • Memiliki pengetahuan langsung tentang tumpukan penyajian seperti vLLM, SGLang, atau TensorRT-LLM, termasuk batching, pengelolaan cache KV, dan kompromi kuantisasi.
  • Berpengalaman dalam pelatihan dan inferensi terdistribusi berskala besar, termasuk paralelisme tensor, pipeline, dan data.
  • Berpengalaman menyetel komunikasi kolektif, seperti NCCL.
  • Mahir menggunakan alat pembuatan profil seperti Nsight, DCGM, dan profiler tingkat kerangka kerja.
  • Mampu menjelaskan temuan kinerja kepada pelanggan dan merumuskan solusi untuk agen.
  • Nilai tambah: pengembangan kernel CUDA, penerapan model berbobot terbuka berskala besar, perancangan tolok ukur, dan pengalaman teknis sebelumnya dalam berhadapan dengan pelanggan.

Lowongan Terkait

CDW

Insinyur Konsultasi Infrastruktur AI, Komputasi dan Penyimpanan

CDW
Sponsor Visa H1BKonsultasiLayanan kesehatanPendidikan
USAmerika Serikat
$77.725 – $108.265 / tahun
Jarak jauhPenuh waktuMenengahSeniorBahasa Wajib: InggrisKecerdasan buatan
KubernetesLinuxNFS

Merancang dan memvalidasi solusi komputasi GPU dan penyimpanan berkinerja tinggi untuk beban kerja AI dan pembelajaran mesin perusahaan. Membantu pelanggan CDW menerapkan infrastruktur untuk pelatihan AI, penyempurnaan, dan inferensi.

Buka