Aleph Alpha adalah perusahaan riset dan aplikasi kecerdasan buatan yang mengembangkan model berskala besar untuk bahasa, data gambar, dan penalaran strategis. Berbasis di Heidelberg, Jerman, perusahaan ini berfokus mengubah riset AI mutakhir menjadi sistem operasional sekaligus mendukung kedaulatan digital Eropa. Karyanya melayani berbagai kebutuhan bisnis dan organisasi di sektor teknologi B2B.
Peneliti AI Senior, Pra-pelatihan Model Fondasi — Aleph Alpha, Heidelberg
Pimpin arsitektur dan pra-pelatihan skala besar untuk model fondasi Eropa Aleph Alpha, serta bentuk metode pelatihan di ribuan GPU. Bangun dan sempurnakan resep pelatihan PyTorch bersama tim hibrida yang berbasis di Heidelberg.
Deskripsi
- Kembangkan arsitektur dan metode pelatihan untuk generasi model fondasi Aleph Alpha berikutnya.
- Pimpin komponen inti resep pelatihan, termasuk pengoptimal, jadwal, dan inisialisasi.
- Buat peningkatan arsitektur PyTorch yang memperkuat konvergensi, stabilitas, dan efisiensi pelatihan.
- Tetapkan hukum penskalaan hiperparameter dan metode untuk memperbesar skala proses pelatihan.
- Jalankan eksperimen proksi berskala kecil untuk memperkirakan perilaku pada ribuan GPU dan mengurangi risiko pelatihan.
- Diagnosis masalah konvergensi, termasuk lonjakan loss dan divergensi.
- Atasi kegagalan pelatihan terdistribusi, seperti hambatan komunikasi, kondisi balapan, dan kesalahan sinkronisasi.
- Bekerja sama dengan tim Kinerja Komputasi, Data, Evaluasi, dan Pasca-Pelatihan dalam perancangan bersama sistem dan model.
- Gunakan analisis matematis dan bukti eksperimen untuk mengambil keputusan pelatihan yang tepat.
- Hasilkan kode berkualitas produksi yang meningkatkan kualitas model, keandalan proses, dan efisiensi.
Persyaratan
- Mahir menggunakan Python dan sangat memahami alur kerja pelatihan PyTorch.
- Memiliki rekam jejak terbukti dalam riset pembelajaran mesin dan rekayasa perangkat lunak, yang ditunjukkan melalui model yang telah dirilis, kontribusi sumber terbuka yang berpengaruh, atau riset yang dipublikasikan.
- Memiliki dasar matematika yang kuat dan mampu bernalar secara formal tentang optimisasi, perilaku penskalaan, dan dinamika pelatihan.
- Memiliki pengetahuan mendalam tentang dinamika pelatihan transformer, optimisasi, dan proses pelatihan terdistribusi berskala besar.
- Mampu merancang eksperimen yang ketat dan menggunakan temuannya untuk memandu keputusan pelatihan yang andal.
- Berpengalaman secara praktis melakukan pra-pelatihan model besar, misalnya model dengan 7 miliar parameter atau lebih, pada infrastruktur besar seperti klaster dengan 100 GPU atau lebih.
- Menerapkan praktik rekayasa perangkat lunak yang baik, termasuk kode yang mudah dipelihara dan teruji dengan baik serta eksperimen yang dapat direproduksi.
- Mampu menerapkan arsitektur kompleks secara efisien dan andal serta men-debug kode model, perilaku pelatihan, dan sistem terdistribusi.
- Mampu berkomunikasi dengan jelas dan berkolaborasi secara efektif lintas tim.
- Memenuhi syarat untuk bekerja di Jerman dan bersedia berkolaborasi secara rutin langsung di Heidelberg.
- Diutamakan: pengalaman melatih LLM atau model multimodal pada klaster GPU besar dengan kerangka kerja terdistribusi seperti Megatron-LM, DeepSpeed, atau torchtitan.
- Diutamakan: memahami hukum penskalaan, transfer hiperparameter, atau perkiraan perilaku pelatihan skala besar berdasarkan proses proksi.
- Diutamakan: pengalaman membuat profil pekerjaan terdistribusi dan mendiagnosis anomali pelatihan.
- Diutamakan: pengalaman dengan metode pelatihan jarang seperti Mixture-of-Experts.
- Diutamakan: publikasi kelas atas, kontribusi sumber terbuka yang berpengaruh, atau hasil kerja teknis signifikan yang telah dirilis.
Tunjangan
- Cuti tahunan berbayar selama 30 hari.
- Akses ke fasilitas kebugaran dan kesehatan melalui Wellhub.
- Dukungan kesehatan mental melalui nilo.health.
- Program pensiun perusahaan dengan subsidi besar.
- Tiket transportasi nasional bersubsidi di Jerman.
- Anggaran untuk peralatan teknis tambahan.
- Jam kerja fleksibel.
- Pengaturan kerja hibrida.
- Sewa sepeda melalui JobRad®.