Aleph Alpha ialah syarikat penyelidikan dan aplikasi kecerdasan buatan yang membangunkan model berskala besar untuk bahasa, data imej dan penaakulan strategik. Berpangkalan di Heidelberg, Jerman, syarikat ini memberi tumpuan untuk mengubah penyelidikan AI termaju menjadi sistem operasi sambil menyokong kedaulatan digital Eropah. Usahanya memenuhi keperluan perniagaan dan organisasi dalam sektor teknologi B2B.
Penyelidik AI Kanan, Pra-latihan Model Asas — Aleph Alpha, Heidelberg
Pimpin kerja seni bina dan pra-latihan berskala besar untuk model asas Eropah Aleph Alpha, serta bentuk kaedah latihan merentasi ribuan GPU. Bina dan perhalus resipi latihan PyTorch bersama pasukan hibrid yang berpangkalan di Heidelberg.
Penerangan
- Bangunkan seni bina dan kaedah latihan untuk generasi model asas Aleph Alpha yang seterusnya.
- Pimpin komponen teras resipi latihan, termasuk pengoptimum, jadual dan pemulaan.
- Hasilkan penambahbaikan seni bina PyTorch yang mengukuhkan penumpuan, kestabilan dan kecekapan latihan.
- Tetapkan hukum penskalaan hiperparameter dan kaedah untuk meningkatkan skala latihan.
- Jalankan eksperimen proksi kecil untuk meramalkan tingkah laku pada ribuan GPU dan mengurangkan risiko latihan.
- Diagnosis masalah penumpuan, termasuk lonjakan loss dan pencapahan.
- Selesaikan kegagalan latihan teragih seperti kesesakan komunikasi, keadaan perlumbaan dan ralat penyegerakan.
- Bekerjasama dengan pasukan Prestasi Pengkomputeran, Data, Penilaian dan Pasca-Latihan dalam reka bentuk bersama sistem dan model.
- Gunakan analisis matematik dan bukti eksperimen untuk membuat keputusan latihan yang mantap.
- Hasilkan kod bertaraf produksi yang meningkatkan kualiti model, kebolehpercayaan larian dan kecekapan.
Keperluan
- Mahir dalam Python dan sangat biasa dengan aliran kerja latihan PyTorch.
- Rekod prestasi terbukti dalam penyelidikan pembelajaran mesin dan kejuruteraan perisian, yang ditunjukkan melalui model yang telah dilancarkan, sumbangan sumber terbuka yang berpengaruh atau penyelidikan yang diterbitkan.
- Asas matematik yang kukuh dan kebolehan menaakul secara formal tentang pengoptimuman, tingkah laku penskalaan dan dinamik latihan.
- Pengetahuan mendalam tentang dinamik latihan transformer, pengoptimuman dan larian latihan teragih berskala besar.
- Berkebolehan mereka bentuk eksperimen yang rapi dan menggunakan dapatan untuk memandu keputusan latihan yang teguh.
- Pengalaman praktikal melakukan pra-latihan model besar, seperti model dengan sekurang-kurangnya 7B parameter, pada infrastruktur besar seperti kelompok yang mempunyai sekurang-kurangnya 100 GPU.
- Amalan kejuruteraan perisian yang baik, termasuk kod yang mudah diselenggara dan diuji serta eksperimen yang boleh dihasilkan semula.
- Berkebolehan melaksanakan seni bina kompleks dengan cekap dan andal, serta menyahpepijat kod model, tingkah laku latihan dan sistem teragih.
- Komunikasi yang jelas dan kerjasama rentas pasukan yang berkesan.
- Layak bekerja di Jerman dan bersedia untuk kerjasama secara bersemuka di Heidelberg secara berkala.
- Diutamakan: pengalaman melatih LLM atau model multimodal pada kelompok GPU besar menggunakan rangka kerja teragih seperti Megatron-LM, DeepSpeed atau torchtitan.
- Diutamakan: pengetahuan tentang hukum penskalaan, pemindahan hiperparameter atau ramalan tingkah laku latihan skala besar berdasarkan larian proksi.
- Diutamakan: pengalaman memprofilkan tugas teragih dan mendiagnosis anomali latihan.
- Diutamakan: pendedahan kepada kaedah latihan sparse seperti Mixture-of-Experts.
- Diutamakan: penerbitan bertaraf tinggi, sumbangan sumber terbuka yang berpengaruh atau hasil kerja teknikal penting yang telah dilancarkan.
Faedah
- Cuti tahunan berbayar selama 30 hari.
- Akses kepada kemudahan kecergasan dan kesejahteraan melalui Wellhub.
- Sokongan kesihatan mental melalui nilo.health.
- Pelan pencen syarikat dengan subsidi yang besar.
- Tiket pengangkutan seluruh negara di Jerman dengan subsidi.
- Bajet untuk peralatan teknikal tambahan.
- Waktu kerja fleksibel.
- Pengaturan kerja hibrid.
- Pajakan basikal JobRad®.