Aleph Alpha هي شركة متخصصة في أبحاث الذكاء الاصطناعي وتطبيقاته، وتعمل على تطوير نماذج واسعة النطاق للغة وبيانات الصور والاستدلال الاستراتيجي. يقع مقر الشركة في هايدلبرغ بألمانيا، وتركّز على تحويل أبحاث الذكاء الاصطناعي المتقدمة إلى أنظمة تشغيلية، مع دعم السيادة الرقمية لأوروبا. وتخدم أعمالها حالات استخدام للشركات والمؤسسات في قطاع التكنولوجيا الموجّه للأعمال.
باحث أول في الذكاء الاصطناعي، التدريب المسبق للنماذج الأساسية — ألف ألفا، هايدلبرغ
قد العمل على تصميم البنى والتدريب المسبق واسع النطاق لنماذج ألف ألفا الأساسية الأوروبية، وتطوير أساليب التدريب عبر آلاف وحدات معالجة الرسوميات. طوّر وصفات تدريب باستخدام PyTorch مع الفريق الهجين في هايدلبرغ.
الوصف
- طوّر بنى وأساليب تدريب للجيل القادم من النماذج الأساسية لدى ألف ألفا.
- تولَّ قيادة المكونات الأساسية لوصفات التدريب، بما يشمل المحسّنات والجداول الزمنية والتهيئة.
- أنشئ تحسينات معمارية باستخدام PyTorch تعزز التقارب والاستقرار وكفاءة التدريب.
- ضع قوانين تحجيم المعلمات الفائقة وأساليب توسيع نطاق عمليات التدريب.
- أجرِ تجارب بديلة صغيرة للتنبؤ بالسلوك عبر آلاف وحدات معالجة الرسوميات والحد من مخاطر التدريب.
- شخّص مشكلات التقارب، بما في ذلك الارتفاعات المفاجئة في الخسارة والتباعد.
- عالج إخفاقات التدريب الموزع، مثل اختناقات الاتصال وظروف السباق وأخطاء المزامنة.
- تعاون مع فرق أداء الحوسبة والبيانات والتقييم وما بعد التدريب في التصميم المشترك للأنظمة والنماذج.
- حوّل التحليل الرياضي والأدلة التجريبية إلى قرارات تدريب مدروسة.
- قدّم شيفرة بجودة إنتاجية تحسن جودة النماذج وموثوقية التشغيل والكفاءة.
المتطلبات
- إتقان Python ومعرفة قوية بسير عمل التدريب باستخدام PyTorch.
- سجل مثبت في أبحاث تعلّم الآلة وهندسة البرمجيات، يتجلى في نماذج مطروحة أو أعمال مؤثرة مفتوحة المصدر أو أبحاث منشورة.
- أساس رياضي متين والقدرة على الاستدلال الرسمي بشأن التحسين وسلوك التحجيم وديناميكيات التدريب.
- معرفة معمقة بديناميكيات تدريب المحوّلات والتحسين وعمليات التدريب الموزع واسعة النطاق.
- القدرة على تصميم تجارب صارمة والاستفادة من نتائجها لتوجيه قرارات تدريب موثوقة.
- خبرة عملية في التدريب المسبق لنماذج كبيرة، مثل نماذج تضم 7 مليارات معلمة أو أكثر، على بنية تحتية كبيرة، مثل عناقيد تضم 100 وحدة معالجة رسوميات أو أكثر.
- اتباع ممارسات هندسة برمجيات سليمة، بما فيها كتابة شيفرة قابلة للصيانة والاختبار وإجراء تجارب قابلة لإعادة الإنتاج.
- القدرة على تنفيذ بنى معقدة بكفاءة وموثوقية وتصحيح أخطاء الشيفرة وسلوك التدريب والأنظمة الموزعة.
- التواصل الواضح والتعاون الفعال بين الفرق.
- الأهلية للعمل في ألمانيا والاستعداد للتعاون الحضوري بانتظام في هايدلبرغ.
- مفضّل: خبرة في تدريب نماذج اللغة الكبيرة أو النماذج متعددة الوسائط على عناقيد كبيرة لوحدات معالجة الرسوميات باستخدام أطر موزعة مثل Megatron-LM أو DeepSpeed أو torchtitan.
- مفضّل: إلمام بقوانين التحجيم أو نقل المعلمات الفائقة أو التنبؤ بسلوك التدريب واسع النطاق انطلاقًا من عمليات تجريبية بديلة.
- مفضّل: خبرة في تحليل أداء المهام الموزعة وتشخيص الحالات غير المعتادة في التدريب.
- مفضّل: معرفة بأساليب التدريب المتناثر مثل مزيج الخبراء.
- مفضّل: منشورات في مؤتمرات مرموقة أو مساهمات مؤثرة مفتوحة المصدر أو أعمال تقنية مهمة مطروحة.
المزايا
- 30 يومًا من الإجازة السنوية مدفوعة الأجر.
- إمكانية الاستفادة من خدمات اللياقة والعافية عبر Wellhub.
- دعم للصحة النفسية عبر nilo.health.
- خطة تقاعد للشركة مدعومة بدرجة كبيرة.
- تذكرة مواصلات مدعومة صالحة على مستوى ألمانيا.
- ميزانية لشراء معدات تقنية إضافية.
- ساعات عمل مرنة.
- نظام عمل هجين.
- تأجير الدراجات عبر JobRad®.