Η Aleph Alpha είναι εταιρεία έρευνας και εφαρμογών τεχνητής νοημοσύνης που αναπτύσσει μοντέλα μεγάλης κλίμακας για τη γλώσσα, δεδομένα εικόνας και στρατηγικό συλλογισμό. Με έδρα τη Χαϊδελβέργη της Γερμανίας, η εταιρεία επικεντρώνεται στη μετατροπή της προηγμένης έρευνας στην τεχνητή νοημοσύνη σε λειτουργικά συστήματα, υποστηρίζοντας παράλληλα την ψηφιακή κυριαρχία της Ευρώπης. Το έργο της εξυπηρετεί επιχειρηματικές και οργανωτικές περιπτώσεις χρήσης στον τομέα της τεχνολογίας B2B.
Ανώτερος ερευνητής τεχνητής νοημοσύνης, προεκπαίδευση μοντέλων θεμελίωσης — Aleph Alpha, Χαϊδελβέργη
Ηγηθείτε του σχεδιασμού αρχιτεκτονικής και της προεκπαίδευσης μεγάλης κλίμακας για τα ευρωπαϊκά μοντέλα θεμελίωσης της Aleph Alpha, διαμορφώνοντας μεθόδους εκπαίδευσης σε χιλιάδες GPU. Δημιουργήστε και βελτιώστε συνταγές εκπαίδευσης PyTorch με την υβριδική ομάδα στη Χαϊδελβέργη.
Περιγραφή
- Αναπτύξτε αρχιτεκτονικές και μεθόδους εκπαίδευσης για την επόμενη γενιά μοντέλων θεμελίωσης της Aleph Alpha.
- Ηγηθείτε βασικών στοιχείων των συνταγών εκπαίδευσης, όπως βελτιστοποιητές, χρονοδιαγράμματα και αρχικοποίηση.
- Δημιουργήστε βελτιώσεις στην αρχιτεκτονική PyTorch που ενισχύουν τη σύγκλιση, τη σταθερότητα και την αποδοτικότητα της εκπαίδευσης.
- Καθορίστε νόμους κλιμάκωσης υπερπαραμέτρων και μεθόδους για την κλιμάκωση των εκτελέσεων εκπαίδευσης.
- Εκτελέστε μικρά πειράματα υποκατάστασης για την πρόβλεψη της συμπεριφοράς σε χιλιάδες GPU και τη μείωση του κινδύνου εκπαίδευσης.
- Διαγνώστε προβλήματα σύγκλισης, όπως απότομες αυξήσεις της απώλειας και απόκλιση.
- Αντιμετωπίστε αστοχίες κατανεμημένης εκπαίδευσης, όπως σημεία συμφόρησης επικοινωνίας, συνθήκες ανταγωνισμού και σφάλματα συγχρονισμού.
- Συνεργαστείτε με τις ομάδες Απόδοσης Υπολογισμού, Δεδομένων, Αξιολόγησης και Μετεκπαίδευσης για τον από κοινού σχεδιασμό συστημάτων και μοντέλων.
- Μετατρέψτε τη μαθηματική ανάλυση και τα πειραματικά στοιχεία σε τεκμηριωμένες αποφάσεις εκπαίδευσης.
- Παραδώστε κώδικα ποιότητας παραγωγής που βελτιώνει την ποιότητα των μοντέλων, την αξιοπιστία των εκτελέσεων και την αποδοτικότητα.
Απαιτήσεις
- Άριστη γνώση Python και ισχυρή εξοικείωση με τις ροές εργασίας εκπαίδευσης PyTorch.
- Αποδεδειγμένο ιστορικό στην έρευνα μηχανικής μάθησης και τη μηχανική λογισμικού, μέσω μοντέλων που έχουν διατεθεί, σημαντικής συνεισφοράς σε λογισμικό ανοικτού κώδικα ή δημοσιευμένης έρευνας.
- Ισχυρό μαθηματικό υπόβαθρο και ικανότητα επίσημης συλλογιστικής γύρω από τη βελτιστοποίηση, τη συμπεριφορά κλιμάκωσης και τη δυναμική της εκπαίδευσης.
- Σε βάθος γνώση της δυναμικής εκπαίδευσης μετασχηματιστών, της βελτιστοποίησης και των μεγάλων κατανεμημένων εκτελέσεων εκπαίδευσης.
- Ικανότητα σχεδιασμού αυστηρών πειραμάτων και αξιοποίησης των ευρημάτων τους για τη λήψη αξιόπιστων αποφάσεων εκπαίδευσης.
- Πρακτική εμπειρία στην προεκπαίδευση μεγάλων μοντέλων, όπως μοντέλων με 7 δισεκατομμύρια παραμέτρους ή περισσότερες, σε σημαντικές υποδομές, όπως συστοιχίες 100 ή περισσότερων GPU.
- Ορθές πρακτικές μηχανικής λογισμικού, όπως συντηρήσιμος, καλά δοκιμασμένος κώδικας και αναπαραγώγιμα πειράματα.
- Ικανότητα αποδοτικής και αξιόπιστης υλοποίησης σύνθετων αρχιτεκτονικών και εντοπισμού σφαλμάτων σε κώδικα μοντέλων, συμπεριφορά εκπαίδευσης και κατανεμημένα συστήματα.
- Σαφής επικοινωνία και αποτελεσματική συνεργασία μεταξύ ομάδων.
- Δικαίωμα εργασίας στη Γερμανία και διαθεσιμότητα για τακτική συνεργασία με φυσική παρουσία στη Χαϊδελβέργη.
- Επιθυμητό: εμπειρία στην εκπαίδευση μεγάλων γλωσσικών μοντέλων ή πολυτροπικών μοντέλων σε μεγάλες συστοιχίες GPU με κατανεμημένα πλαίσια όπως Megatron-LM, DeepSpeed ή torchtitan.
- Επιθυμητό: εξοικείωση με νόμους κλιμάκωσης, μεταφορά υπερπαραμέτρων ή πρόβλεψη της συμπεριφοράς εκπαίδευσης μεγάλης κλίμακας από εκτελέσεις υποκατάστασης.
- Επιθυμητό: εμπειρία στην ανάλυση απόδοσης κατανεμημένων εργασιών και στη διάγνωση ανωμαλιών εκπαίδευσης.
- Επιθυμητό: εξοικείωση με αραιές μεθόδους εκπαίδευσης όπως το Mixture-of-Experts.
- Επιθυμητές: δημοσιεύσεις κορυφαίου επιπέδου, σημαντικές συνεισφορές ανοικτού κώδικα ή ουσιαστικό τεχνικό έργο που έχει διατεθεί.
Παροχές
- 30 ημέρες ετήσιας άδειας μετ’ αποδοχών.
- Πρόσβαση σε παροχές φυσικής κατάστασης και ευεξίας μέσω Wellhub.
- Υποστήριξη ψυχικής υγείας μέσω nilo.health.
- Σημαντικά επιδοτούμενο συνταξιοδοτικό πρόγραμμα της εταιρείας.
- Επιδοτούμενο εισιτήριο μεταφορών με πανεθνική ισχύ στη Γερμανία.
- Προϋπολογισμός για πρόσθετο τεχνικό εξοπλισμό.
- Ευέλικτο ωράριο εργασίας.
- Υβριδικό μοντέλο εργασίας.
- Μίσθωση ποδηλάτου μέσω JobRad®.