Η Baseten παρέχει υποδομή εξαγωγής συμπερασμάτων από μοντέλα για εταιρείες που αναπτύσσουν εφαρμογές μηχανικής μάθησης και τεχνητής νοημοσύνης. Η πλατφόρμα της έχει σχεδιαστεί για γρήγορη και κλιμακούμενη εξυπηρέτηση μοντέλων, συνδυάζοντας εξαγωγή συμπερασμάτων υψηλής απόδοσης, ταχεία ανάπτυξη, αυτόματη κλιμάκωση, ασφαλή εξυπηρέτηση μοντέλων για επιχειρήσεις και υποστήριξη πακεταρίσματος μοντέλων ανοιχτού κώδικα. Η Baseten βοηθά τις ομάδες μηχανικής και μηχανικής μάθησης να διαχειρίζονται τις λειτουργικές απαιτήσεις της υποδομής μοντέλων, ώστε να μπορούν να επικεντρώνονται στην ανάπτυξη μοντέλων για συγκεκριμένους κλάδους. Η εταιρεία δραστηριοποιείται στους τομείς της τεχνητής νοημοσύνης, του λογισμικού ως υπηρεσίας και της επιχειρησιακής τεχνολογίας, με ομάδα 11–50 εργαζομένων.
Μηχανικός Λογισμικού για την Απόδοση Συμπερασμού στη Baseten (Υβριδική Εργασία)
Η Baseten προσλαμβάνει μηχανικό απόδοσης συμπερασμού για τη βελτιστοποίηση χρόνων εκτέλεσης LLM, πυρήνων GPU και συστημάτων εξυπηρέτησης μοντέλων. Ο ρόλος εστιάζει στην επιτάχυνση του συμπερασμού σε παραγωγή, στην καλύτερη αξιοποίηση του υλικού και στην αποδοτικότητα κόστους.
Περιγραφή
- Μετατροπή προηγμένων μεθόδων συμπερασμού σε λύσεις έτοιμες για παραγωγή, όπως κβαντοποίηση, speculative decoding, επαναχρησιμοποίηση μνήμης KV-cache, τμηματικό prefill, LoRA, καθοδηγούμενη δημιουργία και προσαρμοσμένος προγραμματισμός ή δρομολόγηση.
- Ανάλυση ολόκληρης της ροής συμπερασμού και βελτιστοποίηση του overhead των kernels, της τοποθέτησης μνήμης, του προγραμματισμού αιτημάτων, του διαχωρισμού prefill/decode και της δρομολόγησης με επίγνωση της cache.
- Αύξηση των tokens ανά GPU-ώρα και της αξιοποίησης, με εξισορρόπηση καθυστέρησης, throughput και κόστους.
- Ανάπτυξη και βελτιστοποίηση νέων αρχιτεκτονικών μοντέλων σε νέες πλατφόρμες υλικού.
- Δημιουργία benchmarks που καλύπτουν τύπους μοντέλων, μεγέθη batch, μήκη ακολουθιών και διαμορφώσεις υλικού.
- Συνεισφορά βελτιώσεων σε έργα συμπερασμού ανοιχτού κώδικα, όπως τα vLLM, SGLang και TensorRT-LLM.
- Συνεργασία με ομάδες μοντέλων, υποδομών και εξυπηρέτησης πελατών για την επίτευξη μετρήσιμων βελτιώσεων απόδοσης.
Απαιτήσεις
- Πτυχίο, μεταπτυχιακό ή διδακτορικό στην επιστήμη υπολογιστών, τη μηχανική, τα μαθηματικά ή συναφή κλάδο.
- Επαγγελματική εμπειρία σε τουλάχιστον μία γλώσσα προγραμματισμού γενικού σκοπού, συμπεριλαμβανομένων των Python ή C++.
- Πρακτική γνώση μεθόδων βελτιστοποίησης LLM, όπως κβαντοποίηση, speculative decoding και συνεχές batching.
- Ισχυρή γνώση βιβλιοθηκών μηχανικής μάθησης, ιδιαίτερα των PyTorch, TensorRT ή TensorRT-LLM.
- Αποδεδειγμένο ενδιαφέρον για μεγάλα γλωσσικά μοντέλα και πρακτική εμπειρία με αυτά.
- Σε βάθος κατανόηση της αρχιτεκτονικής GPU.
Παροχές
- Ανταγωνιστικό πακέτο αποδοχών με ουσιαστική συμμετοχή στο μετοχικό κεφάλαιο.
- Για εργαζομένους στις ΗΠΑ, πλήρης κάλυψη ιατρικής, οδοντιατρικής και οφθαλμολογικής ασφάλισης για τους εργαζομένους και τα εξαρτώμενα μέλη τους.
- Ευέλικτη άδεια μετ’ αποδοχών, καθώς και εταιρικό χειμερινό διάλειμμα.
- Άδεια γονικής μέριμνας μετ’ αποδοχών.
- Υποστήριξη γονιμότητας και δημιουργίας οικογένειας μέσω επιδόματος Carrot.
- Για εργαζομένους στις ΗΠΑ, πρόγραμμα 401(k) με τη διευκόλυνση της εταιρείας.
- Ευκαιρίες συνεργασίας με ποικιλία νεοφυών επιχειρήσεων μηχανικής μάθησης, υποστηρίζοντας σημαντική μάθηση και επαγγελματική δικτύωση.