Η Hewlett Packard Enterprise αναπτύσσει τεχνολογίες επιχειρησιακού επιπέδου για οργανισμούς που λειτουργούν υβριδικές υποδομές cloud και δραστηριότητες βασισμένες στην τεχνητή νοημοσύνη. Το χαρτοφυλάκιό της περιλαμβάνει διακομιστές HPE ProLiant και υπολογιστικά συστήματα υψηλών επιδόσεων HPE Cray, λύσεις αποθήκευσης HPE Alletra, δικτυακές λύσεις HPE Aruba, πλατφόρμες τεχνητής νοημοσύνης και έτοιμα προς λειτουργία εργοστάσια AI, καθώς και λύσεις GreenLake ως υπηρεσία. Η HPE παρέχει επίσης δυνατότητες ασφάλειας, όπως Zero Trust και SASE, μαζί με επαγγελματικές, συμβουλευτικές και υπηρεσίες υποστήριξης που βοηθούν μεγάλους οργανισμούς να εκσυγχρονίσουν τις υποδομές τους, να διαχειριστούν περιβάλλοντα κέντρων δεδομένων και να αναπτύξουν την τεχνητή νοημοσύνη σε μεγάλη κλίμακα.
Ανώτερος Μηχανικός Λογισμικού για Συμπερασμό στη HPE Hybrid
Ηγείται της ανάπτυξης του runtime συμπερασμού LLM του HPE AI Essentials για υποδομές που ανήκουν στους πελάτες. Βελτιώνει την αποδοτική εξυπηρέτηση σε GPU, την κατανεμημένη εκτέλεση και την ενορχήστρωση Kubernetes.
Περιγραφή
- Αναλαμβάνει την ευθύνη για τα βασικά στοιχεία της ανάπτυξης εξυπηρέτησης LLM, συμπεριλαμβανομένης της ενσωμάτωσης μηχανών, της συνεχούς ομαδοποίησης, της διαχείρισης και επαναχρησιμοποίησης της κρυφής μνήμης KV και της ποσοτικοποιημένης εκτέλεσης.
- Συνεργάζεται με ομάδες μηχανικής συμπερασμού για τη μείωση του χρόνου έως το πρώτο token, της καθυστέρησης μεταξύ token, της απόδοσης GPU και της ουράς καθυστέρησης P95/P99.
- Αναπτύσσει και λειτουργεί δυνατότητες κατανεμημένης εκτέλεσης, όπως διαχωρισμένο prefill και decode, παραλληλισμό tensor και pipeline, καθώς και μεταφορά της κρυφής μνήμης KV μεταξύ μνήμης GPU, μνήμης κεντρικού υπολογιστή και αποθήκευσης συνδεδεμένης μέσω RDMA.
- Αξιολογεί αναδυόμενα runtimes, μεθόδους ποσοτικοποίησης, speculative decoding και εξυπηρέτηση mixture-of-experts και στη συνέχεια εισηγείται τεχνολογίες προς υιοθέτηση.
- Συμβάλλει στη δημιουργία του επιπέδου ενορχήστρωσης, το οποίο καλύπτει την αποδοχή μοντέλων, τον προγραμματισμό και τον διαμερισμό GPU, τη δρομολόγηση αιτημάτων με επίγνωση της κρυφής μνήμης και την αυτόματη κλιμάκωση.
- Επιλύει ζητήματα πελατών από άκρο σε άκρο, εντοπίζει τις βασικές αιτίες και ενισχύει τα σχετικά συστήματα και τις διαδικασίες.
- Επανεξετάζει κώδικα και σχεδιασμούς, καθοδηγεί συναδέλφους και αποτελεί πρότυπο ισχυρών πρακτικών μηχανικής.
Απαιτήσεις
- Τουλάχιστον 8 έτη εμπειρίας στη μηχανική λογισμικού.
- Ένα έως δύο ή περισσότερα έτη άμεσης εμπειρίας σε runtimes συμπερασμού LLM ή σε εξυπηρέτηση μοντέλων παραγωγής.
- Πτυχίο στην επιστήμη υπολογιστών ή σε συναφή κλάδο.
- Εξοικείωση με μηχανές συμπερασμού LLM, όπως vLLM, SGLang, TensorRT-LLM, TGI ή NVIDIA NIM, συμπεριλαμβανομένης εμπειρίας τροποποίησης των εσωτερικών του μηχανήματος.
- Ισχυρή γνώση συνεχούς ομαδοποίησης, paged attention, επαναχρησιμοποίησης κρυφής μνήμης KV και caching προθεμάτων, chunked prefill, ποσοτικοποίησης και speculative decoding.
- Πρακτική γνώση παραλληλισμού tensor και pipeline, συλλογικών λειτουργιών NCCL, ιεραρχίας μνήμης GPU και συμπεριφοράς διασυνδέσεων.
- Προχωρημένη επάρκεια στην αρχιτεκτονική πλατφόρμας Kubernetes, συμπεριλαμβανομένων operators, custom resources, controllers και scheduling.
- Ισχυρές δεξιότητες προγραμματισμού σε Go και Python.
- Ικανότητα ανάγνωσης, αποσφαλμάτωσης και δημιουργίας προφίλ για C++ και CUDA με εργαλεία όπως το Nsight.
- Εξοικείωση με την αποσφαλμάτωση και τη δημιουργία προφίλ πολυεπίπεδων workloads, συμπεριλαμβανομένων εφαρμογών RAG και agent.
- Εξαιρετικές αναλυτικές δεξιότητες, δεξιότητες αποσφαλμάτωσης και επίλυσης προβλημάτων.
- Προτιμητέο: Συνεισφορές στα vLLM, SGLang, TensorRT-LLM, llm-d, LMCache ή KServe.
- Προτιμητέο: Εμπειρία σε εξυπηρέτηση με διαχωρισμένα prefill και decode ή σε μεγάλης κλίμακας μεταφορά και επαναχρησιμοποίηση κρυφής μνήμης KV.
- Προτιμητέο: Εμπειρία σε RDMA, GPUDirect Storage, InfiniBand ή RoCE.
- Προτιμητέο: Εμπειρία σε MIG, κλασματική κατανομή GPU και απομόνωση GPU για πολλούς μισθωτές.
- Προτιμητέο: Εμπειρία στην παράδοση λογισμικού για τοπικά, απομονωμένα από το δίκτυο ή ρυθμιζόμενα επιχειρησιακά περιβάλλοντα.
Παροχές
- Ολοκληρωμένες παροχές που υποστηρίζουν τη σωματική υγεία, την οικονομική ασφάλεια και τη συναισθηματική ευεξία.
- Προγράμματα που υποστηρίζουν την προσωπική και επαγγελματική ανάπτυξη.
- Ευελιξία στις ρυθμίσεις εργασίας και στις προσωπικές ανάγκες.
- Συμπεριληπτική κουλτούρα στον χώρο εργασίας.
- Εύλογες προσαρμογές κατά τη διαδικασία αίτησης ή συνέντευξης για υποψηφίους με αναπηρία που πληρούν τις προϋποθέσεις.