Η Mindrift είναι μια αγορά ταλέντων τεχνητής νοημοσύνης και πλατφόρμα λογισμικού ως υπηρεσία που συνδέει επαγγελματίες συνεργάτες και ειδικούς σε διάφορους τομείς με έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης από εταιρείες τεχνολογίας. Ως μέρος της Toloka, συνεργάζεται με συγγραφείς, επιμελητές, ειδικούς διασφάλισης ποιότητας, επιστήμονες και άλλους ειδικούς θεματικών πεδίων, οι οποίοι βοηθούν στη δημιουργία δεδομένων εκπαίδευσης, στην αξιολόγηση της ασφάλειας και της ικανότητας συλλογισμού των μοντέλων, στην αξιολόγηση της ποιότητας των μέσων και στη δημιουργία ρεαλιστικών σεναρίων για τη βελτίωση της απόδοσης και της αξιοπιστίας της τεχνητής νοημοσύνης. Η Mindrift προσελκύει και αξιολογεί συνεργάτες μέσω δοκιμασιών και επαλήθευσης ταυτότητας και στη συνέχεια προσφέρει ευέλικτες αμειβόμενες ευκαιρίες σε έργα εκπαίδευσης και αξιολόγησης τεχνητής νοημοσύνης.
Ανώτερος μηχανικός απόξεσης ιστού με Python - Απομακρυσμένη εργασία από τη Βραζιλία
Ανώτερος μηχανικός Python υπεύθυνος για αξιόπιστη απόξεση ιστού, επικύρωση δεδομένων και παράδοση δομημένων συνόλων δεδομένων για έργα τεχνολογίας τεχνητής νοημοσύνης της Mindrift. Ο ρόλος καλύπτει δυναμικούς ιστότοπους, συστήματα κατά των bots, υποδομές cloud και εργαλεία αυτοματοποίησης με βάση μεγάλα γλωσσικά μοντέλα.
Περιγραφή
- Ηγεσία ολοκληρωμένων ροών εξαγωγής δεδομένων σε σύνθετους ιστότοπους
- Παράδοση δομημένων συνόλων δεδομένων με ολοκληρωμένη κάλυψη, υψηλή ακρίβεια και αξιόπιστους χρόνους παράδοσης
- Χρήση διαθέσιμων εργαλείων και προσαρμοσμένων ροών εργασίας για την επιτάχυνση της συλλογής και επικύρωσης δεδομένων και της εκτέλεσης εργασιών
- Εξαγωγή πληροφοριών από δυναμικές και διαδραστικές πηγές, συμπεριλαμβανομένων σελίδων που αποδίδονται με JavaScript
- Προσαρμογή των μεθόδων απόξεσης καθώς αλλάζει η συμπεριφορά των ιστότοπων
- Διατήρηση της ποιότητας των δεδομένων μέσω επικύρωσης, διασταυρώσεων μεταξύ πηγών, απαιτήσεων μορφοποίησης και συστηματικής επαλήθευσης
- Κλιμάκωση της απόξεσης μεγάλου όγκου μέσω αποδοτικής ομαδοποίησης ή παράλληλης επεξεργασίας
- Παρακολούθηση αποτυχιών και διατήρηση της σταθερότητας σε μικρές αλλαγές στη δομή των ιστότοπων
- Ενσωμάτωση εργαλείων όπως τα Apify και OpenRouter και συναφών τεχνολογιών στις ροές απόξεσης και επεξεργασίας
Απαιτήσεις
- Τουλάχιστον πέντε χρόνια σχετικής εμπειρίας στη μηχανική δεδομένων, την απόξεση ιστού, την αυτοματοποίηση ή την ανάπτυξη λογισμικού
- Πτυχίο ή μεταπτυχιακό στην engineering, τα εφαρμοσμένα μαθηματικά, την επιστήμη υπολογιστών ή συναφή τεχνικό κλάδο αποτελεί πλεονέκτημα
- Ισχυρά τεχνικά θεμέλια με πρακτική εμπειρία σε scripting, αυτοματοποίηση και ροές εργασίας εξαγωγής δεδομένων
- Εκτεταμένη εμπειρία απόξεσης με Python, BeautifulSoup, Selenium ή συγκρίσιμα εργαλεία, δυναμικό περιεχόμενο και API που βασίζονται σε proxy
- Ικανότητα εξαγωγής πληροφοριών από σύνθετες δομές, συμπεριλαμβανομένων ιεραρχιών, αρχειοθετημένων σελίδων και ασυνεπούς HTML
- Σημαντική εμπειρία στον καθαρισμό, την κανονικοποίηση και την επικύρωση δεδομένων
- Αποδεδειγμένη ικανότητα διαχείρισης συστημάτων κατά των bots και δυναμικών δομών ιστότοπων σε μεγάλη κλίμακα
- Εμπειρία με AWS ή συγκρίσιμη υποδομή cloud και με δημιουργία containers μέσω Docker
- Πρακτική εμπειρία στην εφαρμογή των LangChain, OpenRouter ή παρόμοιων πλαισίων μεγάλων γλωσσικών μοντέλων σε εργασίες αυτοματοποίησης
- Ισχυρή προσοχή στη λεπτομέρεια και αφοσίωση στην ακρίβεια των δεδομένων
- Αυτοκατευθυνόμενη προσέγγιση με ικανότητα ανεξάρτητης αντιμετώπισης προβλημάτων
- Αγγλικά ανώτερου μεσαίου επιπέδου (B2) ή υψηλότερου
- Σύνδεσμος προς προφίλ GitHub αποτελεί πλεονέκτημα
Παροχές
- Συνεργασία ως ελεύθερος επαγγελματίας
- Μερική απομακρυσμένη απασχόληση
- Περίπου 10–20 ώρες την εβδομάδα κατά τις ενεργές φάσεις του έργου
- Αμοιβή έως το ισοδύναμο των 25 δολαρίων ανά ώρα, ανάλογα με το επίπεδο εμπειρίας και τον ρυθμό συνεισφοράς
- Ευκαιρία υποστήριξης καινοτόμων έργων τεχνολογίας και ανάπτυξης τεχνητής νοημοσύνης