Mindrift היא שוק כישרונות בתחום הבינה המלאכותית ופלטפורמת תוכנה כשירות, המקשרת בין תורמים מקצועיים ומומחים בתחומי ידע שונים לבין פרויקטים של חברות טכנולוגיה לאימון ולהערכה של מערכות בינה מלאכותית. כחלק מ-Toloka, היא עובדת עם כותבים, עורכים, מומחי אבטחת איכות, מדענים ומומחים נוספים, המסייעים ליצור נתוני אימון, להעריך את בטיחותם ואת יכולות ההסקה של מודלים, לבחון את איכות המדיה וליצור תרחישים מהעולם האמיתי לשיפור הביצועים והאמינות של הבינה המלאכותית. Mindrift מגייסת תורמים ובוחנת את התאמתם באמצעות הערכות ואימות זהות, ולאחר מכן מציעה הזדמנויות גמישות בתשלום בפרויקטים של אימון והערכה של מערכות בינה מלאכותית.
מהנדס בכיר לכריית נתונים מהאינטרנט ב-Python (פרילנס, עבודה מרחוק מפורטוגל)
בנה צינורות אמינים לכריית נתונים מהאינטרנט ולעיבוד נתונים עבור פרויקט Tendem AI של Mindrift. חלץ, אמת והרחב מערכי נתונים מובנים מאתרים מורכבים ודינמיים.
תיאור
- ניהול חילוץ מקצה לקצה מאתרים מורכבים, תוך אספקת מערכי נתונים מובנים, מלאים, מדויקים ואמינים
- שימוש בכלים ובתהליכי עבודה מותאמים להאצת איסוף הנתונים, האימות והשלמת המשימות
- איסוף נתונים ממקורות דינמיים ואינטראקטיביים, תוך הסתגלות לתוכן שמוצג באמצעות JavaScript ולשינויים בהתנהגות האתרים
- שמירה על איכות הנתונים באמצעות בדיקות אימות, השוואות בין מקורות, דרישות עיצוב ובקרה שיטתית
- הרחבת פעולות הכרייה עבור מערכי נתונים גדולים באמצעות אצווה יעילה או עיבוד מקבילי
- מעקב אחר כשלים בחילוץ ושמירה על יציבות כאשר אתרים עוברים שינויים מבניים קלים
- יישום מומחיות בכריית נתונים מהאינטרנט, חילוץ נתונים ועיבוד נתונים בתהליכי עבודה ייעודיים של פרויקטי Tendem
דרישות
- לפחות חמש שנות ניסיון רלוונטי בהנדסת נתונים, כריית נתונים מהאינטרנט, אוטומציה או פיתוח תוכנה
- כישורי כרייה חזקים ב-Python באמצעות BeautifulSoup, Selenium או כלים דומים, וכן ניסיון בתוכן JavaScript ו-AJAX, גלילה אינסופית, ממשקי API ושרתי Proxy
- יכולת לחלץ מידע מהיררכיות מורכבות, מדפים בארכיון ומקוד HTML לא עקבי
- בסיס איתן בניקוי, נרמול ואימות נתונים, עם ניסיון בהפקת מערכי נתונים מובנים בפורמטים CSV, JSON ו-Google Sheets
- ניסיון בניהול מנגנוני הגנה מפני בוטים ובשינויים במבני אתרים בקנה מידה גדול
- ניסיון ב-AWS או בתשתית ענן דומה ובמכולות המבוססות על Docker
- ניסיון מעשי ביישום מסגרות LLM כגון LangChain, OpenRouter או כלים דומים למשימות אוטומציה
- עבודה תוך תשומת לב רבה לפרטים ומיקוד עקבי בדיוק הנתונים
- יכולת לעבוד באופן עצמאי, לקחת אחריות על איתור ופתרון תקלות ולשמור על גישה המנוהלת באופן עצמאי
- שליטה באנגלית ברמת Upper-intermediate (B2) ומעלה
- תואר ראשון או שני בהנדסה, מתמטיקה שימושית, מדעי המחשב או תחום טכני קשור מהווה יתרון
- קישור לפרופיל GitHub מהווה יתרון
הטבות
- התקשרות כפרילנסר
- היקף עבודה חלקי המוערך ב-10–20 שעות שבועיות במהלך שלבים פעילים של הפרויקט
- מתכונת עבודה מרחוק
- הזדמנות לעבוד על פרויקטים טכנולוגיים חדשניים באמצעות פלטפורמת Mindrift