Mindrift هي سوق للمواهب في مجال الذكاء الاصطناعي ومنصة برمجيات كخدمة تربط المساهمين المحترفين والخبراء المتخصصين بمشاريع تدريب الذكاء الاصطناعي وتقييمه لدى شركات التكنولوجيا. وباعتبارها جزءًا من Toloka، تتعاون مع الكتّاب والمحررين ومتخصصي ضمان الجودة والعلماء وغيرهم من الخبراء المتخصصين للمساعدة في إنشاء بيانات التدريب، وتقييم سلامة النماذج وقدرتها على الاستدلال، وتقييم جودة الوسائط، وإنشاء سيناريوهات واقعية لتحسين أداء الذكاء الاصطناعي وموثوقيته. تستقطب Mindrift المساهمين وتتحقق من كفاءتهم من خلال التقييمات والتحقق من الهوية، ثم تقدم فرصًا مرنة ومدفوعة للمشاركة في مشاريع تدريب الذكاء الاصطناعي وتقييمه.
مهندس أول لاستخراج البيانات من الويب باستخدام بايثون (دوام جزئي، عن بُعد في جورجيا)
تبحث Mindrift عن مهندس بايثون أول لبناء مسارات موثوقة لاستخراج البيانات لمشروعات تكنولوجيا الذكاء الاصطناعي. يركز الدور على استخراج مجموعات البيانات المنظمة والتحقق منها وتوسيع نطاقها من مواقع ويب معقدة وديناميكية.
الوصف
- إدارة مسارات استخراج البيانات من البداية إلى النهاية عبر مواقع ويب معقدة
- تقديم مجموعات بيانات منظمة وكاملة ودقيقة وموثوقة
- استخدام الأدوات المتاحة ومسارات العمل المخصصة لتسريع جمع البيانات والتحقق منها وتنفيذ المهام
- استخراج البيانات من مصادر ويب ديناميكية وتفاعلية، بما في ذلك الصفحات المُنشأة باستخدام JavaScript
- تعديل أساليب الاستخراج مع تغير سلوك المواقع الإلكترونية
- الحفاظ على جودة البيانات من خلال فحوصات التحقق وضوابط الاتساق بين المصادر ومتطلبات التنسيق والتحقق المنهجي
- توسيع نطاق استخراج مجموعات البيانات الكبيرة باستخدام التجميع الفعال أو المعالجة المتوازية
- مراقبة حالات الفشل والحفاظ على الاستقرار رغم التغييرات الطفيفة في بنية المواقع
- دمج أدوات مثل Apify وOpenRouter مع الخبرة التقنية ذات الصلة
المتطلبات
- خبرة ذات صلة لا تقل عن 5 سنوات في هندسة البيانات أو استخراج البيانات من الويب أو الأتمتة أو تطوير البرمجيات
- يفضل الحصول على درجة بكالوريوس أو ماجستير في الهندسة أو الرياضيات التطبيقية أو علوم الحاسوب أو مجال تقني ذي صلة
- خبرة قوية في استخراج البيانات من الويب باستخدام Python، مع BeautifulSoup أو Selenium أو أدوات مماثلة، والمحتوى الديناميكي وواجهات برمجة التطبيقات التي يتم الوصول إليها عبر وكلاء وسيطة
- القدرة المثبتة على استخراج المعلومات من هياكل معقدة، بما في ذلك التسلسلات الهرمية والصفحات المؤرشفة وHTML غير المتسق
- خبرة قوية في تنظيف البيانات وتوحيدها والتحقق منها لتسليمها بصيغ CSV أو JSON أو Google Sheets
- خبرة عملية في إدارة آليات مكافحة الروبوتات وهياكل المواقع الديناميكية على نطاق واسع
- خبرة في AWS أو بنية سحابية مماثلة وفي الحاويات المعتمدة على Docker
- خبرة عملية في تطبيق أطر عمل النماذج اللغوية الكبيرة مثل LangChain أو OpenRouter على مهام الأتمتة
- اهتمام كبير بالتفاصيل والتزام قوي بدقة البيانات
- القدرة على العمل باستقلالية واستكشاف المشكلات وإصلاحها دون إشراف وثيق
- إجادة اللغة الإنجليزية بمستوى فوق المتوسط (B2) أو أعلى
- يُعد رابط ملف GitHub ميزة إضافية
المزايا
- تعاقد مستقل بدوام جزئي وعن بُعد
- نحو 10 إلى 20 ساعة أسبوعيًا خلال مراحل المشروع النشطة
- العمل على مشروعات تطوير التكنولوجيا والذكاء الاصطناعي