Mindrift هي سوق للمواهب في مجال الذكاء الاصطناعي ومنصة برمجيات كخدمة تربط المساهمين المحترفين والخبراء المتخصصين بمشاريع تدريب الذكاء الاصطناعي وتقييمه لدى شركات التكنولوجيا. وباعتبارها جزءًا من Toloka، تتعاون مع الكتّاب والمحررين ومتخصصي ضمان الجودة والعلماء وغيرهم من الخبراء المتخصصين للمساعدة في إنشاء بيانات التدريب، وتقييم سلامة النماذج وقدرتها على الاستدلال، وتقييم جودة الوسائط، وإنشاء سيناريوهات واقعية لتحسين أداء الذكاء الاصطناعي وموثوقيته. تستقطب Mindrift المساهمين وتتحقق من كفاءتهم من خلال التقييمات والتحقق من الهوية، ثم تقدم فرصًا مرنة ومدفوعة للمشاركة في مشاريع تدريب الذكاء الاصطناعي وتقييمه.
مهندس أول لكشط الويب باستخدام بايثون (عمل حر، عن بُعد)
طوّر ووسّع سير عمل موثوقًا لكشط الويب باستخدام بايثون لمشاريع Mindrift للذكاء الاصطناعي. استخرج البيانات المنظمة الدقيقة من المواقع المعقدة والديناميكية، وتحقق منها وسلّمها.
الوصف
- تنفيذ مهام دقيقة تقنيًا في كشط الويب ومعالجة البيانات
- إدارة عمليات الاستخراج الكاملة عبر مواقع ويب معقدة، مع تسليم مجموعات بيانات منظمة وشاملة ودقيقة وموثوقة
- استخدام الأدوات المتاحة وسير العمل المخصص لتسريع جمع البيانات والتحقق منها وإنجاز المهام وفقًا للمتطلبات المحددة
- تكييف أساليب الاستخراج مع الصفحات المُنشأة باستخدام JavaScript والمصادر التفاعلية وسلوك المواقع المتغير
- تطبيق ضوابط جودة البيانات، بما في ذلك التحقق والمقارنات بين المصادر ومعايير التنسيق والتحقق المنهجي قبل التسليم
- توسيع نطاق كشط الكميات الكبيرة من خلال التجميع الفعال أو المعالجة المتوازية
- تتبع حالات فشل الاستخراج والحفاظ على الاستقرار التشغيلي عند حدوث تغييرات طفيفة في بنية المواقع
- استخدام Apify وOpenRouter وغيرها من التقنيات ذات الصلة لدعم عمليات الكشط
المتطلبات
- خبرة لا تقل عن 5 سنوات في هندسة البيانات أو كشط الويب أو الأتمتة أو تطوير البرمجيات
- إتقان قوي لكشط الويب باستخدام Python وBeautifulSoup وSelenium أو أدوات مماثلة، إلى جانب التعامل مع المحتوى الديناميكي وواجهات برمجة التطبيقات المعتمدة على الوكلاء الوسيطة
- استخراج المعلومات من هياكل معقدة، بما في ذلك التسلسلات الهرمية والصفحات المؤرشفة وHTML غير المنتظم
- تنظيف البيانات وتوحيدها والتحقق منها لتسليمها بصيغ CSV أو JSON أو Google Sheets
- التعامل مع وسائل الحماية من الروبوتات وتغير هياكل المواقع على نطاق واسع
- العمل باستخدام AWS أو بنية تحتية سحابية مماثلة وحاويات قائمة على Docker
- تطبيق أطر عمل نماذج اللغة الكبيرة مثل LangChain أو OpenRouter أو أدوات مماثلة ضمن سير عمل الأتمتة
- الحفاظ على اهتمام استثنائي بالتفاصيل ودقة البيانات
- العمل باستقلالية مع اتباع نهج ذاتي التوجيه في استكشاف الأخطاء وإصلاحها
- التواصل باللغة الإنجليزية بمستوى فوق المتوسط (B2) أو أعلى
- تُعد درجة البكالوريوس أو الماجستير في الهندسة أو الرياضيات التطبيقية أو علوم الحاسوب أو تخصص تقني ذي صلة ميزة إضافية
- يُعد رابط ملف GitHub ميزة إضافية
المزايا
- تعاون بنظام العمل الحر
- جدول عمل عن بُعد بدوام جزئي
- نحو 10–20 ساعة أسبوعيًا خلال مراحل المشروع النشطة
- فرصة للمساهمة في مشاريع تقنية مبتكرة عبر منصة Mindrift