ActiveFence היא חברת סייבר ובינה מלאכותית המתמקדת באמון ובבטיחות עבור פלטפורמות מקוונות. ההיצע המקיף שלה משלב מחקר מודיעיני, זיהוי תוכן מזיק באמצעות בינה מלאכותית וכלים לניהול תוכן, כדי לסייע לפלטפורמות להתמודד עם סיכונים כגון ניצול ילדים, דיסאינפורמציה, דברי שנאה, טרור, עירום, הונאה וצורות נוספות של פגיעה ברשת. ActiveFence תומכת בצוותי אמון ובטיחות בכל הגדלים ומסייעת להגן על יותר משלושה מיליארד משתמשים ברחבי העולם ביותר מ-100 שפות.
חוקר AI בכיר – עבודה היברידית בישראל
הובלת הערכות של למידת חיזוק, תרגילי red teaming וביקורות אבטחה למודלי AI בעלי משקולות פתוחות. בניית תהליכי מידוד ואימון לאחר אימון עבור עבודת ActiveFence בתחום האמון, הבטיחות והאבטחה של AI.
תיאור
- הובלת הערכות לאחר אימון, תרגילי red teaming וביקורות של סביבות למידת חיזוק עבור מודלים בעלי משקולות פתוחות
- תכנון מתודולוגיות מידוד קפדניות
- הערכת מודלי שפה גדולים מול איומים מתוחכמים, כולל מתקפות הזרקת פרומפט עקיפה
- בניית תהליכי הערכה לאחר אימון המודדים יכולות אבטחה מציאותיות ברמת חזית התחום
- הרצת ניסויים לאחר אימון, כגון GRPO, עם מודלים כלליים בעלי משקולות פתוחות בסביבות למידת חיזוק ממוקדות אבטחה
- בחינת עקומות הפסד בזמן אמת ועקבות rollout כדי לזהות פריצת תגמול, התכנסות עצלה של מדיניות ומאמתים שהוגדרו באופן לקוי
- הערכת משימות וסביבות מרובות-תורות הכוללות שימוש בכלים, ניווט באינטרנט ושימוש במחשב, מבחינת מציאותיות, דיוק מודל האיום, התפלגות הנתונים ואיזון מערך הנתונים
- הפקת כרטיסי הערכה הכוללים שיפורי ביצועים של נקודות ביקורת, מצבי כשל, אסימונים ותורות של rollout ושיעורי הצלחה ברמת המשימה
- שילוב סביבות מבוססות Docker, כולל סביבות בפורמט Harbor, במסגרת האימון הפנימית
- שיפור סמנטיקת האיפוס ושמירת המצב, המקביליות ומגבלות התפוקה
דרישות
- תואר שני או דוקטורט במדעי הנתונים, למידת מכונה, מדעי המחשב או ניסיון מעשי מקביל בלמידה עמוקה
- ניסיון מעשי באימון מודלים בקנה מידה גדול באמצעות אלגוריתמים של למידת חיזוק כגון GRPO או PPO על ארכיטקטורות בעלות משקולות פתוחות
- ידע מעמיק בפגיעויות של מודלי שפה גדולים, בפרקטיקות red teaming ובהתאמה הגנתית נגד מתקפות הזרקת פרומפט עקיפה
- שליטה ב-PyTorch, בקונטיינרים של Docker ובארכיטקטורות אימון מבוזרות
- יכולת לפרש עקבות rollout של סוכנים, ליצור מדרגי הערכה ומאמתים דטרמיניסטיים ולנפות באגים בבעיות מורכבות של עיצוב תגמול
- ניסיון בפורמטים סטנדרטיים של סביבות למידת חיזוק כגון Harbor – יתרון
- ניסיון בהערכת תהליכי עבודה מורכבים של סוכנים בסביבות שימוש בכלים או בדפדפני אינטרנט – יתרון
- היכרות עם הערכת מודלים בעלי משקולות פתוחות הדומים ל-Llama או ל-Mistral מול עומסי עבודה עוינים – יתרון