Itix היא חברת טכנולוגיה וייעוץ ברזילאית המסייעת לארגונים לחדש את פעילותם באמצעות פלטפורמות תוכנה מותאמות אישית, צוותי פיתוח ייעודיים וייעוץ טכנולוגי. שירותיה כוללים גם תמיכה וניתוח נתונים או בינה עסקית, המאפשרים ללקוחות עסקיים לשפר תהליכים ולהשתמש בנתונים באופן יעיל יותר. Itix עובדת עם ארגונים בתחומים כגון תעשייה, פיננסים, בריאות, לוגיסטיקה, ביטוח, אנרגיה, כימיקלים וכרייה, ונעזרת בצוותים מבוזרים ברחבי ברזיל.
מהנדס נתונים בדרג ביניים ב-Itix (מרחוק, ברזיל)
הצטרפו ל-Itix כמהנדסי נתונים ובנו צינורות Lakehouse ופתרונות RAG. תעבדו עם Databricks, Delta Lake, embeddings, איכות נתונים וממשל נתונים.
תיאור
- בניית צינורות ETL/ELT ב-Databricks או במסגרות קוד פתוח במסגרת ארכיטקטורת medallion של Delta Lake
- עיבוד ותקנון של נתוני PDF ותמונה עם מטא-נתונים קשורים
- איסוף, אוצרות ואנונימיזציה של נתונים בהתאם ל-LGPD של ברזיל עבור RAG, למידה ממספר דוגמאות ומערכי נתוני בדיקה
- פיתוח ותחזוקה של אינדקסים וקטוריים באמצעות חלוקה למקטעים, embeddings, עדכונים מצטברים ובקרת גרסאות
- יצירת מערכי נתונים מוזהבים עם גרסאות למדידת דיוק ולהשוואת ביצועים
- תכנון שמירת נתונים של לולאות משוב ואספקת נתונים ללוח המחוונים של האיכות וה-SLA
- חיבור מסדי נתונים לשירותי הסקה ולממשקי API חיצוניים תוך ניהול ביצועים, עלויות, ניטור והתראות
- אוטומציה של תהליכי עבודה באמצעות Jobs, צינורות CI/CD ובדיקות איכות נתונים
דרישות
- שליטה מתקדמת ב-Python וב-SQL
- ניסיון במידול נתונים ובארכיטקטורות medallion או Lakehouse
- ניסיון בבניית צינורות נתונים לא מובנים עבור קובצי PDF, תמונות וטקסט, כולל הכנה ל-RAG
- היכרות עם מסדי נתונים וקטוריים ו-embeddings כגון Databricks Vector Search או pgvector
- ניסיון באיכות נתונים, בדיקות ובקרת גרסאות
- ניסיון מעשי ב-Databricks עם Delta Lake, Workflows או Jobs, מחברות, PySpark ו-Spark SQL
- ניסיון עם Git ו-CI/CD
- ניסיון בעבודה עם Azure, AWS או GCP
- ידע ב-LGPD ובטיפול בנתונים רגישים
- ניסיון ב-Unity Catalog בסביבה מנוהלת
- ניסיון עם MLflow, Databricks Model Serving או Mosaic AI
- ניסיון עם Delta Live Tables או Lakeflow ו-Auto Loader
- ניסיון בתחום הביטוח או השירותים הפיננסיים
- ניסיון עם Terraform או Databricks Asset Bundles
- הסמכת Databricks Data Engineer Associate או Professional
הטבות
- גמישות גאוגרפית לעבוד מהמיקום המתאים ביותר לפרויקט
- שותפויות להנחות
- תוכנית תגמול על הפניות עובדים
- יום חופשה ביום ההולדת
- גישה ל-TotalPass או Gympass
- יוזמות בריאות ורווחה
- גישה למרחבי מנוחה במשרד הכוללים פופים, שולחן ביליארד, משחקי וידאו, טרקלין, מטבח מאובזר במלואו וקפה