ProArch היא חברת ייעוץ טכנולוגי והנדסה דיגיטלית המסייעת לארגונים לחדש את פעילותם, לנהל תשתיות ענן, להשתמש בנתונים ובבינה מלאכותית ולחזק את אבטחת הסייבר. שירותיה כוללים פיתוח תוכנה, ייעוץ בתחום הבינה המלאכותית, הבטחת איכות, ניהול תשתיות, ממשל, ניהול סיכונים וציות, וכן טכנולוגיה תפעולית. כשותפה בדרגת Gold של Microsoft, ProArch מפתחת פתרונות טכנולוגיים מותאמים אישית למגזרים ובהם ייעוץ, בריאות, ייצור, איגודי אשראי וייצור חשמל, ומחברת בין אסטרטגיית הטכנולוגיה ליעדים העסקיים המעשיים.
בודק צינורות נתונים של AWS Glue (חוזה היברידי, הודו)
בדיקת צינורות נתונים של AWS Glue ואינטגרציות לעיבוד קבצים לצורך איכות, התאמה, עמידות, אבטחה ומוכנות תפעולית. התפקיד כולל אימות תהליכי עבודה ב-AWS, ניטור, שחזור ובדיקות מקצה לקצה.
תיאור
- הגדרה ואימות של כללי איכות נתונים לשלמות, דיוק, עקביות, תקפות, ייחודיות, עדכניות, שלמות התייחסותית, עמידה בכללים עסקיים ועקביות של סכמות או מטא-נתונים.
- ביצוע בדיקות פונקציונליות בכל רכיבי צינור הנתונים.
- ביצוע בדיקות אינטגרציה מקצה לקצה.
- אימות הנתונים שעובדו מול התוצאות הצפויות.
- השוואת נתוני המקור והיעד לזיהוי פערים.
- הרצת בדיקות מקבילות מול ממשקים מדור קודם.
- ביצוע בדיקות רגרסיה לאחר שינויים.
- בדיקת אינטגרציות ברמת המערכת בין רכיבים מחוברים.
- סיוע בבדיקות קבלת משתמשים.
- בדיקת קלטים לא תקינים ותנאי כשל צפויים.
- הערכת טיפול בחריגים ובמסלולי שגיאות.
- מדידת ביצועים בעומסי עבודה צפויים ובנפחים גבוהים.
- הערכת יכולת ההתרחבות של צינור הנתונים.
- אימות נהלי הפעלה מחדש ושחזור.
- בדיקת התנהגות במעבר לגיבוי ועמידות המערכת.
- אימות בקרות אבטחה והרשאות גישה.
- ביצוע בדיקות עשן בייצור.
- אימות תהליכים תפעוליים וכיסוי הניטור.
דרישות
- ניסיון מעשי בעבודה עם AWS Glue Jobs.
- ניסיון מעשי בעבודה עם AWS Glue Workflows.
- ניסיון בעבודה עם Amazon S3.
- ניסיון בעבודה עם Amazon CloudWatch.
- ניסיון בעבודה עם AWS IAM.
- ניסיון בעבודה עם Amazon EventBridge.
- ניסיון בעבודה עם AWS Lambda.
- ניסיון בעבודה עם Amazon SNS.
- ניסיון בעבודה עם Amazon SQS.
- ניסיון בעבודה עם AWS Secrets Manager.
- ניסיון בעבודה עם AWS Step Functions.
- ניסיון בעבודה עם AWS KMS.
- יכולת לבדוק תצורות ב-AWS Console, פרמטרים של עבודות, יומנים, מדדים והיסטוריית ביצוע.
- ניסיון בבדיקת צינורות נתונים וממשקים לעיבוד קבצים.
- הבנה מעמיקה של עיבוד קובצי נתונים נכנסים ויוצאים ושל תהליכי עבודה בצינורות נתונים.
- ניסיון בבדיקת העברות קבצים נכנסות ויוצאות דרך S3, SFTP/FTPS, AWS Transfer Family, ממשקי API ונקודות קצה של שותפים חיצוניים, כולל אימות, קישוריות, ניסיונות חוזרים, פסקי זמן ואימות מסירה.