Simple Machines היא חברת ייעוץ אוסטרלית הפועלת בתחומי ארכיטקטורת נתונים, הנדסת נתונים, מדעי הנתונים ופיתוח תוכנה. היועצים שלה מתכננים ובונים פלטפורמות נתונים מבוזרות ויישומי למידת מכונה עבור ארגונים, גופים ממשלתיים וחברות טכנולוגיה גלובליות. הצוות מספק גם ייעוץ והדרכה ב-Kafka כשותף מועדף של Confluent, לצד ייעוץ והדרכה ב-Spark וב-Scala במסגרת שותפויותיה עם Databricks ו-Lightbend. למי שבוחנים תפקידים בהנדסת נתונים, במדעי הנתונים או בפיתוח תוכנה, Simple Machines מציעה סביבת ייעוץ מתמחה המתמקדת בשימוש בנתונים במערכות מעשיות בעולם האמיתי.
מהנדס נתונים ראשי (עבודה מרחוק, פולין)
הובילו את התכנון והאספקה של פלטפורמות נתונים בענן, צינורות עיבוד ומוצרי נתונים עבור Simple Machines, חברת ייעוץ טכנולוגי גלובלית. עבדו מרחוק מפולין, קבעו את הכיוון הטכנולוגי ושתפו פעולה עם לקוחות.
תיאור
- קחו אחריות על ארכיטקטורת פלטפורמות נתונים מודרניות בענן, משלב התכנון ועד האספקה.
- צרו מערכות נתונים ניתנות להרחבה עם רשת נתונים, מוצרי נתונים וחוזי נתונים.
- קבעו את הארכיטקטורה לקליטת נתונים, אחסון, עיבוד וגישה.
- ודאו שהפלטפורמות עומדות בתקני אבטחה, תאימות ומוכנות לייצור.
- ספקו פלטפורמות ענן באמצעות Databricks, Snowflake, AWS ו-GCP.
- חברו מערכות לקוח כדי לאפשר לצרכנים גישה לנתונים בהיקף רחב.
- בנו וכווננו צינורות נתונים לעיבוד באצווה ובזמן אמת.
- השתמשו ב-Kafka, Flink, Kinesis ו-Pub/Sub להזרמת נתונים ולהעברת הודעות.
- תאמו תהליכי עבודה באמצעות Airflow, Dataflow ו-Glue.
- עבדו והמירו מערכי נתונים גדולים באמצעות Spark ו-Flink.
- עבדו עם מסדי נתונים יחסיים, NoSQL ואנליטיים, ובהם Postgres, BigQuery, Snowflake, Cassandra ו-MongoDB.
- שפרו פורמטי אחסון ודפוסי גישה באמצעות Parquet, Delta, ORC ו-Avro.
- בנו פתרונות מאובטחים ותואמים, תוך התחשבות באבטחה כבר מההתחלה.
- שלבו ממשל נתונים בלי להאט את תהליכי העבודה של המפתחים.
- שתפו פעולה ישירות עם לקוחות כדי להבין את האתגרים ולגבש פתרונות.
- הפכו דרישות עסקיות לבחירות הנדסיות מעשיות.
- ייעצו ללקוחות כשותפים טכנולוגיים מהימנים.
- הגדירו תקנים, דפוסים ונהלים הנדסיים.
- בדקו תכנונים וקוד, והעניקו הכוונה טכנית וחניכה.
- חזקו את איכות הנתונים, הבדיקות, יכולת הניטור והנהלים התפעוליים.
דרישות
- הביאו מיומנויות חזקות ב-Python וב-SQL.
- הביאו ניסיון מעמיק ב-Spark ובפלטפורמות נתונים מודרניות כמו Databricks או Snowflake.
- הבינו שירותי נתונים בענן ב-AWS או ב-GCP.
- הייתם אחראים לארכיטקטורה של פלטפורמות נתונים בקנה מידה גדול.
- יישמו מיומנויות חזקות במידול נתונים וקבלו החלטות ארכיטקטוניות מבוססות.
- אזנו בין ביצועים, עלות ומורכבות בעת בחירת פתרונות.
- בניתם והפעלתם צינורות נתונים לייצור בקנה מידה גדול.
- הביאו ניסיון בטכנולוגיות אחסון ובפורמטים שונים של נתונים.
- השתמשו בכלי תשתית כקוד כגון Terraform או Pulumi.
- בניתם צינורות CI/CD עם כלים כגון GitHub Actions או ArgoCD.
- השתמשו במסגרות לבדיקת נתונים ואיכותם כגון dbt, Great Expectations או Soda.
- הביאו ניסיון בייעוץ או בשירותים מקצועיים.
- היו מסוגלים להטיל ספק בהנחות ולכוון לקוחות לתוצאות טובות יותר.
- הרגישו בנוח לחנוך מהנדסים בכירים ולעצב תרבות טכנית.
הטבות
- עבדו על אתגרים מורכבים בעלי השפעה משמעותית.
- בנו פלטפורמות מודרניות במקום לתחזק מערכות ישנות.
- שתפו פעולה עם מהנדסים מנוסים.
- תהנו מאוטונומיה ומהשפעה בעבודתכם.
- קבלו הזדמנויות להתפתחות מקצועית.