Simple Machines یک شرکت مشاوره‌ای استرالیایی است که در حوزه‌های معماری داده، مهندسی داده، علم داده و توسعه نرم‌افزار فعالیت می‌کند. مشاوران این شرکت برای سازمان‌ها، نهادهای دولتی و شرکت‌های فناوری جهانی، پلتفرم‌های داده توزیع‌شده و برنامه‌های یادگیری ماشین طراحی و پیاده‌سازی می‌کنند. این تیم به‌عنوان شریک Preferred Confluent، خدمات مشاوره و آموزش Kafka نیز ارائه می‌دهد. همچنین از طریق همکاری با Databricks و Lightbend، در زمینه Spark و Scala مشاوره و آموزش فراهم می‌کند. برای افرادی که به دنبال فرصت‌هایی در مهندسی داده، علم داده یا توسعه نرم‌افزار هستند، Simple Machines محیطی تخصصی برای مشاوره فراهم می‌کند که بر به‌کارگیری داده در سامانه‌های واقعی تمرکز دارد.
مهندس ارشد ارشد داده (دورکاری، لهستان)
معماری و تحویل پلتفرم‌های داده بومی ابر، خط لوله‌ها و محصولات داده را برای Simple Machines، شرکت مشاوره فناوری جهانی، رهبری کنید. از راه دور و از لهستان کار کنید، جهت‌گیری فنی را تعیین کنید و با مشتریان همکاری کنید.
توضیحات
- معماری پلتفرم‌های مدرن داده بومی ابر را از طراحی تا تحویل بر عهده بگیرید.
- با مش داده، محصولات داده و قراردادهای داده، زیست‌بوم‌های داده مقیاس‌پذیر بسازید.
- معماری دریافت، ذخیره‌سازی، پردازش و دسترسی به داده را تعیین کنید.
- اطمینان دهید پلتفرم‌ها معیارهای امنیت، انطباق و آمادگی برای محیط عملیاتی را برآورده می‌کنند.
- با Databricks، Snowflake، AWS و GCP پلتفرم‌های بومی ابر تحویل دهید.
- سامانه‌های مشتریان را به هم متصل کنید تا مصرف‌کنندگان دسترسی مقیاس‌پذیر به داده داشته باشند.
- خط لوله‌های داده دسته‌ای و بلادرنگ بسازید و بهینه کنید.
- برای جریان داده و پیام‌رسانی از Kafka، Flink، Kinesis و Pub/Sub استفاده کنید.
- گردش‌کارها را با Airflow، Dataflow و Glue هماهنگ کنید.
- مجموعه‌داده‌های بزرگ را با Spark و Flink پردازش و تبدیل کنید.
- با پایگاه‌های داده رابطه‌ای، NoSQL و تحلیلی، از جمله Postgres، BigQuery، Snowflake، Cassandra و MongoDB کار کنید.
- قالب‌های ذخیره‌سازی و الگوهای دسترسی را با Parquet، Delta، ORC و Avro بهبود دهید.
- با در نظر گرفتن امنیت از همان ابتدا، راهکارهای امن و منطبق با مقررات بسازید.
- حاکمیت داده را بدون کند کردن گردش‌کار توسعه‌دهندگان یکپارچه کنید.
- برای شناخت چالش‌ها و شکل دادن به راهکارها، مستقیماً با مشتریان همکاری کنید.
- نیازهای کسب‌وکار را به تصمیم‌های مهندسی عملی تبدیل کنید.
- به‌عنوان شریک فنی قابل‌اعتماد به مشتریان مشاوره دهید.
- استانداردها، الگوها و رویه‌های مهندسی را تعریف کنید.
- طرح‌ها و کد را بازبینی کنید و راهنمایی فنی و منتورینگ ارائه دهید.
- کیفیت داده، آزمون، مشاهده‌پذیری و رویه‌های عملیاتی را تقویت کنید.
شرایط لازم
- در Python و SQL مهارت بالایی داشته باشید.
- تجربه عمیقی در Spark و پلتفرم‌های مدرن داده مانند Databricks یا Snowflake داشته باشید.
- با خدمات داده ابری AWS یا GCP آشنا باشید.
- سابقه مسئولیت معماری پلتفرم‌های داده در مقیاس بزرگ را داشته باشید.
- در مدل‌سازی داده مهارت بالایی داشته باشید و تصمیم‌های معماری سنجیده بگیرید.
- هنگام انتخاب راهکارها میان کارایی، هزینه و پیچیدگی توازن برقرار کنید.
- تجربه ساخت و راه‌اندازی خط لوله‌های داده عملیاتی در مقیاس بزرگ را داشته باشید.
- با چندین فناوری ذخیره‌سازی و قالب داده کار کرده باشید.
- از ابزارهای زیرساخت به‌عنوان کد مانند Terraform یا Pulumi استفاده کنید.
- تجربه ساخت خط لوله‌های CI/CD با ابزارهایی مانند GitHub Actions یا ArgoCD داشته باشید.
- از چارچوب‌های آزمون و کیفیت داده مانند dbt، Great Expectations یا Soda استفاده کرده باشید.
- تجربه مشاوره یا خدمات حرفه‌ای داشته باشید.
- بتوانید فرض‌ها را به چالش بکشید و مشتریان را به سوی نتایج بهتر هدایت کنید.
- برای راهنمایی مهندسان ارشد و شکل دادن به فرهنگ فنی آمادگی داشته باشید.
مزایا
- روی مسائل چالش‌برانگیز با تأثیر معنادار کار کنید.
- به‌جای نگهداری سامانه‌های قدیمی، پلتفرم‌های مدرن بسازید.
- با مهندسان باتجربه همکاری کنید.
- در کار خود اختیار و اثرگذاری داشته باشید.
- فرصت رشد حرفه‌ای داشته باشید.