Simple Machinesは、データアーキテクチャ、データエンジニアリング、データサイエンス、ソフトウェア開発を手がけるオーストラリアのコンサルティング企業です。企業、政府機関、世界的なテクノロジー企業に向けて、分散データプラットフォームや機械学習アプリケーションを設計・構築しています。また、ConfluentのPreferredパートナーとしてKafkaのコンサルティングとトレーニングを提供し、DatabricksおよびLightbendとのパートナーシップを通じてSparkとScalaのコンサルティングとトレーニングも行っています。データエンジニアリング、データサイエンス、ソフトウェア開発の職種を検討している人にとって、Simple Machinesは、実際のシステムでデータを活用することに重点を置いた専門的なコンサルティング環境です。
プリンシパルデータエンジニア（リモート、ポーランド）
グローバルなテクノロジーコンサルティング企業 Simple Machines で、クラウドネイティブなデータプラットフォーム、パイプライン、データプロダクトのアーキテクチャと提供を主導します。ポーランドからリモートで勤務し、技術方針を定めながらクライアントと連携します。
仕事内容
- 設計から提供まで、最新のクラウドネイティブデータプラットフォームのアーキテクチャを統括します。
- データメッシュ、データプロダクト、データコントラクトを活用し、拡張性の高いデータエコシステムを構築します。
- データの取り込み、保存、処理、アクセス全体のアーキテクチャを策定します。
- プラットフォームがセキュリティ、コンプライアンス、本番運用の基準を満たすようにします。
- Databricks、Snowflake、AWS、GCPを用いてクラウドネイティブなプラットフォームを提供します。
- クライアントのシステムを連携し、利用者が拡張性の高い方法でデータにアクセスできるようにします。
- バッチおよびリアルタイムのデータパイプラインを構築し、最適化します。
- Kafka、Flink、Kinesis、Pub/Subをストリーミングとメッセージングに活用します。
- Airflow、Dataflow、Glueでワークフローを調整します。
- SparkとFlinkで大規模データセットを処理、変換します。
- Postgres、BigQuery、Snowflake、Cassandra、MongoDBなどのリレーショナル、NoSQL、分析用データベースを扱います。
- Parquet、Delta、ORC、Avroを用いてストレージ形式とアクセスパターンを改善します。
- 初期段階からセキュリティを考慮し、安全でコンプライアンスに準拠したソリューションを構築します。
- 開発ワークフローを遅らせずにデータガバナンスを組み込みます。
- クライアントと直接協力し、課題を把握して解決策を形にします。
- ビジネス要件を実践的なエンジニアリング上の選択に落とし込みます。
- 信頼される技術パートナーとしてクライアントに助言します。
- エンジニアリングの標準、パターン、プラクティスを定めます。
- 設計とコードをレビューし、技術的な助言とメンタリングを行います。
- データ品質、テスト、可観測性、運用プラクティスを強化します。
応募要件
- PythonとSQLの高いスキルを有すること。
- SparkおよびDatabricksやSnowflakeなどの最新データプラットフォームに関する豊富な経験があること。
- AWSまたはGCPのクラウドデータサービスを理解していること。
- 大規模データプラットフォームのアーキテクチャを担当した経験があること。
- 優れたデータモデリングスキルを持ち、適切なアーキテクチャ上の判断ができること。
- ソリューション選定時に性能、コスト、複雑さのバランスを取れること。
- 大規模な本番データパイプラインを構築、運用した経験があること。
- 複数のストレージ技術とデータ形式を扱った経験があること。
- TerraformやPulumiなどのInfrastructure as Codeツールを使用できること。
- GitHub ActionsやArgoCDなどのツールでCI/CDパイプラインを構築した経験があること。
- dbt、Great Expectations、Sodaなどのデータテストおよび品質フレームワークを使用した経験があること。
- コンサルティングまたはプロフェッショナルサービスの経験があること。
- 前提を問い直し、クライアントをより良い成果へ導けること。
- シニアエンジニアのメンタリングや技術文化の形成に意欲があること。
福利厚生
- 難易度が高く、大きな影響をもたらす課題に取り組めます。
- レガシーシステムの保守ではなく、最新のプラットフォームを構築できます。
- 経験豊富なエンジニアと協力できます。
- 仕事における裁量と影響力があります。
- 専門性を高める機会があります。