Imaginary Cloudは、SaaS、B2B、その他幅広いソフトウェア開発プロジェクトに取り組むソフトウェア開発およびUX/UIデザイン会社です。2010年以降、チームは300以上のウェブアプリケーションとモバイルアプリケーションを設計、開発、リリースし、成長させてきました。ポルトガルと英国にオフィスを構え、プロダクト開発と人を中心に据えたテクノロジーへのアプローチを組み合わせています。また、尊重、思いやり、継続的な学習を大切にする職場づくりを推進しています。Imaginary Cloudは、デザインやエンジニアリング分野のデジタルプロダクトに携わりたい人に、リモートワークの機会も提供しています。
シニアデータエンジニア—Databricks・PySpark
Imaginary Cloudのデジタル製品向けに、DatabricksとPySparkのデータワークロードを構築します。 ポルトガルを拠点とするハイブリッド勤務で、世界各地の顧客の分析パイプラインを改善します。
仕事内容
- Databricksでデータワークロードを構築、管理する
- PySparkとDelta Lakeを使ってデータエンジニアリングソリューションを開発する
- ウィンドウ関数や複雑な結合を含むSQLクエリを作成、最適化する
- ストリーミングまたは増分データ取り込みパイプラインを構築する
- 冪等性、チェックポイント、スキーマ進化のパターンを適用する
- ビジネスインテリジェンスと分析のためのデータをモデリングする
- パイプラインの期待値、dbtテストなどのツールでデータとコードをテストする
- Git、コードレビュー、リンター、単体テスト、CI/CDパイプラインを活用する
- エージェント型AIツールを使い、開発、リファクタリング、複雑なデバッグを効率化する
- エンジニアリングチームやプロダクト開発チームと協働する
- 多職種チームの一員として、世界各地の顧客向けデジタル製品に貢献する
応募要件
- データエンジニアリングまたは近接する職種で5年以上の経験がある
- コンピューターサイエンス、データエンジニアリング、データサイエンス、または関連する定量分野の学歴がある
- Databricksの本番環境での実務経験がある
- Databricksでデータワークロードを構築した豊富な経験がある
- PySparkとDelta Lakeを深く理解している
- ウィンドウ関数、複雑な結合、クエリ最適化を含むSQLに精通している
- Structured StreamingまたはAuto Loaderを含むストリーミングまたは増分取り込みに加え、冪等性、チェックポイント、スキーマ進化のパターンに関する経験がある
- BIと分析向けのデータモデリング経験がある
- DatabricksワークフローのテストとCI/CDを理解している
- Git、コードレビュー、リンター、単体テスト、CI/CDパイプラインなど、ソフトウェアエンジニアリングとDevOpsの基礎を理解している
- パイプラインの期待値、dbtテストなどを使ったデータ品質テストを実践している
- Cursor IDEやGitHub Copilotなどのエージェント型AIツールを高度に使いこなせる
- 優れた分析力と問題解決力がある
- エンジニアリングチームやプロダクト開発チームとの協働経験がある
- 英語での会話と文書によるコミュニケーションに堪能である
- ポルトガル在住、または同国に居住し合法的に就労する意思と資格がある
福利厚生
- 経験と実績に応じた給与
- 有給の病気休暇
- 医療保険と歯科保険
- 快適に働くための予算
- リモートワークを基本とする会社
- 柔軟な勤務時間
- 世界をリードする業界の顧客とのプロジェクト
- メンバーを大切にし、力を発揮できるよう支援する文化
- 堅苦しさのない職場環境
- 知識を共有し、一緒に祝うチームイベント
- メンタリングとパフォーマンスレビューによるキャリア成長の支援