
データエンジニア III – AWS と MarkLogic(リモート)
Republic Servicesの環境サービス事業向けに、AWSデータレイク、データ取り込みパイプライン、分析プラットフォームを構築します。 MarkLogic API、Snowflakeデータウェアハウス、ストリーミングデータアーキテクチャを開発します。
仕事内容
- リレーショナルデータベース、ファイル共有、Webサービスから情報を取り込むコードとデータパイプラインを作成する
- Kinesis Streams、Kinesis Firehose、Kinesis Analytics、Kafka(MSK)を使用してストリーミング取り込みを実装する
- パーティショニングと圧縮を使用して高性能なAWS S3データレイクを構築する
- AWS Glue、Informatica、EMR、Spark、Athena、Pythonを使用してデータエンジニアリングおよび分析ソリューションを提供する
- データモデルとSnowflakeデータウェアハウスを開発する
- 高度な検索機能向けのJavaScriptモジュールとMarkLogic REST APIを作成する
- MarkLogicを既存のエンタープライズプラットフォームと統合する
- 要件定義、システムアーキテクチャ、データアーキテクチャ設計に貢献する
- アジャイル手法のもとでソフトウェア開発ライフサイクル全体を支援する
応募要件
- エンタープライズ情報ソリューションのアーキテクチャ、設計、開発における7年以上の経験
- SOA、マイクロサービス、ETLなどの統合アーキテクチャまたは関連技術における7年以上の経験
- コンテンツまたはナレッジ管理システム、検索エンジン、リレーショナルまたはNoSQLデータベース、ETLツール、地理空間システム、セマンティック技術のいずれかにおける7年以上の経験
- MarkLogicフレームワークの実務経験5年以上。DynamoDBの経験があれば尚可
- S3、Kinesis、Lambda、Athena、EMRなどのAWSサービスに関する5年以上の実務経験
- SAS、R、Pythonなどの分析ツール、またはその他の高度な統計ソフトウェアを使用した5年以上の経験
- Angular、JavaScript、Node.jsを使用したWeb開発経験5年以上
- JSONまたはXMLのデータモデリングに関する実務経験
- Git/GitHub、ブランチ運用、最新のソースコード管理手法の経験
- NoSQLまたはリレーショナルデータベース領域の知識
- データベースアーキテクチャとパフォーマンスに関する考慮事項の理解
- Qlik Sense、Tableau、Power BIなどのビジネスインテリジェンスアプリケーションの統合経験
- 機械学習および人工知能の経験
- 複数のタスクを効果的に管理する能力
- アジャイルチーム内で協働する能力
- Python、JavaScript、Javaに関する高度な知識と経験
- 優れた文書および口頭でのコミュニケーション能力、当事者意識、緊急性、推進力
- コンピューターサイエンス、コンピューター情報システム、工学、統計学、または密接に関連する分野の学士号
- データおよび分析にAWSサービスを使用した経験
- データの取り込み、抽出、統合における5年以上の経験
福利厚生
- 充実した医療、歯科、眼科の補償
- 医療費および扶養家族介護費の支出口座
- 短期および長期障害補償
- 生命保険および accidental death and dismemberment 保険
- 従業員・家族支援プログラム(EAP)
- 従業員割引プログラム
- 会社による手厚いマッチング拠出のある退職金制度
- 従業員株式購入制度(ESPP)
- 有給休暇(PTO)





