資料工程師 III – AWS 與 MarkLogic(遠端)
為 Republic Services 的環境服務業務建置 AWS 資料湖、資料擷取管線與分析平台。 開發 MarkLogic API、Snowflake 資料倉儲與串流資料架構。
說明
- 建立程式碼與資料管線,從關聯式資料庫、檔案共用區和網路服務擷取資訊
- 使用 Kinesis Streams、Kinesis Firehose、Kinesis Analytics 與 Kafka(MSK)實作串流擷取
- 透過分割與壓縮建置高效能 AWS S3 資料湖
- 使用 AWS Glue、Informatica、EMR、Spark、Athena 與 Python 提供資料工程和分析解決方案
- 開發資料模型與 Snowflake 資料倉儲
- 建立 JavaScript 模組與 MarkLogic REST API,以提供進階搜尋功能
- 將 MarkLogic 與現有企業平台整合
- 參與需求定義、系統架構與資料架構設計
- 在敏捷方法中支援完整的軟體開發生命週期
職位要求
- 至少 7 年企業資訊解決方案架構、設計與開發經驗
- 至少 7 年整合架構經驗,例如 SOA、微服務、ETL 或相關技術
- 至少 7 年內容或知識管理系統、搜尋引擎、關聯式或 NoSQL 資料庫、ETL 工具、地理空間系統或語意技術經驗
- 至少 5 年 MarkLogic 框架實務經驗;具備 DynamoDB 經驗者優先
- 至少 5 年 AWS 服務實務經驗,包括 S3、Kinesis、Lambda、Athena 與 EMR
- 至少 5 年使用 SAS、R、Python 或其他進階統計軟體分析工具的經驗
- 至少 5 年使用 Angular、JavaScript 與 Node.js 的網頁開發經驗
- 具備 JSON 或 XML 資料建模的專業經驗
- 具備 Git/GitHub、分支管理與現代原始碼管理實務經驗
- 了解 NoSQL 或關聯式資料庫領域
- 了解資料庫架構與效能相關考量
- 具備整合 Qlik Sense、Tableau 或 Power BI 等商業智慧應用程式的經驗
- 具備機器學習與人工智慧經驗
- 能有效管理多項任務
- 能在敏捷團隊中協作
- 具備 Python、JavaScript 與 Java 的進階知識與經驗
- 具備優良的書面與口語溝通能力、責任感、積極性與行動力
- 具備電腦科學、電腦資訊系統、工程、統計或密切相關領域的學士學位
- 具備使用 AWS 服務進行資料與分析工作的經驗
- 至少 5 年資料擷取、提取與整合經驗
福利待遇
- 完整的醫療、牙科與視力保險
- 醫療保健與受扶養人照護支出帳戶
- 短期與長期失能保險
- 人壽保險及意外死亡與肢解保險
- 員工與家庭援助計畫(EAP)
- 員工折扣計畫
- 提供優渥公司提撥配對的退休計畫
- 員工股票購買計畫(ESPP)
- 帶薪休假(PTO)
