About the role
• Wieloletnie doświadczenie na stanowisku Data Engineer lub w podobnej roli.
• Bardzo dobra znajomość Azure Databricks.
• Praktyczne doświadczenie w pracy z Python, PySpark oraz Spark SQL.
• Znajomość Delta Lake i architektury Lakehouse.
• Doświadczenie w projektowaniu i rozwijaniu rozwiązań opartych na modelu Bronze, Silver, Gold.
• Umiejętność budowania procesów integracji danych z wykorzystaniem API, plików oraz usług chmurowych Azure.
• Doświadczenie w pracy z ADLS Gen2 oraz usługami przechowywania danych w ekosystemie Azure.
• Znajomość zagadnień związanych z jakością danych, walidacją schematów, uzgadnianiem danych oraz monitorowaniem procesów.
• Doświadczenie w zarządzaniu metadanymi i śledzeniu pochodzenia danych (data lineage).
• Praktyczna znajomość Unity Catalog lub podobnych rozwiązań z obszaru governance.
• Umiejętność optymalizacji wydajności procesów i dużych wolumenów danych.
• Doświadczenie w implementacji CI/CD oraz automatycznych testów dla rozwiązań data engineeringowych.
• Doświadczenie w środowiskach o wysokich wymaganiach dotyczących zgodności, jakości i kontroli danych.
• Bardzo dobra znajomość języka angielskiego.
Mile widziane:
• Doświadczenie z Databricks Workflows oraz Databricks Jobs.
• Znajomość Delta Live Tables lub Lakeflow.
• Doświadczenie związane z przetwarzaniem metadanych dokumentów oraz zarządzaniem referencjami do zasobów elektronicznych.
• Doświadczenie w projektach wymagających pełnej identyfikowalności, audytowalności oraz kontrolowanych procesów wdrożeniowych.
Naszym klientem jest globalna firma farmaceutyczna, która rozwija zaawansowane rozwiązania data & analytics wspierające procesy biznesowe i regulacyjne na skalę międzynarodową. Poszukujemy eksperta, który dołączy do zespołu odpowiedzialnego za budowę i rozwój strategicznej platformy danych w środowisku Azure Databricks.
Branża: Technology & Telecoms
Obszar: IT Data Analysis
Oferujemy
• Stawka do 34 EUR/h
• Praca w pełni zdalna
• Start projektu: 1 listopada
• Długoterminowy projekt do 31.10.2027
• Praca w międzynarodowym środowisku przy rozwoju strategicznej platformy danych
• Realny wpływ na rozwój nowoczesnych rozwiązań opartych o Azure Databricks i architekturę Lakehouse
• Umowa B2B via Michael Page
Azure Databricks, Python, PySpark, Spark SQL, API, Azure, ADLS, Data engineering
Databricks, Delta Live Table