Beschreibung
Azure Data Factory: Einführung und grundlegende Konzepte
Die Teilnehmenden lernen die grundlegenden und fortgeschrittenen Techniken zur effizienten Nutzung von Azure Data Factory kennen. Das Seminar umfasst die Einführung in Azure Data Factory, Installation und Einrichtung, Erstellung von Pipelines und Datenflüssen, Datenbewegung und -transformation, erweiterte Datenflüsse und Transformationen, Parameterisierung und Trigger, Sicherheit und Verwaltung sowie Integration und Automatisierung.Teilnehmende werden in die Lage versetzt, Azure Data Factory effektiv zu nutzen, um leistungsstarke und optimierte Datenintegrations- und Transformationslösungen zu entwickeln und zu verwalten. Durch praxisorientierte Übungen und detaillierte Anleitungen erlangen sie die Fähigkeit, qualitativ hochwertige Pipelines zu implementieren, die zur Verbesserung der Effizienz und Qualität der Datenverarbeitung in ihrem Unternehmen beitragen.
Azure Data Factory ist ein leistungsstarkes und flexibles ETL-Tool, das Unternehmen dabei unterstützt, ihre Datenintegrations- und -transformationsprozesse zu modernisieren und zu optimieren. Mit seiner benutzerfreundlichen, visuellen Entwicklungsumgebung, umfassenden Orchestrierungs- und Planungsfunktionen sowie der nahtlosen Integration mit anderen Azure-Diensten bietet ADF eine umfassende Plattform für die Datenverarbeitung. Im Vergleich zu anderen ETL-Tools bietet ADF Vorteile wie automatische Skalierung, hohe Verfügbarkeit und die Nutzung der Cloud-Infrastruktur von Azure.
Kommende Starttermine
Wählen Sie aus 9 verfügbaren Startterminen
Inhalte / Module
- Überblick über Azure Data Factory: Was ist Azure Data Factory und warum ist es wichtig?
- Hauptmerkmale und Vorteile von Azure Data Factory im Vergleich zu anderen ETL-Tools.
- Anwendungsfälle und typische Szenarien für die Nutzung von Azure Data Factory.
- Systemanforderungen und notwendige Software.
- Erstellung und Konfiguration einer Azure Data Factory-Umgebung.
- Erste Schritte: Navigation in der Benutzeroberfläche und Grundkonfiguration.
- Einführung in Pipelines und Datenflüsse.
- Erstellen und Konfigurieren von Pipelines zur Datenintegration.
- Überblick über Datenquellen und Sinks: Azure Blob Storage, SQL-Datenbanken, Data Lakes.
- Nutzung von Copy Activity zur Datenbewegung zwischen verschiedenen Speicherorten.
- Einführung in Data Flow und Mapping Data Flow zur Datentransformation.
- Datenbereinigung und -transformation: Umgang mit fehlenden Werten, Datenaggregation, Joins und Filter.
- Problemstellung: Erstellung einer Azure Data Factory-Pipeline zur Datenintegration aus mehreren Quellen.
- Lösung:
- Erstellung und Konfiguration einer Pipeline in Azure Data Factory.
- Nutzung von Copy Activity zur Datenbewegung und einfachen Transformationen.
- Tool: Azure Data Factory-Portal zur Erstellung und Verwaltung der Pipeline.
- Ergebnis: Eine funktionsfähige Pipeline zur Integration und Transformation von Daten aus verschiedenen Quellen.
- Nutzung von Mapping Data Flows für komplexe Transformationen.
- Erstellung von benutzerdefinierten Transformationen mit Data Flow Script.
- Umgang mit verschiedenen Dateiformaten: CSV, Parquet, JSON.
- Einführung in Parameter und Variablen zur dynamischen Steuerung von Pipelines.
- Erstellung und Nutzung von Triggern zur Planung und Automatisierung von Pipelines.
- Event-basierte Trigger und zeitgesteuerte Ausführungen.
- Implementierung von Sicherheitsrichtlinien und Zugriffskontrollen in Azure Data Factory.
- Nutzung von Managed Identities und Azure Key Vault zur sicheren Verwaltung von Verbindungen und Anmeldeinformationen.
- Monitoring und Logging: Nutzung von Azure Monitor und Log Analytics zur Überwachung von Pipelines.
- Integration von Azure Data Factory in Continuous Integration und Continuous Deployment (CI/CD)-Pipelines.
- Nutzung von Azure DevOps zur Versionskontrolle und Bereitstellung von Data Factory-Artefakten.
- Automatisierung von Deployment-Prozessen mit ARM Templates und Azure CLI.
- Problemstellung: Erstellung einer komplexen Azure Data Factory-Pipeline mit erweiterten Transformationen und Integration in eine CI/CD-Pipeline.
- Lösung:
- Erstellung und Konfiguration einer komplexen Pipeline mit Mapping Data Flows.
- Nutzung von Parametern und Triggern zur dynamischen Steuerung der Pipeline.
- Integration der Pipeline in eine Azure DevOps CI/CD-Pipeline zur automatisierten Bereitstellung.
- Tool: Azure DevOps und Azure Data Factory-Portal zur Erstellung und Verwaltung der Pipeline.
- Ergebnis: Eine komplexe Pipeline zur Datenintegration und Transformation mit CI/CD-Integration.
Zielgruppe / Voraussetzungen
Hinweis: Dieser Kurs richtet sich an Mitarbeitende aus Unternehmen und Institutionen.
Für Privatpersonen ist dieser Kurs leider nicht geeignet.
Eine Informationsanfrage zu diesem Kurs ist nur für Beteiligte aus dem B2B-Bereich sinnvoll.
Abschlussqualifikation / Zertifikat
Infos anfordern
GFU Cyrus AG
Erweitern Sie Ihre IT-Skills mit einem offenen IT-Training oder ganz nach Ihren Bedürfnissen durch eine individuelle IT-Schulung. Programmiersprachen (C#, Python, Java, …), Microsoft Office 365, Anforderungsmanagement, Projektmanagement, Business Intelligence, Data Science, Künstliche Intelligenz, IT-Sicherheit , Administration & Datenbanken, Softwareentwicklung, Testmanagement...
Erfahren Sie mehr über GFU Cyrus AG und weitere Kurse des Anbieters.
Anzeige