Konzepte und Praktiken für ein erfolgreiches Data Engineering

Immer mehr Bereiche und Prozesse im Unternehmen sind auf die zuverlässige Bereitstellung hochqualitativer Daten als Grundlage für fundierte Entscheidungen, innovative Produkte und wettbewerbsfähige Lösungen angewiesen. Die stetige Zunahme der Menge und Vielfalt für den Unternehmenserfolg kritischer Daten bringt jedoch technische Herausforderungen mit sich. Die Auswahl geeigneter Lösungsansätze und Anwendungen ist zudem durch die enorm gestiegene Vielfalt im Data Engineering komplex. Es gilt, vielfältige Zusammenhänge zu überblicken und Tools so zu kombinieren, dass sie nahtlos miteinander zusammenarbeiten. Hierbei begegnet ein erfolgreiches Data Engineering den gestiegenen Anforderungen mit der richtigen Mischung aus bewährten Methoden sowie modernen Werkzeugen und Ansätzen. Hierfür sind Fähigkeiten, in der Datenmodellierung, der Gestaltung zuverlässiger Daten-Pipelines und der performanten Bereitstellung qualitativer Daten aus Datenbanken oder Data Lakes gefragt, welche das angebotene Seminar vermittelt.

Das Seminar führt Sie in die grundlegenden Konzepte und entscheidenden Aspekte des Data Engineerings ein. Es vermittelt Methoden, die sich für die erfolgreiche Umsetzung von Datenverarbeitungs- und -bereitstellungsprozessen vielfach bewährt haben. Dabei behandelt es die gesamte Prozesskette von der Datenaufnahme über die Datenmodellierung und -verarbeitung bis hin zur geeigneten Bereitstellungsmethode. Dabei lernen Sie moderne Technologien für die Datenverarbeitung (ETL/ELT, Stream Processing), das Orchestrieren von Prozessen, Data
Governance und Data Warehousing kennen. Technische Demonstrationen geben Ihnen darüber hinaus einen Einblick, was entsprechende Tools leisten können.

Das Seminar ist branchenunabhängig geeignet für Teilnehmende mit Basiskenntnissen im IT-Umfeld, die sich auf die konzeptionelle Gestaltung, praktische Ausprägung, Weiterentwicklung und den Betrieb von IT-Systemen zur Datenverarbeitung oder -bereitstellung vorbereiten wollen. Die Kenntnisse einer konkreten Programmiersprache oder Datenbanksprache – wie etwa SQL – sind nicht erforderlich. Der Inhalt ist weitestgehend unabhängig von spezifischen
Softwarelösungen gestaltet, wodurch das Erlernte auf eine Vielzahl eingesetzter Werkzeuge übertragbar ist.

Dienstag, 3. Dezember 2024
9:00 bis 12:15 und 13:15 bis 16:30 Uhr

Modellieren von Datenstrukturen

• Charakterisieren von Datenstrukturen
• Herangehensweisen an die Datenmodellierung
• Erstellen semantischer Datenmodelle
• Best Practices der Datenmodellierung
• Dokumentation von Datenmodellen
• Schichtweise Datenverarbeitung
• Auswahl der richtigen Modellierungsmethode

Datenbank- und Data-Lake-Technologien

• entscheidende Charakteristika von Datenbanken & das CAP-Theorem
• Kriterien bei der Auswahl des richtigen Datenbanktyps
• Schritte zur Optimierung der Datenbank-Performance
• Datenhaltung in einem Data Lake
• Abfrage von Daten aus einem Data Lake
• strukturierter Aufbau eines Data Lake
• Was unterscheidet ein Data Lakehouse von einem Data Lake?
• "The Modern Data Stack" - Neue Technologien im Data Engineering

Erstellung von Daten-Pipelines (ETL/ELT)

• die Phasen des Data-Engineering-Lebenszyklus
• Strategien der Datentransformation
• Orchestration der Aufgabenausführung in korrekter Abfolge
• Sichern von Datenqualität
• lückenlose Rückverfolgbarkeit des Prozesses der Datenentstehung mittels Data Lineage
• Wege zu resilienten Daten-Pipelines
• Performanz-, Stabilitäts- & Qualitätsüberwachung von Daten-Pipelines