Beschreibung
Große Sprachmodelle entwickeln, feintunen und einsetzen
Ziel
Wie funktionieren große Sprachmodelle und Bilderkennungssysteme? Lernen Sie aktuelle Deep-Learning-Technologien kennen und einsetzen.
Dieser Workshop ermöglicht Ihnen einen fundierten Einstieg in das Entwickeln und Feintunen von großen Sprachmodellen (LLM) für eigene Einsatzzwecke. Zudem erhalten Sie einen Überblick über aktuelle Deep-Learning-Lösungen (Open Source und proprietär) auf dem Markt.
Die Workshop-Themen auf einen Blick:
-
Einführung in das Deep Learning Framework PyTorch (mit Praxisübungen)
-
Einführung in große Sprachmodelle und Bilderkennungsmodelle
-
Training eines Modells für die Bilderkennung
-
Training eines großen Sprachmodells from scratch mittels eines Demo Use-Case
-
Feintuning eines großen Sprachmodells und weitere Trainingsmöglichkeiten wie Reinforcement Learning from Human Feedback (RLHF)
-
Nutzung von vortrainierten Modellen, die die KI-Plattform Hugging Face bereitstellt
-
Möglichkeiten und Risiken von Deep-Learning-Modellen
Kommende Starttermine
Inhalte / Module
1. Tag
-
Meilensteine der Künstlichen Intelligenz
-
Sicherheit und Datenschutz
-
Risiken durch Künstliche Intelligenz
-
Cybersecurity und Künstliche Intelligenz
-
Datenschutz und Urheberrecht
-
KI on-premise vs. KI in der Cloud
-
-
Grundlagen von Machine Learning / Deep Learning
-
Funktionsweise von künstlichen neuronalen Netzen
-
Machine-Learning-Architekturen
-
Funktionsweise von großen Sprachmodellen auf Basis der Transformer-Architektur
-
Training der großen Sprachmodelle
-
-
Anwendungsbereiche für Machine Learning
-
Die großen Sprach- und Bildmodelle, wie ChatGPT, Llama und Stable Diffusion
-
Gefahren und Risiken von Deep Learning Modellen
-
Einführung in PyTorch
-
2. Tag
-
Tokenizers
-
Tokenizer Types
-
Character-level tokenizers
-
Other tokenizers
-
-
Embeddings
-
Embeddings vectors
-
Embeddings implementation (from scratch)
-
-
Pytorch & Erstellen eines LLM von null auf (Durchführung in Google Colab)
-
Tensor statt Arrays
-
Lineare Algebra
-
Inputs und Targets
-
Batch size
-
CPU/CUDA
-
CPU VS GPU Leistungsvergleich
-
Dot product
-
Matrix Multiplikation
-
Pytorch nnModule
-
Gradient Descent
-
Optimizer Erklärung
-
Optimizer Implementierung
-
Loss Function
-
ReLU, Tanh, Sigmoid Activations
-
Transformer und Self-Attention
-
Transformer Architecture
-
Multihead Attention und Dot product Attention
-
Train/Test split
-
Model Pickling
-
Training
-
-
Hands-On PyTorch mit einem Modell für die Bilderkennung
3. Tag (Hands on)
-
Übersicht über die Open-Source-Plattform für KI Hugging Face
-
Übersicht überpretrained models
-
Token classification- Daten anonymisieren
-
Text classification- Stimmung von Personen erkennen
-
Text summarization- Übersichten über einen Text erstellen
-
Sentence similarity- Standard-Chatbot-Anwendungen verbessern
-
Vektor-Speicherarchitektur
-
Wie kombiniert man ein LLM mit Vektorspeicherdatenbank
-
LLM-Feinabstimmung für spezifische Aufgaben
Zielgruppe / Voraussetzungen
Der Workshop richtet sich an IT-Fachkräfte, die einen einfachen, aber gediegenen Einstieg in die Welt des maschinellen Lernens suchen und sich mit aktuellen Deep-Learning-Technologien wie großen Sprachmodellen auseinandersetzen möchten.
Voraussetzungen:
Sie sollten ein gutes Verständnis aktueller IT-Technologien, sowie praktische Erfahrung mit IT-Systemen im Unternehmenseinsatz mitbringen. Auch sollten Sie über grundlegende Programmierkenntnisse in Python verfügen.
Abschlussqualifikation / Zertifikat
Teilnahmebescheinigung
Kostenzusatz
Enthalten sind Workshopunterlagen und die Teilnahmebescheinigung
Infos anfordern
heise academy
Die heise academy steht für selbstbestimmte und lebenslange Weiterbildung für IT-Professionals und Unternehmen. Unsere Schulungen überzeugen vor allem durch Interaktion, thematischen Tiefgang und individuelle Betreuung. Die iX-Workshops bieten IT-Professionals unverzichtbare Fortbildung sowohl zu neuen als auch zu bestehenden Themen. Das Themenspektrum umfasst...
Erfahren Sie mehr über heise Academy und weitere Kurse des Anbieters.