Beschreibung
ChatGPT und andere Transformer für Natural Language Processing (NLP)
Natural Language Processing (NLP) erregt aktuell aufgrund der beeindruckenden Fähigkeiten von ChatGPT ein großes Medieninteresse.Dieser Kurs richtet sich daher an IT-Entwickler:innen und Data Scientists, die sich über den neuesten Stand der transformerbasierten Sprachanalyse und Sprachgenerierung informieren und diese Kenntnisse für ihre eigenen Anwendungen nutzen möchten.
Transformer sind in der Lage, eine Zeichenfolge (oder eine Folge von Wörtern) in eine andere Zeichenfolge zu übersetzen. Beispielsweise können Fragen in Antworten, Englisch in Deutsch, lange Texte in Zusammenfassungen oder sogar DNA-Codierungen in Proteincodierungen umgewandelt werden. Google führte Transformer mit BERT ein, während OpenAI GPT entwickelte. Obwohl Transformer teilweise aufwändig trainiert werden müssen, können auch vortrainierte Transformer für individuelle Anwendungen weiterentwickelt werden.
Kommende Starttermine
Inhalte / Module
- Einführung Transformer
- Von GPT-1 zu ChatGPT (GPT-4)
- ChatGPT-Anwendungen
- Text Completion
- Code Completion
- Image Generation
- Embeddings
- Einführung Transformer
- Das Encoder-Decoder Framework
- Attention Mechanisms
- Transfer Learning in NLP
- Hugging Face Transformers
- Transformer-Anwendungen
- Text Classification
- Named Entity Recognition
- Question Answering
- Summarization
- Translation
- Text Generation
- Hugging Face
- Das Hugging Face Ecosystem
- Der Hugging Face Hub
- Hugging Face Tokenizers
- Hugging Face Datasets
- Hugging Face Accelerate
- Text-Klassifikation
- Hugging Face Dataset
- Conversion of Datasets to DataFrames
- Tokenization
- From Text to Tokens
- Character Tokenization
- Word Tokenization
- Sub-word Tokenization
- Tokenizing the Whole Dataset
- Training a Text Classifier
- Transformers as Feature Extractors
- Fine-Tuning Transformers
- Transformer-Architektur
- Der Encoder
- Self-Attention
- Feed-Forward Layer
- Adding Layer Normalization
- Positional Embeddings
- Adding a Classification Head
- Der Decoder
- Transformers
- Transformer Tree of Life
- Encoder Branch
- Decoder Branch
- Encoder-Decoder Branch
- Multilingual Named Entity Recognition
- Das Dataset
- Multilingual Transformers
- Tokenization
- Transformers for Named Entity Recognition
- The Anatomy of the Transformers Model Class
- Tokenizing Texts for NER
- Performance Measures
- Fine-Tuning XLM-RoBERTa
- Error Analysis
- Cross-Lingual Transfer
- Interacting with Model Widgets
- Der Encoder
- Trainieren von Transformen from Scratch
- Large Datasets
- Where to find Large Datasets?
- Challenges of Building a Large-Scale Corpus
- Building a Custom Code Dataset
- Working with Large Datasets
- Building a Tokenizer
- Das Tokenizer Model
- Measuring Tokenizer Performance
- Tokenizer for Python
- Training a Tokenizer
- Saving a Custom Tokenizer on the Hub
- Training a Model from Scratch
- Initializing the Model
- Implementing the Dataloader
- Defining the Training Loop
- Der Training Run
- Results and Analysis
- Large Datasets
- ChatGPT API mit Python
- Authentication
- Model Fine-Tuning for own Custom Dataset
- Preparing Dataset
- Advanced Usage
- Weights & Biases
- Fine-Tuning Text-Classification Code Example
- Fine-Tuning Question-Answering
- Zusammenfassung des Kurses, Q&A
Zielgruppe / Voraussetzungen
Hinweis: Dieser Kurs richtet sich an Mitarbeitende aus Unternehmen und Institutionen.
Für Privatpersonen ist dieser Kurs leider nicht geeignet.
Bitte beachten Sie: Bildungsgutscheine der Agentur für Arbeit werden für diesen Kurs NICHT anerkannt.
Abschlussqualifikation / Zertifikat
Infos anfordern
GFU Cyrus AG
Erweitern Sie Ihre IT-Skills mit einem offenen IT-Training oder ganz nach Ihren Bedürfnissen durch eine individuelle IT-Schulung. Programmiersprachen (C#, Python, Java, …), Microsoft Office 365, Anforderungsmanagement, Projektmanagement, Business Intelligence, Data Science, Künstliche Intelligenz, IT-Sicherheit , Administration & Datenbanken, Softwareentwicklung, Testmanagement...
Erfahren Sie mehr über GFU Cyrus AG und weitere Kurse des Anbieters.
Bewertungen von Teilnehmern
Bewertungsdurchschnitt: 5
Super Aufbereitete Inhalte:
Auffrischen AI / ML
Einführung konzeptionell GenAI (Transformer & LLM)
Praktische Beispiele
Alles war wunderbar organisiert. Sehr fachlich und ich habe eine menge gelernt.