Course in Machine Learning for Language Technologies

• Description
• General Information
• Lecturenotes
• Lab

Description

Für eine gegebene Aufgabe und ein Erfolgsmaß lernt ein Computerprogramm (und damit eine Maschine), wenn es die Aufgabe mit zunehmender Erfahrung besser lösen kann. In diesem Modul lernen die Studierenden das maschinelle Lernen für Sprachtechnologien als eine gezielte Suche in einem Raum potenzieller Hypothesen kennen. Eine Hypothese ist eine Funktion bzw. ihre Parameter, die eine zu erlernende Beziehung zwischen Predictor- und Response-Variablen beschreibt. Die Studierenden sollen einen breiten Überblick über die für Sprachtechnologien relevanten Lernparadigmen gewinnen und die jeweils grundlegenden Konzepte und Theorien verstehen. Die Entwicklung moderner Sprachtechnologien bis hin zu Sprachmodellen soll nachvollzogen, das Erlernte praktisch erprobt und der erzielte Erfolg bewertet werden.

General Information

Organization

Requirements

Prerequisites for this course are the basic modules about algorithms and data structures, theoretical computer science and mathematics. We will use Python as a programming language.
It might be helpful to refresh the following topics as their use will be required in the course. This list might be incomplete.

• Mathematical set notation
• Boolean formulas
• Matrix multiplication and transposition, matrix-vector multiplication
• Partial derivatives, rules of derivation, Taylor formula
• Straight line equation: Formulating the equation, drawing and reading a plot; quadratic functions
• Laws of exponents, laws of logarithms
• Probabilities: Product rule, conditional probabilities, independence, total probability, Bayes Theorem

Lecturenotes

Logbook

Lab

Topic 1: Intro, Python and Maths Basics

• Material will be published on: tbd.
• Relevant lectures: Until Introduction > Learning Tasks

Topic 2: Concept Learning & Evaluation

• Material will be published on: tbd.
• Relevant lectures: Until Machine Learning Basics > Evaluating Effectiveness

Topic 3: Linear Models

• Material will be published on: tbd.
• Relevant lectures: Until Linear Models > Overfitting & Regularization

Topic 4: Bayesian Classification

• Material will be published on: tbd.
• Relevant lectures: Until Bayesian Learning > Bayes Classifier

Topic 5: Tree-Based Classification

• Material will be published on: tbd.
• Relevant lectures: Until Decision Trees > Pruning

Topic 6: Neural Networks

• Material will be published on: tbd.
• Relevant lectures: Until Neural Networks > Multilayer Perceptron