Course in Natural Language Processing

Description

Natürliche Sprachen sind von Menschen gesprochene Sprachen, die sich dynamisch und weitgehend unkontrolliert entwickelt haben. Die Verarbeitung natürlicher Sprache (engl. "Natural Language Processing", NLP) ist eine der zentralen Herausforderungen der Informatik im Bereich der angewandten künstlichen Intelligenz. Zu den Zielen gehören die u.a. computergestützte Unterstützung von Menschen beim Schreiben, das Identifizieren oder Generieren von Texten, die eine Frage beantworten, das automatische Kategorisieren von Texten, das Extrahieren bestimmter Informationen aus ihnen und das Zusammenfassen oder Übersetzen von Texten. Um sicherzustellen, dass sich Maschinen nahtlos in eine Umgebung einfügen, die von und für Menschen geschaffen wurde, werden natürliche Sprachen als Benutzerschnittstelle dienen. Die daraus resultierenden Technologien werden Sprachtechnologien genannt. In dem Modul werden grundlegende und fortgeschrittene Konzepte und Methoden der Sprachverarbeitung sowie der entsprechende mathematische Hintergrund vermittelt und in der Praxis erprobt. Typische Schwerpunkte sind verschiedene Bereiche der Linguistik, Korpuslinguistik, Textmodelle, Wörter, Syntax, Semantik, Diskurs und Anwendungen sowie KI- und ML-Technologien und insbesondere Transformer-Architekturen.

General Information

Lecturer Prof. Dr. Martin Potthast
Lab Advisors Tim Hagen
Workload 2 SWS Lecture, 2 SWS Lab
Lecture Wednesday, 12:00 s.t. - 13:30, Hörsaal 2104 (Wilhelmshöher Allee 71), starting 23.04.2025
Lab Tuesday, 14:15 - 15:45, Raum -1605 (Neubau Wilhelmshöher Allee), starting 29.04.2025
Exam Written exam at the end of the semester: Tuesday, August 12, 2025 at 10:15 – 11:45 (please be there at 10:00) in Room 2104 (Wilhelmshöher Allee)
Permitted resources for the exam - a non-programmable calculator
- a one-sided, handwritten (pen and paper; not digitally handwritten) DIN A4 sheet of paper with notes (with name + matriculation number, has to be handed in)

Organization

  • Lectures will take place in person, but have additionally been prerecorded. The videos can be accessed by following the lecturenotes below, or on the Webis YouTube channel. [playlist]
  • Exercises will take place regularly from April 29 onwards.
  • Examination will take place as a written exam (90 min). The exam is written in English. Your answers can be written in English or German.
  • Communication
    • Discord — direct communication with teaching staff and announcements will be posted here. Please email the teaching staff for a link to join.
    • Lecture website — materials and organization annoucements will be uploaded on this website.

Lecturenotes

Lab Sessions

Lab project material will be published here over the course of the semester.

Date Title Materials Deliverables
29.04.2025
  • Lab Overview
06.05.2025
  • NLTK & spaCy
  • IMDB Movie Reviews
13.05.2025
  • Effectiveness Measures
  • Exercise 1 due
20.05.2025
  • Hypothesis Testing
27.05.2025
  • Zipf's law
  • Data Aqcuisition & Annotation
  • Exercise 2 due
03.06.2025
  • Reimplementing BERT
10.06.2025
  • Regex and Text processing
  • Exercise 3 due
17.06.2025
  • Lecture instead of exercise
24.06.2025
  • Stemming
  • Tokenization (BPE)
  • Exercise 4 due
01.07.2025
  • Distributional Semantics
  • Bag of Words
  • Exercise 5 due
08.07.2025
  • Principal Component Analysis
  • Latent Semantic Analysis
15.07.2025
  • No Exercise
22.07.2025
  • Lexical and Semantic Similarity

Literature

  • J. Eisenstein. Natural Language Processing. MIT Press 2019. [view]
  • D. Jurafsky, J. H. Martin. Speech and Language Processing. Prentice Hall 2000, 2009, 2025. [view]
  • C. D. Manning, H. Schütze. Foundations of Statistical Natural Language Processing. MIT Press 1999. [view]

Further Resources