Computer Graphics
TU Braunschweig

Bildbasierte Modellierung SS'22
Vorlesung mit Übung

Prof. Dr.-Ing. Marcus Magnor

Hörerkreis: Master
Kontakt: bbm@cg.cs.tu-bs.de

Modul: INF-CG-28
Vst.Nr.: 4216001, 4216017

Aktuelles

  • Die Nachschreibklausur im Wintersemester 22/23 wird am 01.03.23 von 11:30 - 13:00 Uhr stattfinden.
  • Am 29.06.2022 wird keine Präsenzvorlesung oder Übung stattfinden. Stattdessen wird eine Videoaufzeichnung der Vorlesung auf unserer Website zur Verfügung gestellt. 
  • Bitte Registrieren Sie sich für die Teilnahme an der Vorlesung und Übung über das Anmeldeformular auf unserer Website (https://www.graphics.tu-bs.de/teaching/students). Auf diese Weise können wir Sie über aktuelle Änderungen benachrichtigen. Diese Anmeldung ist informell und ersetzt nicht die offizielle Prüfungsanmeldung beim jeweiligen Prüfungsamt!
  • Die erste Veranstaltung findet am 20.04.2022 statt

Aufgrund von Umbauarbeiten an den Rechnerräumen der TU wird die Rechnerübung dieses Semester im Seminarraum G30 stattfinden. Sie benötigen für die Bearbeitung der Übung daher einen eigenen PC oder Laptop mit Windows, macOS, oder Linux.

Beschreibung 

Wie können wir die reale Welt um uns herum digital aufnehmen und im Rechner so repräsentieren, dass wir sie anschließend mit computergraphischen Techniken bearbeiten und wieder photo-realistisch rendern können?

Diese Vorlesung gibt eine Einführung in die grundlegenden Konzepte der bildbasierten Modellierung und des bildbasierten Rendering, Techniken, auf denen z.B. viele moderne Film-Spezialeffekte basieren. Wir werden Verfahren zur Ermittlung von 3D-Szenenstruktur, Szenenbeleuchtung, Textur, Reflexionseigenschaften und Bewegung aus Bildern kennenlernen sowie Methoden, wie aus verschiedenen digitalen Modellrepräsentationen neue, photorealistische Bilder erzeugt werden können.

Inhalt

  • Digitale Bildaufnahme
  • Stereo und Multi-View Kamerageometrie
  • Korrespondenzschätzung
  • Von Punktwolken zu Dreiecksnetzen
  • 3D-Geometrierekonstruktion
  • Human Motion Capture
  • Dynamische Szenen
  • Reflektionseigenschaften und Beleuchtung
  • Bildbasierte Renderingverfahren
  • Visuelle Spezialeffekte
  • 3D Filme und Displays

Ort und Zeit

  • Vorlesung: Mi 9:45 - 11:15, Raum IZ 160
  • Übungen: Mi 11:30 - 13:00, Raum G30

Voraussetzungen

  • Die Veranstaltung wird im Rahmen des Master-Informatik-Programms angeboten
  • Empfohlen: Computergraphik-Grundlagen
  • Programmierkenntnisse in C/C++ und/oder Python sind von Vorteil

Formales

  • Die erfolgreiche Teilnahme an den Übungen wird als Studienleistung gewertet und ist Voraussetzung für die Teilnahme an der Prüfung zum Erwerb der Prüfungsleistung
  • Klausur: 03.08.2022, 09:45 - 11:15 Uhr, Raum IZ160

Vorlesungen

Die Vorlesungsfolien werden im Verlauf des Semsters passwortgeschützt zur Verfügung gestellt. Das Passwort wird in der VL bekannt gegeben und kann notfalls beim Betreuer erfragt werden.

  • 20.04.2022 - Introduction / Image Acquisition [slides] [video]
  • 27.04.2022 - no lecture -
  • 04.05.2022 - Image Processing [slides] [video]
  • 11.05.2022 - Image Statistics [slides] [video]
  • 18.05.2022 - Projective Transformations [slides] [video]
  • 25.05.2022 - 3D Scanning [slides] [video]
  • 01.06.2022 - Geometry from Images [slides] [video]
  • 15.06.2022 - Shape from X [slides] [video]
  • 22.06.2022 - Motion [slides] [video]
  • 29.06.2022 - Photometric Calibration [slides] [video]
  • 06.07.2022 - Color Spaces [slides] [video]
  • 13.07.2022 - Reflectance [slides] [video]
  • 20.07.2022 - Image-based Rendering (IBR) [slides] [video]
  • 27.07.2022 - Visual Computing [slides] [video]

Übungen

In der Übung werden Sie in Kleingruppen (2-3 Studierende) Programmieraufgaben bearbeiten, um vorlesungsbegleitend praktische Erfahrungen mit der Implementierung von Bildverarbeitungsverfahren zu sammeln. Die Übungsblätter werden jeden Mittwoch nach vor der Übung online gestellt.  In der Übungsstunde werden Sie die Möglichkeit haben, Fragen zum Vorlesungsinhalt und aktuellen Übungsblatt zu stellen, sowie die Lösung des letzten Aufgabenblatts vorzustellen. Die Punktevergabe erfolgt dabei individuell, es sollte also jedes Gruppenmitglied in der Lage sein, eventuelle Fragen zu den Aufgaben und dem Code zu beantworten. Zum Bestehen der Studienleistung werden mindestens 50% der Gesamtpunkzahl benötigt.  

Achtung: Die Frameworks und Lösungen wurden auf den Rechnern im CIP Pool getestet. Leider können wir keine direkte Unterstützung für andere Systeme garantieren.  Bei Problemen meldet euch per Email an bbm@cg.cs.tu-bs.de.

Referenzlösungen zu den Aufgaben werden im Anschluss an die Übungen hier bereitgestellt.

  • 20.04.2022 - Exercise 01 [Sheet][Solution] - Introduction/OpenCV
  • 27.04.2022 - Exercise 02 [Sheet][Solution] - Image Undistortion
  • 04.05.2022 - Exercise 03 [Sheet][Solution] - Image Processing
  • 11.05.2022 - Exercise 04 [Sheet][Solution] - Median Filter / Hough Transformation
  • 18.05.2022 - Exercise 05 [Sheet][Solution] - Homographies / Panorama Images
  • 25.05.2022 - Exercise 06 [Sheet][Solution] - Laser Scanning
  • 01.06.2022 - Exercise 07 [Sheet][Solution] - Depth reconstruction
  • 15.06.2022 - Exercise 08 [Sheet][Solution] - Shape from Shading
  • 22.06.2022 - Exercise 09 [Sheet][Solution] - Optical Flow
  • 29.06.2022 - no exercise
  • 06.07.2022 - Exercise 10 [Sheet][Solution] - HDR / Tone Mapping
  • 13.07.2022 - Korrektur Exercise 10
  • 20.07.2022 - Fragerunde Klausur

Literatur

  • Marcus Magnor, Oliver Grau, Olga Sorkine-Hornung, Christian Theobalt, "Digital Representations of the Real World: How to Capture, Model, and Render Visual Reality", CRC Press, 2015
  • Richard Hartley and Andrew Zisserman, "Multiple View Geometry in Computer Vision", Cambridge 2000