Semantische Suche im audiovisuellen Kulturerbe – Das Projekt mediaglobe In den deutschen Medienarchiven stehen große Mengen an Film- und Videomaterial zur Verfügung. Aufgrund mangelnder finanzieller und technischer Voraussetzungen bzw. aus rechtlichen Gründen können jedoch nur Bruchteile davon über das Internet recherchiert und verwertet werden. Im Rahmen des Forschungsprojekts mediaglobe entsteht derzeit eine Arbeitsprozesslösung zur effizienten Verwaltung, Erschließung und Distribution von audiovisuellen Inhalten, deren Zielgruppe Medienarchive sowie Medienproduktions- und Rundfunkanstalten darstellen. Der Vortrag gibt einen Einblick in die Zielsetzungen des Projekts und thematisiert insbesondere die Nutzung von Metadaten zur Bereitstellung innovativer Suchfunktionen. Es werden Ansätze zur Extraktion, Generierung und Integration inhaltsbeschreibender Metadaten aufgezeigt, die eine semantische Suche in audiovisuellen Medienbeständen ermöglichen. Das Projekt mediaglobe ist Teil des THESEUS-Forschungsprogramms und wird vom Bundesministeriums für Wirtschaft und Technologie gefördert. Förderkennzeichen: 01MQ09031. Neben dem Hasso-Plattner-Institut für Softwaresystemtechnik sind als Partner die Medienbildungsgesellschaft Babelsberg gGmbH, die defa-Spektrum GmbH und die Flow Works GmbH beteiligt. Der I-Science Tag ist eine Veranstaltungsreihe des Fachbereichs Informationswissenschaften der FH Potsdam und stand in diesem Jahr unter dem Motto: "Digitale Gesellschaft: vom Web 2.0 zum semantischen und visuellen Web 3.0". Es wurden hier zentrale Themen der Vernetzung und speziell der Visualisierung semantischer Daten diskutiert und konkrete Lösungen für die Praxis in den Informationseinrichtungen vorgestellt.

1. Semantische Suche im audiovisuellen Kulturerbe
– Das Projekt mediaglobe
Johannes Hercher
Hasso-Plattner-Institut für Sofwaresystemtechnik GmbH
Teile dieser Arbeit werden vom Bundesministerium für Wirtschaft und Technologie gefördert
(Förderkennzeichen: 01MQ09031).

2. Forschungsgruppe:
,Semantic Technologies & Multimedia Retrieval‘
■ Themen in der Forschungsgruppe, u.a.:
□ Semantic Web Technologies
□ Ontology Engineering
□ Multimedia Analysis & Retrieval
Macht audiovisuelles
Kulturerbe erlebbar!
■ Projekte
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 2 / 14

3. Übersicht
■ Das Projekt mediaglobe
■ Herausforderungen bei der Filmrecherche
■ Metadatengenerierung & Vernetzung
■ Semantische Suche (Demo)
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 3 / 14

4. Das Projekt mediaglobe
{
Unterstützung von Filmarchiven, bei:
Digitalisierung Projektlaufzeit:
2009 – 2012
Erschließung und
Verwertung
von audiovisuellen Materialien.
Aufgaben (HPI)
Medienanalyse & Metadatengenerierung
semantische Analyse & semantische Suche
innovative Benutzerschnittstellen
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 4 / 14

5. Kontexte Fakten
Autoren Historiker
Ideen Zitate
Perspektive Fundstellen
~1.000 h Dokumentarfilm (defa Spektrum GmbH)
nicht fiktionale Filme zur deutsch-deutschen Geschichte (ab 1960)
Zeitzeugen, TV-Produktionen, Amateuraufnahmen, …
Qualität
Rückblick Rechte
Emotionen
Privat- Ereignisse Verwertung
Produzenten
personen

6. Die Situation Die Ziele
■ Filme online nicht verfügbar ■ Punktgenauer Zugriff auf Medieninhalte
■ Ereignisse,
■ verteilte Bestände ■ Orte,
■ Personen
■ Sichtung vor Ort erforderlich
■ Genaue und vollständige Suchergebnisse
■ geringe Erschließung
■ high precision,
■ keine Cross-Recherche ■ high recall
■ nicht intuitiv nutzbar ■ Intuitive Benutzeroberfläche
■ interaktiv,
■ benutzerfreundlich

7. Lösung: Punktgenaue Semantische Suche
Medien
Medienanalyse Strukturen
&
Metadaten- Kohl Halle Adenauer Metadaten
Bonn
generierung Text
Mai Einheit
Semantische
Analyse & Entitäten/
Named-Entity- Ressourcen
Recognition
Metadaten
Netz von
vernetzen
z.B.: bibliographische Daten, Beziehungen
Gekoordinaten, Abstracts
encyclopaedic data, ..
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 7 / 14

8. Lösung: Information → Wissen
Film 1 : Walter Markov Interview (1989)
Wendezeit; Erster Mai;
17.12.1989 1.5.1966;
20 Jahre SED
Walter Ulbricht Ulbricht, Walter (PND)
Walter Markov Ulbricht, Lotte (PND)
Honecker, Erich (PND)
Berlin;
Marx-Engels-Platz Berlin;
Marx-Engels-Platz
Revolution
Prager Frühling
Nelke (SWD)
Bild: Defa Spektrum GmbH Bild: Defa Spektrum GmbH
dbpedia:wikiPageRedirects
Film 2: Berlin heute (1966)
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 8 / 14

9. Digitalisierung → Semantische Suche
UIMA - Unstructured
Information
Persistent Storage (Media Asset Management)
Management Architecture
Schnitterkennung
Gesichtsdetektion
Media Transcoding
kollaborative Annotation
Semantic Analysis
Digitalisierte Video OCR
Named Entity Semantische
Recognition Suche
Filme
Disambiguierung
Audio Analyse
Genre Erkennung
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 9 / 14

10. Medienanalyse Schnitterkennung
■ Strukturanalyse ■ Fehlerquellen Analyse von Histogramm-Differenzen
□ harte Schnitte, < VS > □ Bildfehler,
□ weiche Schnitte □ Kamerabewegung
ähnliche Merkmale !
■ Analytisch z.B. durch:
□ Differenzbildanalyse
□ Analyse von Helligkeits- und Farbdifferenzen Analyse von Bewegungsvektoren
□ Analyse von Bewegungsvektoren
■ Maschnielles Lernen, z.B. mit:
□ K-Nearest Neighbor
□ Random Forrest
□ Support Vector Machines
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 10 / 14

11. Medienanalyse Texterkennung
■ Texterkennung im Video, Herausforderungen:
□ Text in großen Bilddatenbeständen identifizieren
□ geringe Auflösung
□ unterschiedliche Textgrößen und Schriften
□ bei Szenentext:
□ schlechte Lichtverhältnisse
□ perspektivische Verzerrung
□ bei Overlay-Text
□ heterogener Hintergrund
■ Aufgaben (vor der Texterkennung)
» Bildverbesserung Prof. Rudolf Agsten
LDPD
» Textseparierung
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 11 / 14

12. Semantische Analyse
Named Entity Recognition durch
semantische Graphenanalyse
Amtseinführung
Truman The Truman Show ?
Truman Capote ?
Eisenhower
Potsdam
Harry S. Truman ?
Amtseinführung
Inauguration
Kontext Truman, Minnesota ?
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 12 / 14

13. Demonstration
Semantische Suche
Generierung von Metadaten
Analyse
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 13 / 14

14. Kontakt
Johannes Hercher
Hasso-Plattner-Institut für Softwaresystemtechnik
Universität Potsdam
Prof.-Dr.-Helmert-Str. 2-3
D-14482 Potsdam
Web: http://www.hpi.uni-potsdam.de/meinel/forschung/future_internet/semantic_technologies.html
E-Mail: Johannes.Hercher@hpi.uni-potsdam.de
Twitter: jhercher
an k f ür
Vi ele n D am ke it!
uf me rks
I hr e A
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 14 / 14