AI Video-Transkription
KI-gestützte Untertitelung und Barrierefreiheit für E-Commerce-Videoinhalte
PROJEKT
AI Video-Transkription
TECHNOLOGIEN
Herausforderung
Für die Produktvideos eines Online-Shops sollte die Barrierefreiheit durch Transkription und Untertitelung verbessert werden — eine Anforderung, die im Zuge des Barrierefreiheitsstärkungsgesetzes (BFSG) an Relevanz gewonnen hat.
Der Umfang war erheblich: tausende Produktvideos mussten identifiziert, abgerufen und mit präzisen Untertiteln versehen werden. Eine manuelle Bearbeitung wäre viel zu zeit- und kostenintensiv gewesen. Zudem lagen die Videodateien nicht in einer zentralen Übersicht vor, sondern mussten erst aufgefunden werden.
Zusätzliche Herausforderungen umfassten:
- Das Fehlen einer zentralen Videoübersicht oder klaren Struktur der Speicherorte
- Schutzmaßnahmen gegen automatisierte Zugriffe, die einen schonenden, rate-limitierten Abruf erforderten
- Die Notwendigkeit wortgenauer Untertitel für optimale Barrierefreiheit
- Benötigte Anpassungen für Markennamen und branchenspezifische Fachbegriffe
Lösung
Ich entwickelte eine durchgängige Pipeline, die das Problem in mehreren Schritten löste:
1. Crawler für Videoidentifikation
Durch Analyse der Websitestruktur stellte ich fest, dass die Produktvideos einem festen Namensschema anhand der jeweiligen Produktnummer folgten. Ich entwickelte einen Python-Crawler, der den Katalog systematisch abprüfte und so über tausend Videos identifizierte, ohne dass eine zentrale Übersicht nötig war.
2. Schonendes Download-Management
Für den Abruf implementierte ich ein sequentielles, rate-limitiertes Verfahren mit verzögerten Anfragen und sauberem Session-Handling. So wurden die Videos zuverlässig und serverschonend heruntergeladen.
3. Audio-Extraktion und KI-Transkription
Mit FFmpeg extrahierte ich die Audiospuren aus den Videos. Für die Transkription nutzte ich einen spezialisierten Fork von OpenAI's Whisper (whisper-timestamped), der wortgenaue Zeitstempel liefert – eine Funktion, die sonst nur in der kostenpflichtigen OpenAI API verfügbar ist.
4. Generierung von Untertiteldateien
Die wortgenauen Transkriptionen wandelte ich in SRT- und VTT-Formate um. Dabei implementierte ich einen intelligenten Algorithmus zur Segmentierung der Untertitel, der sicherstellte, dass sie optimal auf den Bildschirm passen und synchron mit dem Gesprochenen erscheinen.
5. Automatische Thumbnail-Generierung
Mit OpenCV analysierte ich die Videos, um qualitativ hochwertige Frames als Thumbnails zu extrahieren. Der Algorithmus berücksichtigte Faktoren wie Farbvielfalt und Detailreichtum, um sicherzustellen, dass die Thumbnails repräsentativ und ansprechend sind.
Code-Beispiele
Ergebnisse
Die entwickelte Pipeline erzielte beeindruckende Ergebnisse:
- Erfolgreiche Identifikation und Verarbeitung von über tausend Produktvideos
- Automatische Erstellung präziser Untertitel mit einer geschätzten Fehlerquote von unter 5% bei normalem Text
- Signifikante Verbesserung der Barrierefreiheit für hörgeschädigte Kunden
- Enorme Zeit- und Kostenersparnis im Vergleich zu einer manuellen Transkription
- Wiederverwendbare Pipeline, die für neue Produktvideos eingesetzt werden kann
Besonders hervorzuheben ist die Qualität der automatisch generierten Untertitel und die Präzision der Wort-Timings, die ein synchrones Leseerlebnis ermöglichen. Die einzige Einschränkung lag bei der Erkennung spezieller Markennamen und Fachbegriffe, die in zukünftigen Versionen durch angepasste Wörterbücher verbessert werden könnte.
Visuelle Eindrücke
Der Workflow zeigt den Prozess der Transkription von Videos.