Für welche Anwendung eignet sich der Deep Live Hub?
Die Lösung für Broadcasting, Webcasting, Offline- und Hybrid-Events.
Deep Live Hub kann für verschiedene Anwendungen verwendet werden, bei denen Live-Transkripte, Untertitel und Übersetzungen nützlich sind. Typische Anwendungen sind:
1. Broadcast:
Sendeanstalten verwenden Deep Live Hub, um Untertitel und übersetzte Untertitel für Live-TV zu generieren. Und so funktioniert es:
- Der Sender sendet eine Audio- oder Videospur des Videostreams über RTMP oder WebRTC an Deep Live Hub.
- Die Untertitel in der Originalsprache werden mit einer minimalen Verzögerung von 3 Sekunden erstellt und können über HLS egress abgerufen werden.
- Die übersetzten Untertitel sind nach 5 Sekunden über HLS egress verfügbar, und für schnellere Ergebnisse kann HLS-realtime Partials (Teilergebnisse) der Untertitel in der Eingabesprache mit einer Verzögerung von weniger als einer Sekunde abrufen.
In einem typischen Broadcast-Workflow verwendet der Sender nur die von Deep Live Hub generierten Untertitel, behält aber die Kontrolle über das ursprüngliche Videosignal. Nachdem die Untertitel erstellt wurden, werden der ursprüngliche Videostream und der Untertitel-Textstream zusammengeführt, bevor die endgültige Ausgabe ausgestrahlt wird. Dieser Prozess ermöglicht es den Sendern, Untertitel in mehreren Sprachen gleichzeitig anzubieten.
2. Webcast:
Deep Live Hub unterstützt verschiedene Webcast-Szenarien. Die häufigste Variante ist das Streaming von Videos mit Untertiteln, die direkt in das Video eingeblendet werden. So läuft der Prozess ab:
- Das Video wird vom Encoder an Deep Live Hub gesendet.
- Die KI transkribiert die Audiospur und generiert Untertitel.
- Ein zweiter KI-Algorithmus übersetzt die Untertitel in die gewünschten Sprachen.
- Die Untertitel werden dann in den Videostream gerendert.
Für ein kleines Publikum kann das Video direkt über den RTMP-Ausgang mit einem Videoplayer konsumiert werden. Für ein größeres Publikum wird das Video jedoch in der Regel über RTMP an ein Content Delivery Network (CDN) oder eine Videostreaming-Plattform zur Verteilung weitergeleitet.
3. Offline- und Hybrid-Veranstaltungen:
Bei Offline- oder Hybrid-Events kann Deep Live Hub Live-Transkripte und Übersetzungen sowohl für das Publikum vor Ort als auch für das Online-Publikum erstellen. Und so funktioniert es:
- Ein Video- oder Audiostream von der Veranstaltung wird an Deep Live Hub gesendet, wo er in ein Live-Transkript umgewandelt wird.
- Auf das Transkript kann das Publikum über den Aiconix Live Viewer zugreifen, eine automatisch generierte Website, die das Transkript in Echtzeit anzeigt.
- Das Live-Transkript kann auch zu Untertiteln für die Verwendung in Webcasts oder Sendungen verarbeitet werden.
Dieses System wird häufig für Pressekonferenzen, Parlamentssitzungen, Bürgerversammlungen und Konferenzen verwendet, bei denen sowohl Teilnehmer vor Ort als auch Online-Teilnehmer Zugang zu Live-Transkripten oder Untertiteln benötigen.
Hinweis:
Alle unsere Anwendungsbereiche beinhalten auch die Möglichkeit der Human-in-the-Loop-Bearbeitung, die es Benutzern ermöglicht, Korrekturen vor der Veröffentlichung der Untertitel vorzunehmen. In Zukunft werden wir auch die LLM-Integration mit dem Deep Live Hub für kontextbezogene Aufgaben unterstützen.