3D ohne Brille: KI macht aus 2D-Video Live-3D und folgt den Augen

Wie funktioniert das 3D-Display ohne Brille?

Drei Techniken greifen ineinander. Erstens eine Lentikularlinse: viele schmale, halbzylinderförmige Linsen, die das Licht so brechen, dass jedes Auge ein anderes Bild bekommt. Zweitens ein KI-Modell zur Tiefenschätzung, das abschätzt, wie weit Objekte im Video entfernt sind, und in Echtzeit Bilder für das linke und das rechte Auge erzeugt. Bei Kirschblüten vor dem Fuji erkennt es, dass die Blüten vorn liegen, und lässt sie hervortreten.

Drittens KI-Eyetracking. Eine Kamera im Display erfasst die Augen des Betrachters und passt das Bild an, sodass das 3D auch bei leichtem Versatz scharf bleibt.

SoftBanks Yuji Kumon nannte als wichtigsten Punkt, dass Videos nicht mehr eigens für 3D-Displays produziert werden müssen. Vorhandenes 2D-Material genügt.

Der Haken: ein Zuschauer pro Bildschirm

Das Eyetracking erfasst nur eine Person pro Display. Schauen mehrere zu, sehen nicht alle 3D. Ein Reporter, der einem Kollegen von der Seite zusah, bemerkte, dass das Bild je nach Winkel wie eine Fata Morgana verzerrt wirkte. In einem vollen Restaurant ist offen, wie viele Gäste den Effekt tatsächlich sehen.

Wie es weitergeht

Die drei Unternehmen wollen prüfen, ob 3D mehr Aufmerksamkeit bekommt als flaches Video und das Interesse am Essen steigert. Besucher beantworten auf einer Tafel drei Ja-Nein-Fragen mit Aufklebern. Am 12. November um 15 Uhr waren bei den Fragen, ob das Osechi dreidimensional wirkte und ob man ein 3D-Video im Laden anschauen würde, alle Aufkleber positiv. Beim gestiegenen Interesse am Osechi sagten die meisten Ja, einige aber auch, es habe sich nichts geändert.

SB Creative will die Umwandlung in BeyondCAST einbauen, seinen Cloud-Dienst zur Verwaltung von Videos auf vielen Displays. Firmen könnten dann 2D-Clips hochladen und in 3D abspielen. Über eine kommerzielle Einführung entscheiden SoftBank und SB Creative nach den Endergebnissen.