Die Nokia OZO 360-Grad-Kamera und die zugehörige Software OZO Creator im Detail erklärt.
Aspekteins im Interview mit Patrick Cooper von Nokia auf der ACM Siggraph 2016 in Anaheim/Los Angeles. Im Expertendialog beantworten wir einige interessante Fragen rund um die 360-Grad-Kamera von Nokia mitsamt der zugehörigen Software, OZO Creator und bringen etwas Licht in die aktuellen Fragestellungen rund um Nokias Virtual-Reality Flaggschiff. Ebenso haben wir einen kurzen Walkthrough durch die Software zusammengestellt, der die Bearbeitungsmöglichkeiten und den Workflow aufzeigt.
Die Nokia OZO gibt es im gut sortierten Fachhandel derzeit für einen Einkaufspreis von 55.000 Euro zzgl. MwSt. Die dazugehörige Software gibt es gratis auf der Nokia OZO Website jedoch nur mit dem zugehörigen Nokia OZO Pin – die Produktnummer der gekauften Kamera. Um die Software nutzen zu können bedarf es noch eines Mac Pro´s bestenfalls mit ausreichend Leistung gesegnet. Eine Übersicht über weitere 360-Grad Kamerasetups finden Sie in unserem Artikel „360-Grad-Video – Welche Kameramodelle gibt es?“ Für die Produktion Ihres eigenen 360-Grad-Videos und Ihrer Virtual-Reality finden Sie Informationen unter unserer Infopage zum Thema 360-Grad-Video und Virtual-Reality.
Die Nokia OZO 360 Grad Kamera – relevante Fragen für professionelle Producer
In welchen Codecs sind die Streams der Nokia OZO codiert?
Nokia: In einem proprietären Codec. Wir nehmen in dem sogenannten .ozo RAW Format auf, das man dann in OZO Creator importiert und dann in ein gewünschtes Post Production Media Format exportieren kann. Das wären DPX, EXR, CinemaDNG, MP4 und unprocessed 48 kHz 24-bit PCM-Wave Audio.
Was ist die Bit-Tiefe pro Kanal?
Nokia: Die Sensoren sind 10-bit Sensoren, also bekommt man am Ende eine 10-Bit DPX oder eine 16-bit EXR, jedoch ist man immernoch auf die 10-bit Reichweite des Sensors limitiert.
Ist das logarithmische Format der Nokia OZO vergleichbar mit Cinelog?
Nokia: Es gibt kein logarithmisches Format, das aus der Kamera kommt. Man bekommt eine REC 709 DPX Datei. Es ist keine logarithmische DPX Datei oder eine Cineon DPX Datei.
Man bekommt eine lineare EXR Datei oder eine ANG.
Wird das Nokia OZO Format offen für Highend Software Pakete wie z.B. Foundry-Nuke sein?
Nokia: Zur Zeit kann man die Dateien in unserem eigenen RAW Capture format ausschließlich in Creator importieren und von dort aus dann exportieren in DPX, MP4 etc.
Es ist nicht möglich die .ozo RAW Datei direkt in eine Third Party Software zu laden.
Gibt es in OZO-Creator eine Grading Möglichkeit?
Nokia: Creator hat sehr, sehr minimale Editing Möglichkeiten: Es hat eine Zeitleiste, wo man Clips trimmen und an eineinander fügen kann. Man kann Multi-Channel-Audio importieren, aber ich würde es nicht als Editing-Programm bezeichnen. Man kann weder Titeling, noch Dissolves oder Fades oder andere Übergänge machen.
Unterstützt die Software OZO Creator einen verlusfreien (losless) Output mit voller Bittiefe für das Grading?
Nokia: Das was am nächsten rankommen würde wäre das CinemaDNG Format, was die RAW Sensor Daten wären.
Ist es möglich einzelne Camera-Streams der Nokia OZO zu exportieren um diese in anderen Packages zu stitchen?
Nokia: Ja. Mit dem Creator importieren sie die .ozo Raw Dateien und exportieren diese als DPX, EXR, DNG oder MP4 file per Camera und benutzen dann Third Party stitching Lösungen um zu stitchen. Man könnte das Foundry’s Cara VR Toolset benutzen um die DPX/EXR/DNG Dateien zu stitchen. Jedoch würde ich empfehlen erst ein anderes Programm zu benutzen um die DNG Dateien erst zu konvertieren.
Wie ist der Sound der Nokia OZO codiert und gibt es bereits Formate und Applikationen, welche die volle, native Qualität unterstützen?
Nokia: Der Sound ist in einer eigenen Weise codiert, nämlich in unserem proprietären-Codec innerhalb des .OZO RAW Formates. Wenn man dies in OZO-Creator öffnet kann man Multi-Channel PCM Wave Files mit 48 kHz 24-bit exportieren.
Man kann 4.0, 5.0, 7.0 und 8.0 Audiokanäle exportieren, diese kann man dann in eine beliebige DAW importieren um dort zu mixen.
Wird es eine Windows/Linux kompatible Version der OZO Creator Software geben?
Nokia: Diese Anfrage haben wir schon sehr oft bekommen und wir werden dies sicherlich in Erwägung ziehen, jedoch ist eine Umsetzung bis jetzt noch nicht geplant.
Wieviel des Sichtfeldes einer Kamera der Nokia OZO ist nicht mit dem einer anderen Kamera überlappt? Wie groß ist die durchschnittliche Stitching Zone?
Nokia: Also jede der Linsen hat eine Sichtfeld von 195°. Ich würde sagen es gibt ca 50-60° Überlappung zwischen den Kameras. In Creator kann man durch Positionieren der Szenen dann entscheiden wo die Stitches sein sollen und wo man die Interpolation innerhalb dieser 50-60° Reichweite haben möchte. Also nehmen wir an, man hat in seinem Video bestimmte Handlungen, welche innerhalb dieser 60° stattfindet, dann kann man die Szene so auf eine Seite verschieben, dass die Handlung komplett in einem nicht interpolierten Bereich stattfindet.
Könnten sie einen kleinen Überblick über die Nokia OZO geben?
Nokia: Hier sieht man die 8 Linsen der Kamera, 195° Sichtfeld, 2k by 2k Sensor, 10 bit pro Linse.
Die Kamera hat ebenfalls 8 Mikrofone, gleichmäßig über die Kamera verteilt, wodurch man ebenfalls ein 360° Spatial-Audio aufnehmen kann. Es hat ca 240° Stereo im vorderen Bereich und fällt nach hinten zu mono ab.
Auf der Hinterseite der Kamera hat man einen Power-Anschluss, man findet einen SFP Plus Anschluss mit … für das 1.5 Megabit Tether-Kabel, damit wird auch das Live-Monitoring gemacht.
Ebenfalls ist eine W-Lan Antenne verbaut – man kann also die Kamera kabellos bedienen.
Das hier ist der Power-Stecker. Man kann die Kamera entweder über die Batterie oder über den Strom laufen lassen. In dieser Hülle hier finden wir ein SSD Modul, geeignet für ca 45 Minuten Aufnahme, die Batterie ist auch geeignet für ca 45 Minuten Aufnahme.
Ebenfalls hat die Kamera: Power-,Wireless- und Record-Buttons, mit denen man direkt von der Kamera aus Aufnahmen starten und stoppen kann und die Kamera selbst an und ausschalten kann.
Das Interview im Original
So which codecs are the streams encoded in?
A: So it’s proprietary codec. We record in what’s called .ozo-RAW-Format and you basically have to bring that into Creator and then export into whatever your post production media formats are, so dpx, exr, cinemadng, mp4 and unprocessed 48 kHz 24-bit PCM-Wave Audio. So it’s all on proprietary codec as what it records in.
So what is the bit-depth by channel?
A: The sensors are 10-bit sensors, so in the end you get a 10-bit dpx out of it, you get a 16-bit exr out of it, but you’re still going to be limited by the 10-bit range in the original sensor.
Is the logaritmic format comparable to cinelog?
A: There is no real logarithmic that comes out of the camera. You get a REC 709 dpx file, it’s not a logarithmic dpx file or a cineon type dpx file. You get a linear exr file or you get dng.
Will the format be open for highend software packages like the foundry nuke?
A: Right now you have to bring our proprietary datas of RAW capture format into Creator, and only Creator and then from there you can export dpx, dng, mp4 etc.
There’s no way to directly import and .ozo-Raw into another third party software.
So there’s a way to work around it
A: There’s a way to work around it yes, you bring it into creator first and then you export the formats that you’re going to work in.
Is there a grading possibility inside OZO-Creator?
A: It has very, very minimal editing possibilities, it has a timeline, where you can essentially trim clips and butt them up against one another. You can import multi channel audio but i wouldn’t consider it as an editing program. You can’t do titeling, dissolves, fades or any other type of transitions. Very very limited.
Does the software support a lossless output with full bitdepth for grading?
A: The closest thing to that would be the cinemadng format, which is the raw sensor data and then you can bring that into resolve, … and do whatever you color correction or color conversion you want to do. That’ll be the closest thing to the uncompressed.
Is it possible to extract single camera streams to stitch in other packages?
A: Yes, absolutely. Within OZO Creator you can import the .ozo raw format, you can export a dpx file per camera, a exr file per camera, a dng file per camera or an mp4 file per camera and then you use your third party stitching solution to stitch, for example you can use teh Jaunt cloud platform to stitch with the mp4s, you can use the Foundry’s Cara VR toolset to stitch dpx or exr or even dng if you want. Although i recommend to use a different program to convert dog first.
How is the sound encoded and are there formats and applications that support the full exact quality yet?
A: So the sound is encoded in a proprietary way, it’s our own proprietary codec encoded within the .ozo raw format. When you bring that into ozo creator you can export multi channel pcm wave files 48 kHz 24-bit. You can export 4.0, 5.0, 7.0 and 8.0 channels of audio, you get an pcm wave file out of that. You can bring that into any digital audio workstation do your mixing using that as a foundation.
Will there be a windows/linux compatible version of the software?
A: That’s a request we’ve gotten a lot and that’s certainly something we’re looking into, but there’s no plans an this point.
How much of a camera module’s field of view is not overlapped with other camera’s field of view? How big is the average stitching zone?
A: So each of the lenses is a 195° field of view. I would say there’s aproximately about 50-60 degrees of overlap between each of the two cameras and in Creator for example you can actually position the scenes, where you want those stitches to be, where you want the interpolation to be within that 60° range , so in case you have action that comes in part of that 60° range, you can push the scene over to one side and leave the action in a noninterpolated area for final stitched images.
Could you do a quick overview of the camera? Just showing what is what?
A: Sure, so each of these are the 8 lenses on the camera, 195° field of view, 2k by 2k sensor, 10 bit per lense, it also has 8 microphones spaced equally throughout the camera, so you actually get a 360° sphere of audio aswell. It has about 240° of stereo in the front, and does fall of to mono in the back. You have a large interaxial distance between the side cameras.
In the back you have a power connector, you have an sfp plus connector with the dim for the 1.5 megabit tether cable, this is how you do live monitoring. It actually has a wireless antenna built into it, so you control the camera wirelessly, but if you do want to do any live monitoring of it you do need you do need to be tethered via the cable. This is your power plug here, so you can run of either
battey or of power. In this cardridge here there’s also a SSD module good for about 45 min of recording and the battery is also good for about 45 minutes of recording, so they are kind of an design in all together. Power-, Wireless Button and then a Record Button aswell so you can start/stop recording from the camera and power the camera on and of here with the switch.
Die Nokia OZO Creator Software – Walkthrough und erste Eindrücke
Also das ist der OZO Creator. OZO Creator ist ein kostenlos herunterladbares Programm (Anmerkung: Kostenlos downloadbar, wenn man über eine OZO Produktnummer verfügt mit der man sich registrieren kann), welches auf dem Mac-Pro läuft. Man braucht mindestens eine AMD Fire Pro Duo D500 Videokarte aber wir empfehlen eine AMD Fire Pro Duo D700, welche wir auch hier benutzen, für die beste Performance. Creator ist eigentlich ein sehr simples Programm. Hier hat man einige Importoptionen. Man kann eine RAW Aufnahme importieren, welche im .ozo RAW Format ist, man kann Dateien im DPX Format importieren, diese wären dann per Camera DPX Datein, welche man auf Creator exportiert hat. Ebenfalls kann man EXR Dateien importieren, im Prinzip das selbe wie DPX ausser das EXR Format. Die Option Stitched: Das wäre ein stitched stereoscopical monoscopic panorama und zuletzt Import Audio: man kann multichannel wave Dateien importieren.
Hier haben wir jetzt ein paar RAW Aufnahmen. Hier sieht man den per Camera Modus. Eine der coolen Sachen ist, dass man hier in einen “Quick Stitch Mode” gehen kann und sich so anzeigen lassen kann wo die Szenen liegen werden.
Hier kann man seine Szenen herumbewegen oder sie größer und kleiner machen und hier kann man ebenfalls zwischen den beiden Augen wechseln, d.h. man kann die Sicht des linken und des rechten Auges ansehen. Wenn man Doppelklickt kommt man zu einer equirectangulären Ansicht des Videos innerhalb der man sich bewegen kann.
Was in dieser Ansicht geschieht nennen wir “Pixel Picking”, es wechselt eigentlich nur zwischen den Kameraperspektiven (on the fly) also in diesem Modus wird nicht wirklich gestitcht.
Anschauen kann man sich dies mit der DK2 HMD. Die DK2 ist die einzige HMD, welche wir derzeit unterstützen, weil dies die einzige HMD ist welche auf Macintosh Platformen unterstützt wird, da sie (Macintosh) noch keine Treiber für die Consumer Rift oder die HTC Vive bereitgestellt haben.
Eine andere Sache die man tun kann ist, dass man im Hintergrund, wo es monoskopisch wird, die Hintergrundkonvergenz mit diesem Regler hier anpassen kann. Wenn man einmal all diese Parameter eingestellt hat kann man praktisch direkt zu DPX Dateien stitchen. Hier hat man mehrere Auflösungs Auswahlmöglichkeiten: 3D oder 2D, wobei 2D eigentlich nur das herausrechnen einer Kameraperspektive bedeutet.
Und dann wäre da das Normale und High Quality Stitching: Normal ist quasi, was man hier gerade sieht, es ist praktisch nur der Dewarp vom Fisheye und eine Überblendung. High Quality ist ein natural optical flow process um die Szenen zu interpolieren und um die Footage besser und geschmeidiger zusammenstitchen zu können.
Man kann in mehreren Formaten exportieren: DPX, openEXR, CinemaDNG und High Bitrate MP4, dies sind alles “per Camera”-Dateien, also wird man jeweils 8 Imagestreams des jeweiligen Dateiformats bekommen, welche alle im Fisheyeformat sein werden. Man kann ebenfalls prozessiertes Audio exportieren, wozu einem einige Optionen gegeben werden wieviele Kanäle man exportieren möchte. 5.0 ist hierbei das wohl am kompatibelste Format, also das ist was wir empfehlen wenn man “binaural spatial audio” haben will.
Ebenfalls kann man ein 360° Editorial mit zum Beispiel 5.0 Lautsprecher Layout und einer Timestamp exportieren. Das hier wäre jetzt ein 360° Editorial. Das hier sind Burn-ins für die Lautsprecher Winkel. Das hier ist ein 5.0 Burn-in, was man hier jetzt tun kann wäre, dass man dies auf einem Monitor öffnet und als 2D Referenz benutzt um das 360° Audio einzumixen. Also wenn jemand hier ist, sollten sie von 0° kommen, wenn sie von hier kommen sollten sie aus dem linken Lautsprecher kommen und sollten sie von hier kommen sollten sie aus dem seitlichen linken Lautsprecher kommen und wenn sie von hier kommen sollten dann wäre es 180° hinter dir.
Ebenfalls bietet es Timecode. Es hat 2 Stereo-Kanäle Scratch-Audio. Man kann ebenfalls die gestitchte Dateien direkt als MP4 rendern wenn man ein wirklich dringendes Projekt hat. Man kann die Stitchingqualität auswählen als „schnell“: offensichtlich ist dies das Bewarben und Crossblending. Diese Option stitcht sehr schnell, vielleicht 4 Frames pro Sekunde, abhänging von der Schnelligkeit der Hardware. Die langsame Stitching Variante ist wie folgt: Der Optical Flowpass, dieser dauert ca 10 Sekunden pro Frame, das ist viel langsamer aber in deutlich besserer Qualität.
Kann man ebenfalls einen Stream erstellen für z.B. YouTube 360° Streaming?
Also was man in diesem Falle tun würde ist: als MP4 exportieren, ambisonics auswählen, da das das “spatial audio” Format ist, welches YouTube unterstützt. Man braucht ebenfalls einen Spacieal Media Injector-Programm um die Metadaten für YouTube zu “injecten”. In Creator hat man eine Warteschlange, um Stitches, Exporte einzufügen um diese dann nacheinander ausführen zu lassen.
Das Interview im Original
So this is OZO Creator. This is a freely downloadable program. It runs on a Mac-Pro. It has to be one of the Mac-Pros. You need atleast an AMD Fire Pro Duo D500 video card setup. It relies heavily on GPU processing, we recommend a AMD Fire PRo Duo D700 for best performance though and that’s what we’re running on here. So Creator is actually a pretty simple piece of software. In here you have a number of import options. You can import a RAW Capture, that’s the .OZO RAW format, you can import dpx files, this would be a per camera dpx file that you would have exported from creator, exr files: same thing as the dpx, except the exr format. Stiched: this would be a stitched stereoscopical monoscopic panorama. And then import audio: you can import multichannel wave.
Here we have a couple of RAW captures. You see the per camera mode. One of the cool things is you can actually go into a kind of a “quick stitch mode” and then you can actually display where your scenes are gonna be. And then in here you can actually move your scenes around or you can make them larger or smaller and you can also switch between the two eyes, so you can get a left eye – right eye view. You can also do double click on this, go into kind of like an equirectangular view and pan around inside there. So what this is doing is what we call pixel picking, so it’s actually essentially switching between camera views on the fly. When we go into this mode it’s not actually stitching, it’s just switching between the cameras.
You can actually do this with the DK2 HMD, the DK2 is the only HMD that we support because that’s the only HMD that is supported on the macintosh platform. They just haven’t made drivers for the consumer rift or the HTC Vive. Another thing you can do is, in the back where it does go monoscopic, you can adjust the backscene convergence with this parameter here, so if you have somethign that’s very close to the camera you can converge under detail here, obviously it goes a little bit double in the back because you converging so much closer. So sometimes you want to leave it converged into infinity.
Once you get all of these parameters set up, you can than basically directly stitch if you wish, and you can stitch to dpx files, you have multiple resolution choices, you can stitch 2D or 3D, 2D is really just exporting only one eye. And then normal and high quality stitching. The difference between normal and high quality stitch is, normal is actually what’s being shown here, it’s simply just dewarp of the fisheyes and a crossblend. High is a natural optical flow process to interpolate the scenes to better and more smoothly stitch your footage together. Also if you wish you can export dwarfed to equrectangular camera footage, so if you wanna take this into like CARA VR or the likes, you can use those as sources if you wish. Backing up a little bit, one step, you can export multiple formats: DPX, openEXR, CinemaDNG and high bitrate mp4 are all per camera files, so you will get 8 Imagestreams of DPX 8 imagestreams of EXR 8 streams of DNG or 8 individual high bitrate mp4 and those will all be the fisheye. So each one of the will look like this. You can also export processes audio from here, which gives you a few options for how many channels you want to export. 5.0 is probably the most compatible format, so that’s what we recommend if you want to have binaural spatial audio. You can also export a 360° Editorial with for example 5.0 speaker layout and a timestamp.
So this would be a 360° Editorial. These are burn-ends for the speaker angle. So this is a 5.0 burn-end, what you can do is: have this up on a monitor and use it as a 2D Reference for mixing in 360° Audio, so if someone is here they should be coming from 0° if they’re coming from here they should be coming out of your left speaker, if they’re coming out of here they should be coming out of your side left speaker for example and if theyre coming from here it would be 180° right behind you. It also brings in timecode, it has 2 channel stereo scratch audio and a timecode track, this is an mov file.
So I would recommend you export these first of all your RAW captures in premiere or resolve or whatever you use. And then you can come back to creator and then export either your per camera DPX an then perhaps denoise, maybe do a color match pass on them bring them back into creator and stitch them here or you can bring them into CARA VR stitch them in CARA VR etc.
You can also render stitched files directly to mp4 if you have like a really fast turnaround project. You can basically chose you stitching quality, fast: obviously is that dewarping and crossblending that stitches very quickly, maybe like 4 frames per second or so, depending on the speed of you drives and the speed of your computer, slow: that´s the optical flowpass, that’s about 10 seconds per frame, it’s much slower but it’s higher quality aswell
Can you also generate a stream for lets say youtube 360° streaming?
A: so what you’re going to do in that case is you would basically again export to mp4 and then select ambisonics, because that’s the spacial audio that youtube supports. you export this mp4, you’re gonna have to download a spacial media injector program from google i believe, if you search for that on youtube you will find a spacial media injector program from Google, you basically run that, point it to this mp4 file, you say this is my stereoscopic file it has ambisonic audio, it injects the proper metadata, it wirtes out a new version of that mp4 file with the metadata injected and then you can upload that to youtube and get spacial audio encoded for google cardboard with top/bottom stereoscopic footage.
There’s a queue, so you can like queue up stitches, queue up exports, they go into your queue and then you execute your queue and they happen after one another.
So and this is a timeline, you can drag multiple things to the timeline, and again: very limited editing capability.
Zur Kontaktaufnahme für Ihr 360-Grad-Video / VR-Projekt bitte hier klicken
Bildrechte: ©Aspekteins GmbH 2016