El tiempo en tus manos

En junio de 2015, en Future Lighthouse, la empresa que dirijo, decidimos aventurarnos por una puerta. Una puerta que no sabíamos bien dónde nos iba a llevar, aunque eso no nos preocupaba demasiado.

Esta es una crónica de la génesis de uno de los primeros (o quizá el primero) episodios de realidad virtual de una serie de televisión en el mundo. Una nueva manera de contar, de narrar, de ver.

Ya hemos hablado mucho en este blog de realidad virtual, pero ahora toca meterse en las tripas de la ballena y contar el detrás de las cámaras (¿dónde está el detrás de las cámaras si la cámara es 360º?)

En junio de 2015 decidimos cruzar la puerta del Ministerio del Tiempo e ir directos al área de Análisis y Nuevos Proyectos de Radio Televisión Española (RTVE) para proponerles lo que sería el primer viaje en realidad virtual de una cadena pública de televisión en nuestro país.

De esta forma, comenzó una aventura entre puertas, portones y portales, en los que encontrábamos aliados por el camino. Onza Entertainment, la productora de la serie, apostó por la idea y Pablo Lara, su Productor Transmedia, se unió al equipo para hacer lo imposible: colarnos en el Ministerio del Tiempo y hacer el capítulo inmersivo más impresionante del mundo.

borrar1

No sólo nosotros estábamos entusiasmados con la idea. Los actores, el equipo de producción de la serie, los guionistas, el creador, se implicaron desde el minuto cero. Para ellos tenía sentido: en la serie, los viajes en el tiempo son sólo al pasado. Juntos, pretendimos trasladarlo todo a un futuro donde los espectadores son protagonistas y todo gira en torno a ellos.

En esta experiencia, bautizada como “El tiempo en tus manos”, se nos permite interactuar con algunos de los protagonistas de la serie y recorrer con ellos lugares clave del Ministerio. El espectador se convierte en un candidato a funcionario del Ministerio del Tiempo, por lo que deberá realizar un examen interactivo (basado en los contenidos culturales de la serie) para comprobar si es apto para el puesto de trabajo.

El rodaje

El rodaje, de dos días de duración, se realizó en los mismos escenarios en los que se graba la serie. Todo el equipo de maquillaje, producción, arte e iluminación se integró en nuestro flujo habitual de trabajo para mantenernos lo más fieles posible a la serie original.

La primera decisión fue de tipo técnico: ¿estereoscopía o mono? ¿Video con volumen o plano? Para nosotros no había duda: la realidad virtual debe ser inmersiva y para ello necesitamos realismo. La mejor forma de conseguirlo es teniendo un entorno a tu alrededor que tiene forma, dimensión, profundidad, y que casi parece que se puede tocar.

borrar2

Para hacer este tipo de grabación utilizamos un rig propio con dos cámaras de alta calidad. Para ello contamos con Antonio García-Serrano (Zakato 360), uno de los mayores expertos en estereoscopía del mundo. Este sistema, que consigue una sensación de profundidad que nos fascina, hace que todo el proceso sea muchísimo más artesanal.

Para que una grabación en 360º tenga sentido, en cada ángulo tiene que haber algo interesante para el espectador. Lo teníamos en cuenta, y eso añadió un punto de dificultad, ya que había que sincronizar las acciones que ocurrían en diferentes ángulos de grabación. Al final, no es sólo una cuestión de en qué segundo comienza la acción, sino de continuidad de miradas y de diálogos. “En un rodaje de realidad virtual el director pierde la mitad de sus posibilidades: ya no puede obligar al espectador a mirar en una dirección concreta mediante los planos; se convierte en un director de teatro, donde lo importante es la puesta en escena, el sonido, la iluminación”.

Con este sistema se pueden grabar hasta unos 90º, por lo que ya desde guión dividimos las escenas en cuatro cuadrantes, de manera que la acción no pasara de un lado a otro: eso daría problemas al coser la imagen para crear la esfera completa. Sin embargo, encontramos una manera de solucionarlo cuando por exigencias de guión necesitásemos que los personajes pasaran de un lado a otro: interponiendo atrezzo. Por ejemplo, en la segunda secuencia, en el claustro, cosimos la escena usando una columna, de manera que el personaje pudo pasar de un lado a otro de la esfera sin que se notara que estaba grabado de forma separada.

borrar3

¿Qué perdimos a cambio de conseguir el que muchísimas personas de la industria han calificado como el mejor 360 estereoscópico que han visto en su vida? Movimiento, por ejemplo. Una de las ideas originales era hacer un plano secuencia en travelling, cosa que fue absolutamente imposible dado el estado actual de la tecnología.

O el cuerpo. Originalmente queríamos que miraras abajo y pudieras ver tu propio cuerpo. Que los objetos que te tienden los personajes fueran recogidos por “tus” manos. De hecho, rodamos todas las secuencias dobles, una sin cuerpo y otra con uno de nosotros vestido con un ridículo y apretado traje de croma verde, para integrar después un cuerpo digital. Finalmente, no fue posible integrar el cuerpo por tiempo y presupuestos.

borrar4

Sin duda, fue un rodaje divertido. Llevamos un set de gafas de realidad virtual para enseñarle a los actores y al equipo contenido durante el rodaje, y grabamos sus reacciones. Al final, hubo un momento gracioso entre uno de los actores y el creador de la serie, y lo incluimos como huevo de pascua oculto dentro de la experiencia.

La postproducción

Después de cinco meses de preproducción, catorce versiones de guión y dos días de rodaje, llegó la  postproducción, en la que fuimos haciendo varias cosas en paralelo. Por una parte comenzamos el cosido de la imagen y los renders 3D de los escenarios digitales. Después, llegó el complejo proceso de efectos especiales, usando los assets originales de la serie que nos cedió USERt38, que José Jacas integró y manipuló para hacer todos los fondos que eran originariamente una pantalla verde.

Una de las decisiones creativas que tomamos fue la de utilizar un tipo de transición de escena a escena distinto al que habíamos visto en otras producciones. Decidimos que todas las escenas estuvieran unidas por un objeto que te tiende uno de los personajes. Así, cuando finalmente decidimos no incluir tu propio cuerpo, recreamos esos objetos en 3D para realizar las transiciones.

Por otro lado, habíamos comenzado ya el desarrollo de los exámenes interactivos (nos gusta decir que, en realidad, lo que hicimos fue integrar realidad aumentada dentro de la realidad virtual). Y mientras creábamos todos los textos, el diseño de pantallas, etc, nuestro ingeniero VR, Néstor Viña, fue desarrollando la aplicación en sí tras un larguísimo (y muy debatido) proceso de diseño de usabilidad e interacción de usuario. El último paso fue integrar el video y el sonido binaural en la aplicación.

borrar5

El proyecto de Ministerio VR ha sido complejo desde el punto de vista de postproducción por tres factores. Por un lado teníamos que igualar la calidad de una serie de televisión de prestigio y asegurarnos de que visualmente fuese lo más parecida posible. El segundo reto era conseguir ese aspecto y calidad de VFX en una producción grabada en 360º y por último, que todo eso fuera estereoscópico, es decir, había que trabajar en dos imágenes la vez, una para cada ojo.

En este momento es donde empieza mi trabajo. Recibo por un lado las imágenes 360º por duplicado, una para cada ojo y los renders 3D también para ambos ojos. Mi trabajo consiste en juntar ambas cosas, eliminar los cromas, sustituir techos, borrar elementos que no deberían verse como focos e igualar el color y la luz para que los entornos 3D parezcan parte del decorado real. Todo esto asegurando que cualquier operación que haga sobre la imagen de uno de los ojos ha de replicarse exactamente igual en el otro ojo, pero compensando la desviación horizontal de ese ojo para evitar problemas de estereoscopía; es decir, que al verlo en 3D tus ojos no noten nada raro en ese punto.” -José Jacas, VFX

Para casi todo este trabajo, Jacas utilizó Nuke de The Foundry, un potente programa de postproducción que tiene muchas herramientas para trabajar con video estereoscópico, lo cual facilitó las tareas de replicar todas las operaciones que hacía sobre un ojo en el otro.

Por otro lado, las correcciones de alineación tuvieron que hacerse a mano en varios momentos. Una vez alineados el fondo real con el 3D y eliminados los cromas, tuvo que fusionar los bordes de uno con el otro, creando extensiones de suelo y techo que no saltasen a la vista. La mayor dificultad de esta parte es hacer coincidir la profundidad estereoscópica de ambos puntos para evitar que al verlo en unas gafas VR haya un salto repentino de profundidad entre el decorado y el fondo 3D. Todo este trabajo es un proceso de prueba y error hasta que todo queda perfecto.

borrar6

borrar7

En algunas secuencias, como en la de la oficina de Angustias, hubo que generar un techo 3D ya que el decorado no lo tiene. Además hubo que “pintar” sombreado alrededor del techo para terminar de integrar el nuevo techo y que diese la sensación de ser real. Como último detalle, hubo que añadir unas lámparas digitales para sustituir a los focos de rodaje.

El rodaje duró dos días. El proceso de postproducción… algo más: cuatro meses, desde finales de diciembre hasta bien entrado marzo. Sin duda, para todo el equipo fue una verdadera experiencia de aprendizaje, ya que era la primera vez que combinábamos el trabajo en 360º con la estereoscopía.

Focos de atención

Los focos de atención es un tema que trae de cabeza a toda la comunidad de realidad virtual. En el caso del Ministerio VR utilizamos ciertas técnicas narrativas que hemos podido comprobar que funcionan. La experiencia es en primera persona, eres parte de la historia, por lo que los personajes te hablan directamente a ti, mirándote de frente. Esto permite que, después de los primeros treinta segundos, donde el espectador se adecua al entorno, siga la trama sin despistarse.

Y, ¿cómo llevamos al espectador de un foco de atención a otro? Podemos hacerlo mediante un elemento visual, algo que se te cruza y te llama la atención, guiándote hasta el segundo foco. El audio binaural juega un papel clave en esto. Como hemos mencionado, rellenamos cada ángulo de visión con elementos interesantes para el espectador. Cuando era obligado que mirasen hacia un lado concreto, utilizamos el audio para guiarlos de forma natural.

borrar8

En el rodaje, grabamos con sonidos discretos: en principio, se graba cada sonido por separado y se coloca con un software especial en un espacio tridimensional. Este software es capaz de simular el efecto binaural con los diferentes audios y hacernos creer que cada sonido viene de una posición específica.

La aplicación

Una de nuestras principales prioridades ha sido que la interfaz de la app sea sencilla, intuitiva y natural, que “la realidad sea virtual pero siga siendo realidad”. En paralelo al proceso de rodaje y stitching, se hizo el diseño de interacción de usuario de la app y, según iba creándose todo el material, nuestro ingeniero lo usaba para hacer la aplicación, desarrollada en Unity. Dentro de Unity hemos creado bastante código original para poder desarrollar todo el episodio.

Hemos intentado, en el fondo, desaparecer. Dejar al usuario disfrutar de la experiencia, del contenido. Vivir El Ministerio desde dentro, sin sentir que nosotros estábamos interviniendo o ahí para explicarle nada.

borrar9

Todo este proceso, que ha durado 9 meses, nos conduce, como en la misma experiencia, a la Puerta 2046: una puerta hacia el futuro que se abre ante nosotros. Hacer “El tiempo en tus manos” ha sido una auténtica gozada y no podemos estar más orgullosos del resultado. Pero no sólo nosotros, no es sólo la sensación de trabajo bien hecho. Es, sobre todo, la reacción que ha tenido el público. Las increíbles críticas de fans de la serie, pero también de personas que nunca habían visto un capítulo y de personas importantes de la industria, de nuestros pares.

La puerta 2046 no ha hecho más que abrirse para iniciar un camino hacia un futuro que visionamos brillante y luminoso.
¿Nos acompañas?

Descarga la app:
IOS: http://apple.co/1XRQYmP
Android: http://bit.ly/20URbVT
Gear VR: http://ocul.us/25b6lJI

Contenido Reactivo

El otro día llegamos al futuro de Regreso al futuro. En general, en Innovación Audiovisual siempre hablamos de lo que va a ocurrir en los próximos dos, tres, cinco años. Pero hoy vamos a subirnos en la máquina del tiempo de verdad y a mirar a diez, quince, veinte años vista.
Este verano tuve la suerte de que me aceptaran en la universidad tecnológica más exclusiva del mundo: Singularity University, y allí estuve trabajando en las posibilidades que las tecnologías exponenciales (Inteligencia Artificial, nanorobótica, neurociencia, sensores, genética…) pueden aportar al contenido del futuro.

Sigue leyendo

He visto el futuro (otra vez)

– Subamos. – nos dice.
Y el misterio se mantiene al menos treinta segundos más hasta que llegamos a la puerta.

El que habla es Ramiro López Dau, uno de tantos españoles con talento desbordante que decidió irse a un lugar donde lo trataran mejor. Primero, Pixar; Ahora, la que está a punto de convertirse en la gran empresa de la Realidad Virtual: Oculus. Sigue leyendo

“Mañana”

5.0.2

Terence Mckenna, uno de los filósofos y psiconautas más interesantes que pisaron el siglo pasado, decía en una de sus teorías más interesantes que “el ser humano evoluciona tan rápido como evoluciona su lenguaje”. Básicamente, que sólo podemos comprender aquello que podemos expresar con palabras, y que, al tiempo que se crean nuevos lenguajes que nos ayudan a definir nuevas realidades, avanzamos como especie.

Para entender esto mejor, un ejemplo: hay tribus en el amazonas que no tienen una palabra para definir “mañana”. Ni “ayer”. Y no tienen conjugaciones en pasado ni futuro.
Son tribus que viven en el momento. No acumulan recuerdos, no veneran a sus ancianos, no planifican. En su realidad, mañana y ayer son conceptos inexistentes. No tienen palabras para describirlos y por tanto no los conciben.

Nuestra visión del mundo está condicionada por lo que conocemos de ese mundo. En nuestro caso, tres dimensiones espaciales (y una cuarta, el tiempo, aunque ésta es algo confusa para nosotros). Por eso nos es tan tremendamente difícil concebir un agujero negro, donde existen dimensiones adicionales o el tiempo se pliega o expande de forma casi incomprensible para quien no conozca el lenguaje matemático que lo describe.

Sigue leyendo

Voy a dejar el cine

Ya, ya se lo que vas a decir: “¡Exagerado! ¡Tremendista! ¡Vaya titular amarillista para llamar la atención!”.
Y en parte tendrías razón.

Aunque muchos de los acontecimientos del último año me han hecho replantearme muchas cosas respecto a la que hasta ahora llamaba con cierta satisfacción “mi profesión”, la realidad es que no voy a dejar de contar historias. Mentiría si dijera lo contrario.
Pero sí voy a dejar el cine. El cine tal y como se entiende hoy y se ha entendido en los últimos ciento veinte años. El cine como una industria que produce películas. Sigue leyendo

BAZD

La historia del rodaje de Happy Together, dirigida por Wong Kar-Wai, es la historia de uno de los rodajes más accidentados y difíciles de la historia del cine.

Rodeado de mística (como ocurre con películas con similares aventuras como Apocalipsis Now, Fitzcarraldo o Lost in La Mancha) el relato sobre la realización de este film es el relato de un equipo de rodaje llevado a sus límites durante casi dos años.

En 1996, un reducido crew llega a Buenos Aires, las antípodas de Hong Kong. Wong Kar-Wai tiene en la cabeza una historia sobre una pareja homosexual que se encuentra y desencuentra al otro lado del mundo y una chica, tercera pata en un extraño triángulo.

Como es habitual en sus rodajes, no hay un guión. No hay un plan de rodaje. No hay sino una serie de ideas y esbozos que va desarrollando poco a poco, encontrando la historia.

El problema aparece cuando Kar-Wai no encuentra la historia. Comienza a dar vueltas, a demorarse. Un rodaje que estaba previsto para dos o tres meses se acaba convirtiendo en muchos más. Los problemas empiezan a surgir y el equipo chino, sin apoyo local más que el de una traductora que los acompaña, comienza a recibir amenazas, presiones, chantajes… que se suman a su extrema sensación de tristeza y lejanía. Sigue leyendo

Una nueva era

jaws_by_kayleighoc-d54xos7

Un tiburón fuera del agua

“Niñato arrogante, ¿cómo te atreves a decirle al guionista de Tiburón que su forma de contar historias ya no sirve?”

Lo confieso, le dije eso al guionista de Tiburón. Es justo decir que entonces no sabía que lo era, pero eso en realidad da igual. 
Ocurrió en una conferencia que me invitó a dar la maravillosa Christina Kallas en la World Conference of Screenwriters. Allí estaban todos los directores y guionistas de los guilds más importantes del mundo.

Yo hablé de transmedia, de cine, de nuevas narrativas, del futuro. Al terminar, un señor de cierta edad levantó la mano con firmeza y preguntó: ¿Y si yo no quiero cambiar? ¿Y si no me da la gana?

Sigue leyendo

Romperlo todo, hackear el cine

Foto 1

SEC 1. INT. NOCHE. MAKAMAKA.

Makamaka es un Beach Burguer Café. Está a un tiro de piedra del paseo marítimo de Barcelona.

Me mudé a esta ciudad hace un mes, desde Madrid, para iniciar una nueva etapa.

Hoy estoy aquí tomando una hamburguesa que sabe a cielo. Mientras escribo me pregunto cuantas de las personas que lean este post se van a preguntar si el mencionar el lugar anterior es una especie de product placement o branded content. Me río para mi mismo mientras pienso en el slogan de Google: Don’t be evil. Qué antiguo suena ahora. Sigue leyendo