La magia de la película del MIT cambiará el futuro del cine

El laboratorio de inteligencia artificial del MIT está a punto de cambiar la forma en que se hacen y ven las películas. Echa un vistazo a tres nuevos programas revolucionarios que hay que ver para creer.

Tratamiento y edición de video y audio mediante inteligencia artificial

El Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT (MIT CSAIL) continúa haciendo titulares de cine – hasta tal punto que necesitamos reunir todos los futuros avances que ya han hecho en la industria.

Efectos variables instantáneos – Tocar y mover objetos en el puesto

¿Alguna vez has necesitado filmar un árbol que sopla al viento, sólo para salir a rodar en un día en el que el aire está tan quieto como puede estarlo? Con el Video Dinámico Interactivo (IDV) usted podría mover un objeto después de haber sido filmado . Deja que se hunda por un minuto.

Podrías disparar al árbol inmóvil, luego, en el poste, podrías agarrar las hojas y sacudir el árbol. Ese es un concepto bastante loco para considerar. Al igual que un diseñador de movimiento puede manipular capas de forma como quiera, los cineastas podrían hacer lo mismo con fondos -y potencialmente actores.

Un algoritmo de ordenador busca en todo el videoclip pequeñas vibraciones o movimientos de un objeto de forma increíble . En el siguiente video, verá cómo los investigadores grabaron un video de cinco segundos de un personaje de alambre. Al analizar los movimientos sutiles del personaje, el algoritmo crea el Video Dinámico Interactivo – que permite a los usuarios empujar, tirar, y interactuar con un objeto con el cursor del ratón.

El algoritmo crea «modos de vibración» para determinar movimientos realistas. El algoritmo también rellena el espacio en blanco en el fondo cuando un objeto cambia de posición. El algoritmo funciona sin siquiera conocer la forma 3D del objeto.

El estudio fue conducido por Abe Davis, quien previamente reveló IDV en una charla TED 2015. Allí también habló de proyectos anteriores, como el estudio de los efectos de las ondas sonoras sobre el objeto – el Micrófono Visual.

Visite el sitio web de Interactive Dynamic Video para leer todo sobre el trabajo que están haciendo Davis y sus compañeros de estudios.

Efectos de sonido generados por la IA

Avances del MIT en la edición de audio mediante IA

En junio de 2016, los primeros susurros de los avances tecnológicos del MIT en la realización de películas surgieron en un artículo del Washington Post sobre diseño de sonido para computadoras. Fue un gran avance, lo incluimos en un artículo titulado Six Technologies Poised to Change the Future of Film .

Apodados sonidos visualmente indicados, los investigadores crearon un algoritmo que podía predecir con precisión el sonido de un objeto golpeando a otro.

A partir del video del MIT que aparece a continuación, «[S]ounds puede decirnos cómo se comportan los objetos cuando interactuamos físicamente con ellos. Luego puede transmitir si el objeto es duro o blando, liso o áspero, y rígido o deformable».

Post Cover

Para el estudio, los investigadores se grabaron a sí mismos usando una baqueta para golpear varios objetos como pasarelas, estanterías de libros, vidrio y arbustos. Luego cargaron una serie de sonidos predictivos en una computadora. Cuando aparece en la pantalla una película muda de una persona que golpea un objeto con una baqueta, el algoritmo crea el efecto de sonido adecuado para adaptarse a la acción.

En este trabajo, proponemos la tarea de predecir qué sonido hace un objeto cuando es golpeado como una forma de estudiar las interacciones físicas dentro de una escena visual. Presentamos un algoritmo que sintetiza el sonido de los vídeos silenciosos de personas que golpean y arañan objetos con una baqueta. Este algoritmo utiliza una red neuronal recurrente para predecir las características del sonido de los videos y luego produce una forma de onda a partir de estas características con un procedimiento de síntesis basado en ejemplos. Demostramos que los sonidos que predice nuestro modelo son lo suficientemente realistas como para engañar a los participantes en un experimento psicofísico «real o falso», y que transmiten información significativa sobre las propiedades materiales y las interacciones físicas.

Aquí está el algoritmo en acción. Notarás cómo correlaciona el movimiento y la materia de la que se compone un objeto que es golpeado. Es algo que me abre los ojos.

Esta tecnología tiene suficiente potencial para convertirse en la fuente definitiva de sonidos foley. Los estudios podrían grabar a artistas de foley que realizan una variedad de tareas repetitivas, y la computadora podría determinar el mejor y más realista uso del sonido – o potencialmente combinar sonidos para crear el efecto de sonido perfecto.

Pantallas de cine en 3D sin gafas

Antes de SIGGRAPH 2016, el MIT anunció otro gran avance: este está dirigido al público que va al cine. Cinema 3D es un prototipo de pantalla de lente que proyecta imágenes 3D a cada asiento del cine sin necesidad de gafas 3D. Trabajando con el Instituto Weizmann de Ciencias de Israel, el último trabajo de MIT CSAIL proclamó la asombrosa hazaña.

Los enfoques existentes para el 3D sin gafas requieren pantallas cuyos requisitos de resolución son tan enormes que son completamente impracticables… Este es el primer enfoque técnico que permite el 3D sin gafas a gran escala. – Profesor del MIT Wojciech Matusik

He aquí un vistazo a cómo funciona Cinema 3D.

Puedes leer más sobre las gafas 3D sin gafas en nuestro artículo anterior.

¿Disfrutas leyendo sobre la tecnología del futuro? Háganos saber si le gustaría ver más artículos como estos.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *