Recrean conciertos en 3D a partir de vídeos grabados con los móviles

¿Alguna vez ha estado en un concierto de rock y, después, ha deseado poder vivirlo otra vez exactamente igual, o incluso mejor? Esto podría ser posible pronto gracias a un proyecto de investigación financiado con fondos europeos llamado SceneNet, cuyos responsables están desarrollando una tecnología que permite combinar vídeos captados con el móvil y remitidos por distintos espectadores situados en distintos puntos de un estadio para reconstruir el espectáculo en tres dimensiones.

Chen y Nizan Sagiv tuvieron esta idea cuando se encontraban en un concierto de Depeche Mode en Tel Aviv hace cinco años. «Yo no quitaba ojo del espectáculo y, mientras tanto, Nizan contemplaba a la multitud», relata Chen, coordinadora del proyecto SceneNet, en un reportaje de Cordis.

«Llamó su atención la innumerable cantidad de luces tenues proyectadas por las pantallas de los teléfonos móviles. El público estaba grabando vídeos de la actuación. A Nizan se le ocurrió la interesante posibilidad de fusionar todos los vídeos captados por toda esa gente y elaborar un vídeo mejorado, fruto de la sinergia y posiblemente en 3D. Sopesamos la idea durante muchos meses, pero nos parecía demasiado futurista, arriesgada y complicada».

Primer año

Durante el primer año del proyecto, su equipo ha desarrollado la infraestructura móvil necesaria para los canales de transmisión de vídeo, un mecanismo para etiquetarlos y su transmisión a un servidor en la nube. También se han desarrollado herramientas básicas para crear una interfaz humano-ordenador que permitirá a los usuarios visualizar el espectáculo en 3D desde cualquier punto del estadio y modificar por sí mismos la grabación resultante.

En opinión de sus responsables, de este modo surgirán comunidades en línea que compartirán los contenidos para poder revivir todos juntos la experiencia del concierto. Con este objetivo en mente, los socios se disponen a estudiar temas de privacidad y de derechos de propiedad intelectual durante los próximos dos años del proyecto.

«Al final del primer año, adelantándonos a las previsiones, habíamos articulado el procedimiento completo de SceneNet partiendo de componentes tecnológicos punteros», asegura Chen. La creación de los algoritmos de visión artificial acelerados para móviles representa una labor pionera a nivel mundial, y por ello algunos de los más importantes fabricantes de chips siguen muy de cerca la evolución de esta iniciativa.

El proyecto plantea varios retos tecnológicos: un preprocesado en el propio dispositivo que requiere una potencia de computación inmensa; la transmisión eficaz de las grabaciones en vídeo; el desarrollo de métodos precisos y rápidos de registro entre las distintas grabaciones; y la reconstrucción tridimensional. Todas estas tareas deben ejecutarse casi en tiempo real.

«Opinamos que los distintos componentes que forman SceneNet, por ejemplo el registro de imágenes y la reconstrucción tridimensional, poseen grandes posibilidades para la computación móvil y en la nube. Así, ofrece una innovación tecnológica drástica, tanto en conjunto como en cada uno de sus componentes», añade la investigadora.

No solo conciertos

A medida que avanza el proyecto se plantea una infinidad de usos posibles del sistema. Siempre que se solventen los aspectos relacionados con la privacidad y otros derechos, esta tecnología podría utilizarse también para recrear otros acontecimientos en tres dimensiones, como noticias de última hora o deportivas, o también en los sectores del turismo y la vigilancia.

Los socios estudian la posibilidad de grabar objetos estáticos y también activos desde distintos ángulos a fin de crear instrucciones que puedan enviarse a impresoras en 3D. Su modelo de servidor en la nube para móviles podría emplearse asimismo para un sinfín de otras aplicaciones, afirman los investigadores. Pero por el momento se centran en los aficionados a la música.

«SceneNet trata sobre cámaras de móvil y visión en 3D. Gracias a la "invasión" de las cámaras de móvil y la mejora constante de su calidad, estamos rebosantes de imágenes que queremos mejorar y enseñar con gran orgullo a los demás. Se están desarrollando muchos dispositivos que "comprenden" la información visual recibida (como Google Glass), y la mayor parte de sus trabajos se fundamentan en el tratamiento de la imagen y en la visión artificial. La visión en 3D no hace sino cobrar importancia para mejorar la visualización del mundo y también para facilitar el análisis de ese mundo», explica la coordinadora.

Colaboración entre Israel y Europa

Para desarrollar el proyecto, Chen y Nizan Sagiv solicitaron asesoramiento en Iserd, la dirección de I+D para Israel y Europa, y se pusieron en contacto con el profesor Peter Maass, de la Universidad de Bremen (Alemania), y con el profesor Pierre Vandergheynst, de la École Polytechnique Fédérale (EPFL) de Lausana (Suiza), con quien Chen ya había colaborado en un proyecto anterior amparado en el Séptimo Programa Marco llamado UNLocX.

Fruto de todo ello es Scenenet, al que la Comisión Europea otorgó fondos por valor de 1,33 millones de euros y que está coordinado por la empresa de Chen y Nizan, con sede en Ra’anana, y llamada SagivTech, especializada en visión artificial y computación paralela.

SceneNet, financiado a través del programa de tecnologías futuras y emergentes (TFE), estará en marcha hasta enero de 2016 y cuenta con el concurso de cuatro socios europeos: la Universidad de Bremen, Steinbeis Innovation y European Research Services (los tres con sede en Alemania) y la EPFL (Suiza).

El proyecto supone un buen ejemplo de colaboración investigadora entre la Unión Europea e Israel. Cerca de 1.600 científicos israelíes se han beneficiado del Séptimo Programa Marco por medio de más de 800 proyectos financiados por la Comisión Europea con fondos por valor de 634 millones de euros dedicados a muy diversos campos, desde la investigación puntera y las TIC hasta la nanotecnología, pasando por la energía y la salud.

«Esta es una oportunidad de formar parte de las prósperas comunidades científica e industrial europeas y de colaborar con destacados socios académicos y empresas de Europa», reconoce Chen a modo de conclusión.