La próxima consola de sobremesa de Nintendo podría tener relación con la Realidad Virtual (IV)

Por extraño que parezca, Nintendo desde hace un tiempo ha desarrollado tecnologías que tienen una relación directa y/o indirecta con la tecnología utilizada en un HMD, en esta entrada he decidido reunirlas para que la gente vea el motivo por el cual creo que el siguiente sistema de Nintendo utilizará un dispositivo HMD.

#1 El Wii U Gamepad como ventana móvil a un mundo virtual.

Existe una aplicación llamada Wii Street U, de la cual no me interesa nada excepto su descripción:

Utiliza el mando único de Wii U, el Wii U GamePad, para conseguir una visión nueva del mundo. Solo tienes que introducir el nombre de un lugar y serás transportado allí (virtualmente, claro). Gracias al mapa que se muestra en la televisión, todos en la habitación gozarán de una vista de pájaro sobre el mundo. Cambia luego a Street View y usa la pantalla de 6,2 pulgadas del Wii U GamePad y sus intuitivos controles por movimiento para mirar a tu alrededor y explorar el mundo.

Esto es lo mismo que ocurre cuando en un mundo de realidad virtual el usuario mueve la cabeza para observar dicho mundo virtual, con la diferencia que es como si estuviésemos sosteniendo una ventana que comunica con el mundo virtual en vez de mirarlo con nuestros propios ojos (HMD). Es más, existe una patente de la misma Nintendo que habla del mismo concepto:

Una interfaz humano-máquina que implican varias superficies de presentación visual (Nota de Urian: Se refiere a pantallas) de las cuales algunas son movibles por una persona. Varias ventanas o portillas en un espacio virtual de las que al menos algunas son movibles, son proveídas utilizando un dispositivo de mano u otros dispositivos de pantalla. Los aspectos de la espacialidad multi-dimensional de las ventanas moviles (por ejemplo, relativas a otra ventana) son determinados y se utilizan para generar imágenes. Como ejemplo, una ventaja móvil puede presentar una visión de “portilla” en primera perspectiva en un espacio virtual, esta visió puede cambiar basado en los aspectos de la ventana movil espacialmente en un espacio multdimensional relativo a una ventana estacionaria. Una pantalla puede presentar una imagen del espacio virtual y adicionalmente, una pantalla móvil puede presentar una imagen adicional del mismo espacio virtual.

La patente tiene relación con el gamepad de Wii U, pero por su descripción se puede utilizar con un HMD por la mención de varias pantallas por usuario (una por cada ojo) y que la descripción general no solamente se limita al Wii U Gamepad, aunque la patente de forma especifica se refiere al mismo.

WiiU HMD1

La Figura 1 muestra un ejemplo de un sistema no limitante S que provee una interfaz persona-máquina multi-pantalla espacial-inmersiva e interactiva (¡Toma ya!) . El ejemplo del sistema no limitante S incluye dos dispositivos de pantalla SD y MD, uno movible (por ejemplo, que se lleve en la mano) y otro estacionario.

Obviamente la patente se refiere a Wii U, siendo la MD el Wii U Gamepad y la SD el televisor convencional. Pero lo que me interesa es que veáis lo de la MD (Pantalla Móvil) y el hecho que el concepto es el mismo que el de un HMD:

Wii U HMD2

La ventana móvil permite explorar elementos del escenario que están fuera del campo de visión de una pantalla estática tradicional, lo mismo que un HMD.

#2 Utilizando la Camara IR del Wii Remote para hacer seguimiento del dispositivo HMD.

Esta idea no es nueva, un tal Johnny Lee la mostro hace unos siete años y la podéis ver en este video:

Curiosamente Nintendo tiene una patente cuya imagen de presentación es la misma y explican exactamente el mismo concepto:

Captura de pantalla 2014-12-13 a las 12.48.08

La imagen pertenece a la FIG 1. De la siguiente aplicación de patente de Nintendo, cuya descripción dice así:

FIG. 1 muestra un ejemplo de un sistema no limitante de pantalla en 3D 50 incluyendo un dispositivo de pantalla 52, un generador de imagen 54, y un sistema de seguimiento/tracking del usuario 56a, 56b. El sistema de seguimiento del usuario 56a, 56b determina la posición de una persona y/o la dirección en la que la persona esta mirando, es decir, el punto de vista.

La descripción creo que se entiende.

A medida que el usuario cambia su punto de vista moviendo la su cabeza de forma relativa a la pantalla 52, el generador de imagen 54 ajusta las transformaciones de perspectiva en 3D y las aplica al mundo virtual para generar una nueva perspectiva de visión que preserve y mejore el efecto 3D.

En cuanto a los elementos 56:

En el ejemplo mostrado en la FIG. 1 los seguidores 56 a, 56 b, pueden estar compuestos por un dispositivo de imagen como una cámara IR 56 a que hace seguimiento a un marcador o emisor IR 56 b llevado por el usuario.

Esto es exactamente lo mismo que se ve en el video de Johnny Lee, es más, el Wii U Gamepad tiene una cámara IR:

WiiUIRCamera

En la wiki sobre homebrew de Wii U se puede leer su descripción:

El Wii Remote incluye una camara monocromo de 128×96 pixeles con procesamiento de imagen incluido. La camara mira a través de un filtro de paso de infrarojos que se encuentra en el encapsulado del Wii Remote. El sistema de procesamiento de la cámara es capaz de hacer seguimiento de hasta cuatro objetos móviles y estos datos solo están disponibles para el huesped. Los datos en bruto de los pixeles no están disponibles para el huesped por lo que la cámara no se puede utilizar para tomar imagenes de forma convnencional. El procesador integrado utiliza un analisis a nivel subpixel 8x para dar una resolución de 1024x768a los puntos de seguimiento. La barra sensora que incluye Wii tiene dos LEDS IR en cada punta que son seguidos por el Wii Remote para dar los información de apuntado.

En este caso el funcionamiento es al revés, la camara IR esta encima del televisor y el emisor de IR es llevado por el usuario. Volviendo de nuevo a la patente se puede ver el concepto en un dibujo de la misma:

WiiUHMD3

Ahora bien, si vamos al Wii U Gamepad veremos que este tiene un emisor IR… ¿Donde?

WiiUSensorBar

Aplicando esto en un dispositivo HMD ya tenemos un sistema de tracking para el mismo respecto a la pantalla principal que nos permite saber donde se encuentra la cabeza del usuario en cada momento, existe una segunda variación de esta patente que menciona el seguimiento de los ojos aquí.  En la segunda patente (la del eye tracking/seguimiento de los ojos) hay una descripción un poco más detallada sobre las posibilidades de esta idea:

  • Un campo de visión más grande (el seguimiento no se para prematuramente en comparación a otras soluciones que tienen un ángulo de visión menor de 50º.
  • Permitir un punto de seguimiento de la visión más grande que resulte en libertad de movimiento para el usuario. La clásica visión por camara es de menos de 50º de campo de visión. Es deseable conseguir unos 110º de campo de visión horizontal y 70º de campo de visión vertical.

¿Donde he visto yo lo de los 110º de visión horizontal? Ah si, ya me acuerdo.

Oculus-110-degree-field-of-view

¿Se va viendo por donde va la idea? La patente además menciona el número de marcadores necesarios para realizar el tracking de forma efectiva:

  • Dos marcadores proveen la posición en el espacio 3D del punto de vista asumiendo que el ojo esta mirando a la pantalla.

Con los dos marcadores se refiere a los marcadores IR que llevaría el usuario y que bien podrían montarse en un HMD.

  • Tres puntos proveen orientación respecto al punto de vista. El juego se vuelve consciente de la dirección a la que esta mirando el jugador (por ejemplo, el personaje de un juego puede decir “ey, mirame”).

Esto se puede ver en la FIG. 3C de la misma patente:

WiiUHMD4

Si combinamos lo descrito en este segundo punto con el del primer punto de cara a un HMD tenemos que por un lado la ventana al mundo virtual móvil que coma como referencia los giroscopios y acelerometros incluidos de serie en el dispositivo si se suman al sistema de seguimiento de la cabeza y los ojos aquí descrito nos da para presentar un sistema HMD con una precisión mayor en lo que al movimiento del usuario sobre el entorno virtual se refiere. Pero si utilizamos esto en un sistema HMD entonces nos encontramos con el problema que son los ojos ya que la cabeza puede estar mirando hacía un lado y los ojos hacia otro, por lo que necesitamos rizar el rizo un poco más para perfeccionar la idea y hacerla compatible con un HMD. Hay que tener en cuanta que ninguna de las dos patentes se refiere especificamente a un HMD pero la tecnología es aplicable perfectamente

La patente ha sido aplicada a “New 3DS” para hacer el seguimiento de los ojos del usuario, pero utilizando una cámara RGB frontal en la consola en vez de una cámara IR cámara para ajustar el efecto 3D respecto hacía donde están mirando los ojos. ajustar mucho mejor el efecto 3D. Por lo que Nintendo bajo el mismo concepto podría crear un HMD con dos cámaras internas enfocando a los ojos para grabar el movimiento de los mismos y procesarlo.

Tenemos que recordar que cuando Nintendo presento la 3DS sin stick derecho/cámara el argumento fue utilizar el acelerometro en sustitución, esta idea venía derivada del uso del mando de Wii para controlar la cámara de juego, el problema es que el acelerometro/giroscopio se muestra impreciso para el control de cámara y es necesario un sistema de cámara mucho más preciso. Desde el momento en que un mundo 3D se genera a partir del punto de visión de una cámara en primera persona (no confundir con si el personaje principal esta en primera o tercera persona) entonces podemos usar el tracking sobre la cabeza y los ojos para controlar la cámara que nos permite visualizar el mundo virtual y de esta manera eliminar la necesidad del stick derecho/cámara en los sistemas futuros.

Obviamente al no haber ninguna confirmación oficial por parte de Nintendo en lo que a la Realidad Virtual se refiere toda esta serie de entradas son una especulación que podrían caer en saco roto. La próxima entrada de la serie la haré sobre la relación Realidad Virtual y el concepto QoL, creo que por hoy ya es suficiente.

Un saludo.

Anuncios