NVIDIA anunció GET3D, un nuevo modelo de IA que puede crear objetos 3D que se pueden usar en videojuegos, películas o en el metaverso. Usando la GPU y las imágenes 2D tomadas desde múltiples ángulos, el modelo puede crear formas complejas con texturas de alta calidad.

Según la publicación del blog de NVIDIA, los ingenieros entrenaron el modelo de IA en 1 millón de imágenes. Utilizando varias GPU A100 Tensor Core, el equipo alcanzó su objetivo en dos días. Según la compañía, GET3D puede producir 20 objetos por segundo con una sola GPU, lo que facilitaría el trabajo de los artistas y productores de contenido.

“El mundo real está lleno de variedad: las calles están llenas de edificios únicos, con diferentes vehículos zumbando y diversas multitudes pasando. Modelar manualmente un mundo virtual 3D que refleje esto requiere mucho tiempo, lo que dificulta completar un entorno digital detallado”, menciona NVIDIA.

Hasta ahora, GET3D ha podido crear varios objetos, desde automóviles, sillas, animales o motocicletas hasta personas o edificios. La plantilla se puede combinar con otras herramientas de IA de NVIDIA para crear un objeto con un estilo específico.

Los ingenieros mencionan que puede crear redes 3D muy detalladas con una topología compleja y texturas realistas que se pueden exportar a motores de juegos o aplicaciones de renderizado.

Los objetos tridimensionales son editables para utilizarlos en películas o videojuegos

Uno de los puntos principales de GET3D es que los resultados se pueden modificar, lo que era difícil en experimentos anteriores.

A primera vista, el resultado es similar al que se puede obtener cuando se utiliza la técnica de la fotogrametría con un modelo detallado de red y estructura. La única desventaja es que los modelos de esta clase requieren un trabajo de “limpieza” posterior para optimizar el número de polígonos.

“Los trabajos anteriores sobre modelado generativo 3D carecen de detalles geométricos, están limitados en la topología de malla que pueden producir, normalmente no admiten texturas o utilizan renderizadores neuronales en el proceso de síntesis, lo que hace que su uso en software 3D común no sea trivial”, se puede leer en el blog oficial de NVIDIA.

Al igual que con otros modelos de aprendizaje profundo, cuanto más grandes sean los datos de entrenamiento, mejores serán los resultados. GET3D utiliza un conjunto de datos sintéticos, aunque los investigadores planean entrenar la próxima versión con datos reales.

La siguiente versión de GET3D ya está en planes

Crear objetos 3D usando inteligencia artificial es interesante y NVIDIA ha dado un paso importante. Sin embargo, los modelos 3D para videojuegos, películas u otras aplicaciones de entretenimiento son mucho más complejos que un experimento Mindjourney o DALL-E.

Estos objetos deben cumplir con propiedades adicionales como el número de polígono o la topología cuando se usan en juegos o escenas que contienen animaciones.

(foto: Kaedim)

Hace unas semanas, un programa similar fue tendencia en Twitter. El servicio Kaedim, que utiliza inteligencia artificial para crear modelos 3D a partir de imágenes 2D, ha llamado la atención de varios artistas. Después de publicar resultados impresionantes que eran demasiado buenos para ser verdad, algunos acusaron a la empresa de mentir y utilizar profesionales de 3D.

Finalmente, Kaedim apareció y dijo que aunque usa un algoritmo de IA para crear el objeto, un humano cambia el resultado final. Un “ingeniero de control de calidad” verifica el modelo y lo ajusta al estándar de calidad requerido por el cliente antes del envío.

Aunque optimiza el tiempo de producción en comparación con el trabajo manual, el algoritmo aún no puede proporcionar resultados confiables.

Fuente

The post NVIDIA anunció una IA capaz de crear objetos tridimensionales usando fotografías appeared first on The Roldan.

Los sitios web como los conocemos van a cambiar muy pronto. Los días de texto, imágenes e interacciones básicas en una ventana de navegador 2D nos han servido bien, pero las experiencias de realidad virtual, aumentada y mixta están mejorando todo el tiempo. Los desarrolladores y diseñadores deben pensar más allá de la ventana del navegador y prepararse para un futuro inmersivo.

Muchos han sido muy escépticos sobre la realidad virtual y la realidad aumentada en el pasado porque, a pesar de las grandes promesas sobre lo que lograrían, en su mayoría no lograron cumplir con la escala que esperaba la industria.

Pero esta vez es diferente: líderes de la industria como Meta, Apple y Microsoft están llevando a cabo una variedad de proyectos de realidad mixta diferentes; ven la oportunidad y están dando pistas sobre lo que sigue.

en un encuesta de Perkins Coie LLP y la Asociación XR, casi 9 de cada 10 encuestados dijeron que para el año 2025, las tecnologías inmersivas, incluida la realidad aumentada, la realidad virtual y la realidad mixta, serán tan ubicuas como los dispositivos móviles.

Esa es una predicción audaz, pero podría ser nuestra nueva realidad.

Casos de uso

La realidad virtual y la realidad aumentada no son una opción lógica para todos los sitios web, y eso está bien. No es necesario forzar una experiencia inmersiva en algo que se adapte mejor a una experiencia de visualización estándar.

Pero cuando se hacen bien, las experiencias 3D pueden agregar mucho a su sitio web. Revisar la experiencia de demostración de Mozilla, el Recorridos en 3D desde Matterport, y el narración inmersiva desde dentro.

Aquí hay algunas áreas en las que brillan estas tecnologías:

• Venta minorista – La realidad virtual se puede utilizar para proporcionar una sala de exposición virtual donde los clientes navegan por los productos. La RA puede incluso llevar los productos a su hogar mostrándole cómo encajará un mueble en su habitación, cómo se verá una pintura en su pared o, en el caso de Apple, cómo se verá un producto en su escritorio.
• Noticias – La cobertura de los eventos se puede enriquecer proporcionando una vista de 360 ​​grados y colocando a los espectadores en el centro de la historia.
• Capacitación – La RA puede generar superposiciones virtuales sobre equipos físicos para que los empleados puedan tener una formación práctica que sea más eficaz.

Defina su plataforma

Agregar experiencias inmersivas a su sitio web requerirá varias habilidades basadas en lo que está tratando de crear. Tanto si es nuevo en el desarrollo web como si es un desarrollador experimentado con muchos años de experiencia, la principal diferencia con el desarrollo web clásico es que está cambiando de una experiencia 2D a una 3D. El desarrollo en VR / AR está mucho más cerca de desarrollar videojuegos en 3D que de crear aplicaciones web.

En primer lugar, debe decidir el hardware para el que está construyendo. ¿Sus espectadores utilizan principalmente computadoras, teléfonos inteligentes o auriculares como Oculus Quest? Cada categoría de hardware ofrece un conjunto diferente de capacidades para lo que es posible.

A continuación, cuando miramos los motores y marcos 3D en el mercado, algunos grandes nombres como Unidad, Motor irreal, y MOTOR GRITO destacar. La mayoría de estos motores se derivaron del desarrollo de juegos y se basan en lenguajes de programación como C, C ++ o C #. Si bien son muy poderosos, son exagerados para cualquiera que intente crear una experiencia web inmersiva básica.

La buena noticia para los desarrolladores web es que API de dispositivo WebXR es un estándar abierto especificado por el W3C con una API de JavaScript que hace posible experiencias inmersivas en el navegador. Entonces, si ya tiene experiencia en desarrollo web, puede usar sus conocimientos de JavaScript para comenzar.

Existen algunos marcos y plataformas útiles que hacen que trabajar con WebXR sea más conveniente:

• Un cuadro – Un marco web para la construcción de experiencias 3D.
• Reaccionar 360 – Un marco para la creación de experiencias interactivas de 360 ​​grados que se ejecutan en el navegador web. Como ya sugiere el nombre, se basa en React y reutiliza los conceptos que ya conoce.
• Amazonas sumerio – Un servicio administrado que le permite crear y ejecutar aplicaciones 3D, AR y VR. Dado que está integrado en el ecosistema de AWS, también es posible agregar elementos habilitados para IA en su mundo generado.

Crea tu contenido

Nadie quiere leer grandes bloques de texto en 3D. Dado que estamos hablando de experiencias visuales, es lógico que se haga hincapié en la creación de contenido que sea agradable a la vista e interesante a la vista. Lo que funciona en un sitio web normal probablemente no se sentirá natural en un entorno 3D, por lo que debe decidir qué elementos visuales debe crear para adaptarse al formato.

¿Qué imágenes y activos de alta resolución necesita? ¿Puedes agregar videos? ¿Qué tal los videos de 360 ​​grados? ¿Los espectadores solo verán algo o podrán interactuar con él?

Tampoco puede olvidarse del sonido porque es una parte fundamental de las experiencias inmersivas. ¿Qué música y sonidos deberías crear para que el contenido cobre vida?

No todo el mundo va a tener el dispositivo o la cobertura 5G más reciente y mejor. Los requisitos de ancho de banda y calidad de transmisión son mucho mayores con contenido 3D. Unos pocos milisegundos de latencia pueden pasar desapercibidos en un sitio web típico, pero en un entorno de realidad virtual / realidad aumentada, puede hacer que la experiencia sea lenta o inutilizable.

Intente optimizar su contenido para que sea de la más alta calidad posible dentro de un tamaño de archivo razonable. Si la experiencia comienza a verse afectada por la descarga de demasiados activos al mismo tiempo, es mejor crear una experiencia más optimizada que mantenga una alta tasa de rendimiento.

También es importante tener en cuenta su infraestructura de alojamiento. Esto no debería ser un gran problema, pero vale la pena mencionar que debe agregar nuevos tipos de contenido a sus configuraciones, y su CDN también debe admitir estos nuevos tipos.

Haga que su contenido sea flexible

Cuando hablamos de preparar su sitio web para experiencias inmersivas, no solo hablamos de que las personas se desplacen por su sitio web habitual en realidad virtual. Eso no es atractivo para su audiencia.

La idea es tomar algún contenido que ya está en su sitio web y separarlo de la capa de presentación para que pueda usarlo en un entorno 3D o cualquier otra plataforma que desee. La gestión de contenido clásica se lleva a cabo en silos, lo que significa que no puede reutilizar fácilmente el contenido de su sitio web.

Esta separación se puede lograr utilizando una base de datos clásica, pero si desea que los desarrolladores y los equipos de contenido colaboren, un CMS sin cabeza es independiente del front-end y más fácil de usar.

Empiece a experimentar hoy

La creación de experiencias de contenido en 3D puede parecer intimidante, pero como hemos visto, es probable que ya tenga las habilidades de desarrollo web necesarias para comenzar y probar algunas ideas diferentes.

Lo que construya hoy lo preparará para el futuro 3D del mañana.

Foto principal vía Pexels.

Fuente

The post Cómo prepararse para la Web inmersiva appeared first on The Roldan.