El papel de Agora en el metaverso, la compañía genera scripts, SDK, API y en definitiva pequeño programas para el desarrollo de contenido. Generalmente utilizadas por los creadores de contenido para desarrollar las aplicaciones finales.
Hermes Frangoudis de Agora nos explica cómo la compañía ayuda a desarrollar el metaverso; habla sobre la incorporación de voz y video en tiempo real en los juegos; y compartió cómo utilizar las soluciones de la compañía en los motores de juegos.
Introducción
Hermes Frangoudis es director de relaciones con desarrolladores e ingeniería de Socios en Agora. Su equipo se centra en la experiencia del desarrollador de inicio a fin y en ser la voz del desarrollador dentro de la empresa.
Se graduó de la Facultad de Sistemas de Información de Penn State con un estudio enfocado en diseño y desarrollo. Antes de unirse a Agora, fue ingeniero de realidad aumentada en Blippar. Donde ha liderado el equipo de desarrollo de Nueva York; y colaborado a crear experiencias de realidad aumentada para las mejores marcas y compañías de fortune 500.
Tradicionalmente, el video y la voz en tiempo real ocurren en aplicaciones dedicadas independientes. Pero Agora reconoció que las personas desean participar cada vez más directamente en las aplicaciones que ya están utilizando.
El papel de Agora en el metaverso
Ofrece soluciones de voz y video
Estas soluciones de voz y video en tiempo real eran difíciles y costosas de desarrollar. Ya que requerían una transmisión fiable y multipath de cantidades sustanciales de datos en muchas geografías y operadores de red. Este mosaico de conexiones es propenso a la pérdida de paquetes de datos y tiempos de respuesta lentos.
Al centrarse en construir una red sólida que eliminara la carga de construir esto desde cero y lanzar SDK y API simples y fáciles de usar para desarrolladores; creadores e influencers, Tony Zhao y algunos amigos se reunieron en su casa en Silicon Valley y escribieron el primer conjunto de código para crear el primer prototipo para SD-RTN.
Con la rápida adopción de SD-RTN por parte de la industria, Agora incorporó y abrió su primera oficina central en Santa Clara, California. Hoy en día, Agora ha crecido hasta incluir a más de 1100 empleados con oficinas en todo el mundo.
El concepto del metaverso
Solo hay un metaverso y es una representación digital de nuestras vidas físicas. El metaverso es una extensión y cambio de marca de mundos virtuales que han existido durante algún tiempo y; como sociedad, adoptamos la vida digital hace algún tiempo.
Cuando las personas escuchan la palabra metaverso. Piensan en las muchas empresas que trabajan para crear sus propios mundos virtuales que permiten a las personas conectarse; socializar, realizar transacciones (hacer negocios) y vivir como seres digitales. Pero gran parte de esto aún es incipiente y tomará tiempo hacer la transición completa a mundos inmersivos en 3D.
La transición de espacios virtuales 2D en una pantalla a mundos 3D no es lo único que debe suceder. El primer cambio fundamental ya ha comenzado, pero fue sutil. ¿Alguna vez has visto a alguien parado allí mirando fijamente su teléfono? Esa persona está en el metaverso, interactuando digitalmente con el contenido u otra persona.
Todos los días, la sociedad interactúa digitalmente utilizando las plataformas sociales (metaverso) existentes, podemos verlo a nuestro alrededor. Poco a poco, todo a nuestro alrededor adquirirá un significado completamente nuevo; a medida que la tecnología difumine aún más las líneas entre lo físico y lo virtual.
El papel de Agora en el metaverso y las comunicaciones
Desarrollo del Metaverso
Agora permite a los desarrolladores crear aplicaciones y espacios virtuales que admiten experiencias interactivas realistas. Donde hay un retraso mínimo entre los usuarios a medida que interactúan digitalmente. Los algoritmos de Agora monitorean la red en tiempo real y eligen la ruta de enrutamiento más eficiente automáticamente; ofreciendo una latencia ultra baja de 400 ms o menos. Esto es fundamental para una experiencia metaversa realista.
Además, Agora es compatible con las plataformas de desarrollo más populares para crear experiencias de metaverso, incluidas Unity, Unreal y Cocos. Hicimos que fuera muy fácil para los desarrolladores integrar nuestras API en sus aplicaciones de metaverso.
Agora también ofrece una amplia gama de características y productos complementarios que son críticos para crear experiencias metaversas divertidas y atractivas. Incluidos filtros espaciales de audio, voz y video, o agregar características especializadas como cancelación de ruido; y mucho más a través del mercado de extensiones de Agora.
Voz y vídeo en tiempo real en el juego
Cuando hablamos de voz y video en tiempo real en el juego, hay algunas partes; captura (recopilación de datos de las entradas de micrófono o cámara); transmisión (envío y recepción de las transmisiones de datos de voz / video) y renderizado (reproducción de las transmisiones de audio / video). La captura y el renderizado de voz y video son relativamente simples. Las conexiones de baja latencia en la fase de transmisión son la magia que hace que el metaverso se sienta real.
Nuestros SDK totalmente personalizables, extensiones de terceros preintegradas; y herramientas de código bajo y sin código permiten a los desarrolladores crear rápida y fácilmente experiencias de juego social atractivas que conectan y cautivan a los usuarios.
Nuestras innovaciones de redes manejan el enrutamiento en tiempo real. Proporcionando una latencia extremadamente baja más rápido que otras soluciones y ofreciendo una comunicación más receptiva en el juego. La representación de video inicial es inmediata; y nuestros SDK y red admiten una resolución de video adaptable y un cambio de canal sin problemas para optimizar la experiencia de un jugador incluso en las condiciones de red más desafiantes.
La arquitectura de red inteligente de Agora se escala automáticamente para satisfacer la demanda de la audiencia global. Con cobertura para más de 200 países y regiones. Nuestro tiempo de actividad líder en la industria del 99.99% latencia global promedio de 400 milisegundos. Que proporciona la confiabilidad y la velocidad que los desarrolladores de juegos necesitan para satisfacer las demandas de sus clientes.
Extensiones de Agora
Integración con motores de juego
Los SDK Unity y Unreal de Agora son fáciles de integrar. Nuestro plugin de Unity está disponible a través de Unity Asset Store; mientras que Unreal está alojado en nuestro GitHub de la Comunidad de Desarrolladores de Agora.
Una vez que descargue los complementos, hay guías para comenzar, pero como mínimo, es tan fácil como: importar la biblioteca; crear una instancia del motor Agora, unirse a un canal y elegir a qué elemento del juego renderizar la transmisión de video.
Hoja de ruta
Agora tiene la creencia central de que el compromiso digital en tiempo real será omnipresente en la vida diaria. Lo que vemos ahora es solo el inicio y apenas estamos arañando la superficie; de lo que es posible cuando las interacciones virtuales están impulsadas por tecnologías en tiempo real.
Desde el lugar de trabajo hasta la atención médica y los juegos, todos los sectores están experimentando un crecimiento digital sin precedentes. Agora continuará enfocándose en verticales clave donde el compromiso en tiempo real es un factor importante. Como los juegos, la educación en línea, los eventos virtuales, el comercio electrónico y las plataformas sociales.
El enfoque es crear las herramientas necesarias para que los desarrolladores creen el mundo virtual habilitado en tiempo real; para que a medida que avanzamos hacia un futuro posterior a la pandemia. Todavía veamos gran parte de la conveniencia que hemos llegado a esperar para cerrar la brecha entre las conexiones físicas y digitales.
Listado de aplicaciones de Agora
Agora Analytics: Agora Analytics es un sitio para que los desarrolladores rastreen y analizan el uso y la calidad de las llamadas.
Agora Cloud Backup: Es un servicio de almacenamiento en la nube de respaldo utilizado en la grabación en la nube. Si el servicio de grabación no puede cargar los archivos grabados en el almacenamiento en la nube de un tercero especificado; entonces el servicio los almacena automática y temporalmente en la nube de respaldo.
Agora Console: Agora Console es un sitio para que los desarrolladores administrar proyectos y servicios de Agora.
RTC SDK: Agora proporciona el SDK Agora RTC (Comunicación en tiempo real) para permitir comunicaciones de audio y video en tiempo real.
RTM SDK: Puedes usar Agora RTM (Real-time Messaging) SDK para implementar escenarios de mensajería en tiempo real; que requieren baja latencia y alta concurrencia para una audiencia global.
App ID: Una ID de aplicación es una cadena generada aleatoriamente proporcionada por Agora y es el identificador único de una aplicación.
App Certificate: Un certificado de aplicación es una cadena generada aleatoriamente proporcionada por Agora para habilitar la autenticación del token. Es uno de los argumentos necesarios para generar un token.
Audience: La audiencia son usuarios que no tienen permisos de transmisión en el canal. La audiencia solo puede suscribirse a las transmisiones remotas de audio y video, pero no puede publicar las transmisiones de audio y video. Para obtener más información, consulte Rol de usuario.
[B]Audience (becoming): Convertirse en audiencia describe un escenario dentro de un canal de transmisión en vivo interactivo (el perfil del canal es Live-Broadcast). Cuando un anfitrión cambia el rol de usuario y se convierte en audiencia.
Comunicaciones en el metaverso
Más aplicaciones para el metaverso
Audio mixing: La mezcla de audio significa combinar múltiples transmisiones de audio en una sola.
Profile audio: Un perfil de audio incluye la frecuencia de muestreo, el esquema de codificación; el número de canales y la tasa de bits para los datos de audio codificados.
Audio route: La ruta de audio es la ruta que toman los datos de audio a través de los componentes de hardware de audio durante la reproducción.
Callee: Un destinatario de la llamada es un usuario de RTM que recibe una invitación de llamada.
Caller: Una persona que llama es un usuario de RTM que envía una invitación de llamada.
Call invitation: La invitación de llamada es un protocolo de comunicación basado en la funcionalidad de mensajería punto a punto del Agora RTM SDK. La invitación de llamada admite iniciar, finalizar, aceptar y rechazar llamadas. Para obtener más información, consulte Invitación de llamada.
Channel: Un desarrollador crea un canal llamando a los métodos proporcionados por Agora para transmitir datos en tiempo real.
Attribute Chanel: Los atributos de canal son etiquetas que se agregan a los canales de RTM, incluido el nombre de la propiedad. El valor de la propiedad, la ID del último usuario de RTM que actualizó el atributo y la hora de la última actualización.
Channel message: Un mensaje de canal es un mensaje que un usuario de RTM envía a todos los usuarios de RTM en un canal.
El papel de Agora en el metaverso
Channel profile: El perfil de canal es una configuración que Agora utiliza para aplicar algoritmos optimizados para diferentes escenarios en tiempo real.
Cloud Proxy: Es un servicio de proxy que permite a los usuarios conectarse a los servicios de Agora a través de un firewall; utilizando direcciones IP fijas.
Cloud Recording: Es un componente proporcionado por Agora para grabar y guardar llamadas de voz y video; y transmisión interactiva en un almacenamiento en la nube de terceros a través de API RESTful.
Co-hosting: El alojamiento conjunto describe un escenario con más de un anfitrión.
Composite recording mode: El modo de grabación compuesto genera un único archivo mixto de audio y video para todos los UID en un canal.
Custom rendering: La representación personalizada es el proceso en el que los desarrolladores recopilan datos sin procesar del SDK; y los procesan de acuerdo con las necesidades específicas.
Custom source: La fuente personalizada es el proceso en el que una aplicación captura datos sin procesar por sí misma.
Delay: En la comunicación de audio y video en tiempo real; la demora se refiere al tiempo transcurrido desde que se envían los datos hasta que se reciben.
Dual-stream mode: En el modo de flujo dual, el SDK transmite un flujo de video de alta y baja calidad desde el remitente.
Freeze: La congelación se refiere a la reproducción entrecortada de audio o video causada por una conexión de red deficiente; o un rendimiento limitado del dispositivo durante la comunicación de audio y video en tiempo real.
Scripts de Agora en el metaverso
El papel de Agora en el metaverso
High-quality video stream: En el modo de flujo dual, el SDK transmite dos flujos de video de diferente calidad al mismo tiempo. Consulte el modo de transmisión dual para obtener más detalles.
Host: El host se refiere a un usuario que tiene permisos de transmisión en el canal.
[B]Host (becoming): Convertirse en anfitrión describe un escenario dentro de un canal de transmisión en vivo interactivo (el perfil del canal es Transmisión en vivo) cuando una audiencia cambia el rol de usuario y se convierte en anfitrión.
Individual recording mode: El modo de grabación individual graba audio y video de cada UID como archivos separados.
Flujos de medios
Inject Media Stream: Inyectar flujo de medios se refiere a inyectar un flujo de medios en un canal de transmisión en vivo interactivo. Para compartir el flujo con todos los usuarios del canal. Agora RTC SDK proporciona un método para que los desarrolladores inyecten una transmisión de audio y video o una transmisión de solo audio a un canal. Para obtener más información, consulte Inyectar flujo de medios en línea.
Jitter: En la comunicación de audio y video en tiempo real; el jitter es la variación en el retraso de los paquetes de datos transmitidos continuamente en la red.
Last mile: La última milla se refiere a la red entre el servidor perimetral de Agora y el dispositivo del usuario final.
Loopback test: Una prueba de bucle invertido envía una señal desde un dispositivo de comunicación y luego se devuelve (en bucle) a él. A menudo se utiliza para determinar si un dispositivo funciona correctamente. Para obtener más información, consulte Probar un dispositivo multimedia.
Scripts de audio y video
Low-quality video stream: En el modo de flujo dual, el SDK transmite dos flujos de video de diferente calidad al mismo tiempo. La transmisión de video de baja calidad tiene una resolución y tasa de bits más bajas que la transmisión de video de alta calidad. Consulte el modo de transmisión dual para obtener más detalles.
MediaPlayer Kit: El MediaPlayer Kit es un complemento del Agora RTC SDK para reproducir recursos de medios locales y ; y publicar los flujos de medios para otros usuarios en un canal interactivo de transmisión en vivo.
Media stream: Un flujo de medios es un objeto que contiene datos de medios.
Media Push: Media Push significa que el servidor Agora convierte la transmisión en el canal RTC del protocolo Agora al protocolo estándar; y envía la transmisión a una CDN de terceros.
Mirror: La duplicación es un efecto que genera una imagen de video.
Offline: Fuera de línea describe el estado de un usuario de RTM que se ha desconectado correctamente del sistema Agora RTM.
Características de HTC VIVE en el metaverso
Mensajería sin conexiones
Offline message: Un mensaje sin conexión es un mensaje entre pares; que un usuario de RTM en línea envía a un usuario de RTM sin conexión.
: En línea describe el estado de un usuario que inició sesión correctamente en el sistema Agora RTM o permanece desconectado del sistema Agora RTM durante más de 30 segundos.
On-premise Recording: La grabación local es un componente proporcionado por Agora para grabar y guardar llamadas de voz y video y transmisión interactiva en un servidor Linux.
Packet loss: La pérdida de paquetes se refiere a los paquetes de datos transmitidos en la red que no llegan a su destino previsto.
Peer-to-peer message: Un mensaje punto a punto es un mensaje que un usuario RTM en línea envía a un usuario en línea o fuera de línea.
Publish: La publicación es la acción de enviar los datos de audio y/o video del usuario al canal.
Raw data: Los datos sin procesar, incluidos los datos de audio sin procesar y los datos de video sin procesar; son los datos sin procesar que los desarrolladores pueden recopilar durante la comunicación en tiempo real.
Scripts de render
Render the first video frame: Representar el primer cuadro de video es la acción de representar el primer cuadro de video en el dispositivo local.
SD-RTN: SD-RTN, o Red en tiempo real definida por software; es una red de transmisión en tiempo real construida por Agora y es la única infraestructura de red diseñada específicamente para comunicaciones en tiempo real en el mundo.
Slice: Cortar significa cortar audio o video grabado en archivos separados de acuerdo con reglas específicas. Durante una grabación en Agora Cloud, el servicio de grabación corta las secuencias y genera varios archivos de fragmentos (archivos TS o WebM) y archivos M3U8. Que sirven como una lista de reproducción de los archivos de fragmentos. Consulte Administrar archivos grabados.
Sound localization: La localización del sonido significa determinar la distancia y la dirección de un sonido escuchando la diferencia de volumen; tiempo y timbre entre los oídos de los usuarios.
Stream fallback: En escenarios en los que varios usuarios participan en comunicaciones de audio y video en tiempo real. La experiencia del usuario puede verse afectada si la condición de la red es demasiado mala para garantizar tanto el audio como el video al mismo tiempo.
Stream mixing: La mezcla de flujos significa combinar múltiples flujos de medios en uno solo. Puede incluir la mezcla de secuencias de video (mezcla de video) y secuencias de audio (mezcla de audio).
El papel de Agora en el gaming
Agora RTC SDK – El papel de Agora en el metaverso
Subscribe: En Agora RTC SDK, la suscripción es la acción de recibir flujos de medios publicados en el canal. En Agora RTM SDK, la suscripción es la acción de monitorear el estado en línea de uno o varios usuarios de RTM.
TCP: TCP (Protocolo de control de transmisión) es un protocolo de comunicación de capa de transporte fiable y orientado a la conexión.
Token: Un token, también conocido como clave dinámica; se utiliza para la autenticación cuando un usuario de la aplicación se une a un canal RTC o inicia sesión en el sistema Agora RTM.
Transcoding: La transcodificación es el proceso de decodificación de datos de audio y video y luego volver a codificarlos en el formato o la salida de conversión de destino.
UDP: UDP (Protocolo de datagramas de usuario) es un protocolo de comunicación de capa de transporte no confiable y orientado sin conexión.
Identificaciones de atributos
User attribute: Los atributos de usuario son etiquetas que se agregan a los usuarios de RTM; incluidos los nombres de propiedad y los valores de propiedad.
[B]User ID (uid): En Agora RTC SDK, una identificación de usuario identifica a un usuario en el canal RTC. En Agora RTM SDK, un ID de usuario identifica a un usuario en el sistema RTM. El ID de usuario en Agora RTC SDK y Agora RTM SDK son independientes entre sí.
User role: El tipo de rol de usuario determina si el usuario del canal tiene permisos de transmisión.
Video layout: El diseño de video organiza la visualización de los usuarios cuando varios usuarios se mezclan en una transmisión; como en Media Push o una grabación compuesta.
Mixing video: La mezcla de video significa combinar múltiples transmisiones de video en una sola.
Video profile: El perfil de video se refiere a un conjunto de atributos de video, como resolución, tasa de bits y tasa de cuadros.
Web page recording mode: En el modo de grabación de página web; el contenido y el audio de una página web específica se graban en un solo archivo.
Si estás interesado en saber más, puedes acceder a la página de Agora aquí.
Crear videojuegos para el Metaverso
