Resultados 1 al 10 de 10

Tema: Lipsync sincronización labial

  1. #1
    Usuario Legendario Avatar de Soliman
    Fecha de ingreso
    Aug 2004
    Ubicación
    Torrevieja-Alicante
    Mensajes
    16,507
    Gracias (Dadas)
    475
    Gracias (Recibidas)
    4935

    Lipsync sincronización labial

    Bueno, esto es una especie de tutorial basado en las prácticas que he estado realizando para probar un script que tiene Blender y que apoyado por el programa Papagayo, se puede conseguir algo bastante realista.

    No es un tutorial completo, pues la verdad es que es la primera vez que lo realizo, pero creo que sale algo decente.

    Para empezar voy a poner los programas que se utilizan y el script de Blender.

    Papagayo:
    https://www.lostmarble.com/papagayo/index.shtml Nueva versión en: https://www.lostmarble.com/papagayo/
    Papagayo es un programa de sincronización de labios diseñado para ayudar a alinear los fonemas (formas de la boca) con el sonido real grabada por actores. Papagayo facilita la sincronización de labios de los personajes animados haciendo el proceso muy simple - sólo tiene que escribir las palabras que pronunciaban (o copiar / pegar desde el guión de la animación), a continuación, arrastre de las palabras en la parte superior de la forma de onda del sonido hasta qué se alineen con los sonidos adecuados.

    Blender:
    https://www.blender.org/download/
    Blender es un programa informático multiplataforma, dedicado especialmente al modelado, animación y creación de gráficos tridimensionales. El programa fue inicialmente distribuido de forma gratuita, pero sin el código fuente, con un manual disponible para la venta, aunque posteriormente pasó a ser software libre. Actualmente es compatible con todas las versiones de Windows, Mac OS X, Linux, Solaris, FreeBSD e IRIX.

    Está orientado a artistas y profesionales del diseño y multimedia, puede ser usado para crear, visualizaciones 3D estáticas o vídeos de alta calidad. También incorpora un motor de 3D en tiempo real el cual permite la creación de contenido tridimensional interactivo que puede ser reproducido de forma independiente.

    Lipsync:
    Papagayo Moho file
    SCRIPT para Blender de sincronización labial adaptado para Papagayo.
    https://wiki.Blender.org/index.php/E...psync_Importer
    Makehuman:
    Otro programa qué podemos utilizar, es Makehuman, con el que podemos crear el personaje sobre el que luego añadiremos los Shape Key para los movimientos de la boca (y otras partes de la cara).
    https://www.Makehuman.org/
    Audacity:
    https://audacity.sourceforge.net/? Lang=es
    Este otro programa, lo vamos a utilizar para grabar el sonido o mejor dicho, la voz que vamos luego a utilizar en el programa Papagayo, con el cual se crea el archivo DAT que se utiliza con el script en Blender.

    Este sonido de voz, se guarda en formato WAV para qué Papagayo lo pueda utilizar, por lo que si se utiliza otro método para grabar la voz, recordar guardarlo en formato WAV en lugar de MP3.

    vozMe:
    https://vozme.com/index.php? Lang=es
    Si en lugar de grabar nuestra propia voz, queremos solo poner el texto y que se convierta a sonido, podemos utilizar el generador de sonidos basado en un texto. O sea, se trata de introducir un texto, y al presionar Generar el mp3 nos saldrá una nueva ventana, donde además de reproducirse ese sonido, nos dará la opción de guardar en una carpeta ese mismo archivo en formato (*.mp3).

    Como ya comenté en el otro artículo, como Papagayo trabaja con archivos Wav, si tenemos que utilizar ese archivo (*.mp3), lo tendremos que convertir a WAV. Esto lo podemos hacer también con el mismo Audacity.

    Decir, que todos estos programas son libres y gratuitos.
    : :
    Empezaremos por el archivo de sonido o voz.

    vozMe - Audacity
    Para los que no quieren o no pueden grabar en su ordenador la voz directamente, se puede utilizar primero el vozMe que consiste en pasar un texto a voz y guardarlo como archivo (*.mp3) todo esto, online.
    https://vozme.com/index.php? Lang=esComo hay que convertir ese archivo a WAV, utilizaremos el otro programa llamado Audacity que aparte de retocar y montar sonidos, puede guardar los archivos en diferentes formatos, como en este caso el que necesitamos que es un Wav.
    https://audacity.sourceforge.net/? Lang=es.

    En el siguiente vídeo se puede ver cómo se realiza esa operación.



    Lo siguiente será utilizar el programa Papagayo.

    Papagayo
    Con Papagayo, podemos crear una archivo con extensión DAT que será el que utilicemos luego en el script de Blender para animar los Shape Keys.

    Lo primero es cargar un archivo con las voces, en formato WAV.

    Una vez cargado, lo escuchamos y también debemos escribir el texto, o sea, las palabras que contiene.

    Procurar no poner ningún signo de acentuación ni comas, pues eso puede confundir al programa o lo que es lo mismo, nos pedirá confirmación para introducir alguna de las CLAVES que tiene manualmente.

    Si todo sale bien, solo habrá que ajustar el tamaño del texto que sale en el visor al tamaño del soniod y algunas partes del texto modificarlas.

    Esto se hace ARRASTRANDO las barras, desde una de las esquinas. No es sencillo de utilizar al principio, pues no tiene mucha sensibilidad al ratón.

    Es cuestión de practicar un poco para ver la dificultad.
    Video_1 Papagayo
    En el siguiente vídeo, se ver cómo se puede cargar un archivo de audio tipo (*.wav) y como al final, exportamos un archivo de tipo DAT.

    Cuando pongamos en marcha el sonido, hay que fijarse en la BOCA que sale a la derecha, para ver si coincide el movimiento con el sonido.

    Si no es así, es cuando debemos ajustar los valores para que coincidan.



    Para los que no quieran modelar a mano, tenemos el Makehuman.

    Makehuman
    Makehuman es una aplicación de gráficos 3D por ordenador para prototipado de humanoides fotorealisticos para ser utilizados en gráficos por computador. Es desarrollado por una comunidad de programadores, artistas y académicos interesados en el modelado tridimensional de personajes.

    Con ella podemos crear cantidad de cuerpos, con diferentes tamaños y edades.

    Asimismo se puede cambiar tamaños de manos, cabezas, etc.

    Tiene diferentes formatos de salida, como pueden ser DAE, MHX, FBX, OBJ como principales, aparte de otros más.



    Y ya entramos en la parte de Blender para crear las claves de forma o SHAPe KEY.

    Shape Keys
    Las Shape Key o claves de forma en español, son una forma de animar la malla.

    En este caso, lo que se quiere conseguir, es a través de mover los vértices de la cara, conseguir expresiones faciales o mejor dicho, en este caso, animación labial.

    Se trata de crear una primera KEY que será la base de todas las demás claves de animación.

    En el video he creado solo dos, pero hay que crear tantas cómo se utilizan en el Papagayo.

    Esto sirve para qué el script de Blender, luego pueda mandar la información del archivo DAT a lo que serán cada una de las diferentes claves de forma (Shape Key) y que son las siguientes:
    AI
    E
    FV
    L
    MBP
    O
    U
    WQ
    etc.

    Esta parte me gustaría ampliarla con renders de las diferentes posiciones de los labios, así como darle a cada letra del abecedario una de esas claves como referencia.



    Lipsync (script) Dejo el script en la parte inferior pues se ha borrado de la página.
    Enlace de la página de descarga del scripr Lipsync_impoter
    https://wiki.Blender.org/index.php/E...psync_Importer.

    Este script sirve para poder importar el archivo DAT con la información que nos da el programa Papagayo.

    Para qué funcione hay que tener dos cosas en cuenta.

    Tener en la cabeza creados los Shape Keys correspondientes y ordenados.

    Y tener quidado con las rutas relativas (Relative Path) que tendremos que tener desactivado, pues si no, no coge bien la ruta y saldrá un error de localización del archivo.

    Decir, que una vez tengamos estas animaciones labiales, podemos retocar alguna parte que nos parezca defectuosa, pues puede ser que se monten dos shape keys y creen una deformación no deseada del labio.

    Con paciencia, se puede conseguir algo muy real.



    Y ya solo falta ponerle el sonido y crear el video.

    En el video siguiente, hay un desfase entre el video y el sonido, pero no es un problema del programa si no de la grabación que al hacerla por micrófono, me sale con retardo. Pero en Blender esta completamente coordinado.



    Y a tenemos nuestra animación con sonido.

    En este caso es un poco exagerado el movimiento, pero era para probar si vocalizaba bien, y dentro de lo que cabe, creo que está correcto (aunque se puede mejorar, claro).

    Espero que les sirva este mini tutorial y les animo a que suban algún vídeo con animación labial. Saludos.

    Soliman
    Archivos adjuntados Archivos adjuntados

  2. Gracias 3dpoder, Klópes, limitee, MoliTk, Nano Nori, Umikolove Agradece este post
  3. #2
    Usuario Legendario Avatar de Soliman
    Fecha de ingreso
    Aug 2004
    Ubicación
    Torrevieja-Alicante
    Mensajes
    16,507
    Gracias (Dadas)
    475
    Gracias (Recibidas)
    4935

    Lipsync sincronización labial

    Otra prueba, que me he quedado regular.


  4. Gracias Nano Nori Agradece este post
  5. #3
    Administrador y fundador. Avatar de 3dpoder
    Fecha de ingreso
    Apr 2002
    Mensajes
    20,818
    Gracias (Dadas)
    2157
    Gracias (Recibidas)
    4414

    Thumbs up Lipsync sincronización labial

    Gran aporte amigo, has tratado los temas con claridad y por pasos, este tutorial sin duda ayudará a muchos, un saludo y gracias.
    Si tienes activado Adblock o alguno similar en este sitio, te estás perdiendo muchas cosas interesantes. Puedes desactivarlo para foro3d.com como te muestro en este enlace

    |Agradecer cuando alguien te ayuda es de ser agradecido|

  6. #4
    Moderador Avatar de Klópes
    Fecha de ingreso
    Jul 2005
    Ubicación
    Estuve el día que llovió en los Monegros
    Mensajes
    8,035
    Gracias (Dadas)
    501
    Gracias (Recibidas)
    901

    Lipsync sincronización labial

    Muy bueno, una perfecta introducción al tema.
    ...y estaba superbueno.
    Y miré su perfil. Y vi que era amigo de Daniela. Puaf.


    Dos niñas en el parque

    no se elevará, nunca más

  7. #5
    El Senior De Los Members Avatar de limitee
    Fecha de ingreso
    Aug 2012
    Ubicación
    Madrid, España (Spain)
    Mensajes
    1,759
    Gracias (Dadas)
    415
    Gracias (Recibidas)
    282

    Blender Lipsync sincronización labial

    Muy buen aporte cuando llegue el momento de hacer animaciones.
    Buena cosa esto del Blender

  8. Gracias MoliTk Agradece este post
  9. #6
    Usuario Legendario Avatar de Soliman
    Fecha de ingreso
    Aug 2004
    Ubicación
    Torrevieja-Alicante
    Mensajes
    16,507
    Gracias (Dadas)
    475
    Gracias (Recibidas)
    4935

    Lipsync sincronización labial

    Un dato más, para la creación de texto a voz, podemos utilizar un conversor de descarga gratuita, llamado Balabolka.
    Con el cual solo tenemos que introducir el texto y seleccionar el tipo de voz (masculina o femenina) y generar un WAV o MP3 u otros formatos de audio que vienen con el programa.

    Link adicional. https://es.wikihow.com/aumentar-el-n...-con-Balabolka

  10. Gracias MoliTk Agradece este post
  11. #7
    Usuario Legendario Avatar de Soliman
    Fecha de ingreso
    Aug 2004
    Ubicación
    Torrevieja-Alicante
    Mensajes
    16,507
    Gracias (Dadas)
    475
    Gracias (Recibidas)
    4935

    Lipsync sincronización labial


  12. Gracias MoliTk Agradece este post
  13. #8
    Usuario Nuevo
    Fecha de ingreso
    Feb 2021
    Mensajes
    2
    Gracias (Dadas)
    4
    Gracias (Recibidas)
    0

    Error en un enlace.

    Hola buenos días, estaba intentando descargar el código para enlazar el Dae de papagayo con los Shape Keys de mi personaje, pero ambos enlaces me dan error, ¿alguien sabe donde podría encontrar este código?

  14. #9
    Administrador y fundador. Avatar de 3dpoder
    Fecha de ingreso
    Apr 2002
    Mensajes
    20,818
    Gracias (Dadas)
    2157
    Gracias (Recibidas)
    4414
    Hola, bueno pues la compañía Moho, ha cambiado de propietario y todavía no se sabe que es lo que colgarán, y el enlace de la wiki al que creo que te refieres están de traslado de URL, pero fíjate en las versiones de archivo, por ejemplo en esta página: https://archive.blender.org/wiki/ind...sync_Importer/, adjuntos el archivo igualmente, pero si no es ese, usa el sistema que te digo.

    -sistema-archivo-wiki-blender.jpg
    Archivos adjuntados Archivos adjuntados
    Si tienes activado Adblock o alguno similar en este sitio, te estás perdiendo muchas cosas interesantes. Puedes desactivarlo para foro3d.com como te muestro en este enlace

    |Agradecer cuando alguien te ayuda es de ser agradecido|

  15. Gracias Nano Nori Agradece este post
  16. #10
    Usuario Legendario Avatar de Soliman
    Fecha de ingreso
    Aug 2004
    Ubicación
    Torrevieja-Alicante
    Mensajes
    16,507
    Gracias (Dadas)
    475
    Gracias (Recibidas)
    4935
    Cita Iniciado por Nano Nori Ver mensaje
    Hola buenos días, estaba intentando descargar el código para enlazar el Dae de papagayo con los Shape Keys de mi personaje, pero ambos enlaces me dan error, ¿alguien sabe donde podría encontrar este código?
    El otro día puse un nuevo post sobre el tema, pues ese otro ya tiene varios años y los programas han cambiado un poco.
    A ver si este te sirve mejor.

    [Blender] Animación Facial en Blender 2 (foro3d.com)

Temas similares

  1. Sincronización labial en español estaría bien
    Por Ramón López en el foro Problemas con Programas
    Respuestas: 2
    : 31-05-2007, 14:29
  2. Sincronización labial
    Por Yomismo en el foro Plugins
    Respuestas: 1
    : 28-12-2005, 11:17
  3. Sincronización labial
    Por ivanlobon en el foro Cortos de Animación
    Respuestas: 14
    : 08-11-2005, 21:29
  4. Problema con sincronización labial con max
    Por Blackblas en el foro Animación y Rigging
    Respuestas: 8
    : 31-03-2005, 17:17
  5. Animación labial
    Por RonDamon en el foro Animación y Rigging
    Respuestas: 3
    : 19-05-2003, 07:54

Etiquetas para este tema