Gracias Gracias:  3
Resultados 1 al 5 de 5

Tema: LIPSYNC - Sincronización labial

  1. #1
    Senior Member Avatar de Soliman
    Fecha de ingreso
    Aug 2004
    Ubicación
    Torrevieja-Alicante
    Mensajes
    10,184

    LIPSYNC - Sincronización labial

    Bueno, esto es una especie de tutorial basado en las prácticas que he estado realizando para probar un script que tiene Blender y que apoyado por el programa Papagayo, se puede conseguir algo bastante realista.
    No es un tutorial completo, pues la verdad es que es la primera vez que lo realizo, pero creo que sale algo decente.

    Para empezar voy a poner los programas que se utilizan y el script de Blender.
    ::::::::::::::::::::::::::::

    Papagayo:
    http://www.lostmarble.com/papagayo/index.shtml
    Papagayo es un programa de sincronización de labios diseñado para ayudar a alinear los fonemas (formas de la boca) con el sonido real grabada por actores. Papagayo facilita la sincronización de labios de los personajes animados haciendo el proceso muy simple - sólo tiene que escribir las palabras que pronunciaban (o copiar / pegar desde el guión de la animación), a continuación, arrastre de las palabras en la parte superior de la forma de onda del sonido hasta que se alineen con los sonidos adecuados.


    Blender:
    http://www.blender.org/download/
    Blender es un programa informático multiplataforma, dedicado especialmente al modelado, animación y creación de gráficos tridimensionales.El programa fue inicialmente distribuido de forma gratuita pero sin el código fuente, con un manual disponible para la venta, aunque posteriormente pasó a ser software libre. Actualmente es compatible con todas las versiones de Windows, Mac OS X, Linux, Solaris, FreeBSD e IRIX.

    Está orientado a artistas y profesionales del diseño y multimedia, puede ser usado para crear, visualizaciones 3D estáticas o vídeos de alta calidad. También incorpora un motor de 3D en tiempo real el cual permite la creación de contenido tridimensional interactivo que puede ser reproducido de forma independiente.


    Lipsync:
    Papagayo Moho file
    SCRIPT para Blender de sincronización labial adaptado para Papagayo.
    http://wiki.blender.org/index.php/Ex...psync_Importer


    Makehuman:
    Otro programa que podemos utilizar, es Makehuman, con el que podemos crear el personaje sobre el que luego añadiremos los Shape Key para los movimientos de la boca (y otras partes de la cara).
    http://www.makehuman.org/


    Audacity:
    http://audacity.sourceforge.net/?lang=es
    Este otro programa, lo vamos a utilizar para grabar el sonido o mejor dicho, la voz que vamos luego a utilizar en el programa Papagayo, con el cual se crea el archivo DAT que se utiliza con el script en Blender.
    Este sonido de voz, se guarda en formato WAV para que Papagayo lo pueda utilizar, por lo que si se utiliza otro método para grabar la voz, recordar guardarlo en formato WAV en lugar de MP3.

    vozMe:
    http://vozme.com/index.php?lang=es
    Si en lugar de grabar nuestra propia voz, queremos solo poner el texto y que se convierta a sonido, podemos utilizar el generador de sonidos basado en un texto. O sea, se trata de introducir un texto, y al presionar "Generar el mp3" nos saldrá una nueva ventana, donde además de reproducirse ese sonido, nos dará la opción de guardar en una carpeta ese mismo archivo en formato mp3.
    Como ya comenté en el otro artículo, como Papagayo trabaja con archivos Wav, si tenemos que utilizar ese archibo mp3, lo tendremos que convertir a WAV. Esto lo podemos hacer también con el mismo Audacity.

    Decir, que todos estos programas son libres y gratuitos.
    :::::::::::::::::::::::::::::::::::::::::::::::::: :::::::::::::

    Empezaremos por el arcivo de sonido o voz.

    vozMe - Audacity
    Para los que no quieren o no pueden grabar en su ordenador la voz directamente, se puede utilizar primero el vozMe que consiste en pasar un texto a voz y guardarlo como archivo mp3 todo esto, online.
    http://vozme.com/index.php?lang=es
    ..........
    Como hay que convertir ese archivo a WAV, utilizaremos el otro programa llamado Audacity que a parte de retocar y montar sonidos, puede guardar los archivos en diferentes formatos, como en este caso el que necesitamos que es un Wav.
    http://audacity.sourceforge.net/?lang=es

    En el siguiente vídeo se puede ver como se realiza esa operación.




    ::::::::::::::::::::::::::::::::::::::::
    Lo siguiente será itilizar el programa Papagayo.

    Papagayo
    Con Papagayo, podemos crear una archivo con extensión DAT que será el que utilicemos luego en el script de blender para animar los Shape Keys.
    Lo primero es cargar un archivo con las voces, en formato WAV.
    Una vez cargado, lo escuchamos y también debemos escribir el texto, o sea, las palabras que contiene.
    Procurar no poner ningún signo de acentuación ni comas, pues eso puede confundir al programa o lo que es lo mismo, nos pedirá confirmación para introducir alguna de las CLAVES que tiene manualmente.
    Si todo sale bien, solo habrá que ajustar el tamaño del texto que sale en el visor al tamaño del soniod y algunas partes del texto modificarlas.
    Esto se hace ARRASTRANDO las barras, desde una de las esquinas. No es sencillo de utilizar al principio, pues no tiene mucha sensibilidad al ratón.
    Es cuestión de practicar un poco para ver la dificultad.


    Video_1 Papagayo
    En el siguiente vídeo, se ver como se puede cargar un archivo de audio tipo wav y como al final, exportamos un archivo de tipo DAT

    Cuando pongamos en marcha el sonido, hay que fijarse en la BOCA que sale a la derecha, para ver si coincide el movimiento con el sonido.
    Si no es así, es cuando debemos ajustar los valores para que coincidan.



    :::::::::::::::::::::::::::::::::::::::::::::::

    Para los que no quieran modelar a mano... tenemos el makehuman

    Makehuman
    Makehuman es una aplicación de gráficos 3D por computadora para prototipado de humanoides fotorealisticos para ser utilizados en gráficos por computador. Es desarrollado por una comunidad de programadores, artistas y académicos interesados en el modelado tridimensional de personajes.
    Con ella podemos crear cantidad de cuerpos, con diferentes tamaños y edades.
    Asimismo se puede cambiar tamaños de manos, cabezas, etc.
    Tiene diferentes formatos de salida, como pueden ser DAE, MHX, FBX, OBJ como principales, a parte de otros más.



    ::::::::::::::::::::::::::::::::::::::::::::::

    Y ya entramos en la parte de Blender para crear las claves de forma o SHAPE KEY

    Shape Keys
    Las Shape Key o claves de forma en español, son una forma de animar la malla.
    En este caso, lo que se quiere conseguir, es a través de mover los vértices de la cara, conseguir expresiones faciales o mejor dicho, en este caso, animación labial.
    Se trata de crear una primera KEY que será la base de todas las demás claves de animación.
    En el video he creado solo dos, pero hay que crear tantas como se utilizan en el Papagayo.
    Esto sirve para que el script de blender, luego pueda mandar la información del archivo DAT a lo que serán cada una de las diferentes claves de forma (Shape Key) y que son las siguientes:

    AI
    E
    FV
    L
    MBP
    O
    U
    WQ
    etc

    .....
    Esta parte me gustaría ampliarla con renders de las diferentes posiciones de los labios así como darle a cada letra del abecedario una de esas claves como referencia.



    :::::::::::::::::::::::::::::::::::::

    Lipsync (script)
    Enlace de la página de descarga del scripr Lipsync_impoter
    http://wiki.blender.org/index.php/Ex...psync_Importer

    Este script sirve para poder importar el archivo DAT con la información que nos da el programa Papagayo.
    Para que funcione hay que tener dos cosas en cuenta.
    Tener en la cabeza creados los Shape Keys correspondientes y ordenados.
    Y tener quidado con las rutas relativas (Relative Path) que tendremos que tener desactivado, pues si no, no coge bien la ruta y saldrá un error de localización del archivo.


    Decir, que una vez tengamos estas animaciones labiales, podemos retocar alguna parte que nos parezca defectuosa, pues puede ser que se monten dos shape keys y creen una deformación no deseada del labio.
    Con paciencia, se puede conseguir algo muy real.




    Y ya solo falta ponerle el sonido y crear el video.


    En el video siguiente, hay un desfase entre el video y el sonido, pero no es un problema del programa si no de la grabación que al hacerla por micrófono, me sale con retardo. Pero en Blender esta completamente coordinado.



    ::::::::
    Y a tenemos nuestra animación con sonido.
    En este caso es un poco exagerado el movimiento, pero era para probar si vocalizaba bien... y dentro de lo que cabe, creo que esta correcto (aunque se puede mejorar, claro).
    :::::::::::::

    Espero que les sirva este minituto y les ánimo a que suban algún vídeo con animación labial.
    Saludos
    soliman

  2. #2
    Senior Member Avatar de Soliman
    Fecha de ingreso
    Aug 2004
    Ubicación
    Torrevieja-Alicante
    Mensajes
    10,184

    Re: LIPSYNC - Sincronización labial

    Otra prueba, que me he quedado regular..


  3. #3
    Administrador y fundador. Avatar de 3dpoder
    Fecha de ingreso
    Apr 2002
    Mensajes
    15,455

    Thumbs up Re: LIPSYNC - Sincronización labial

    Gran aporte amigo, has tratado los temas con claridad y por pasos, este tutorial sin duda ayudará a muchos, un saludo y gracias.
    Si vas a subir un trabajo al foro, hazlo adjuntando la imagen, archivo, vídeo o lo que sea, no publicando enlaces de otros sitios. http://www.foro3d.com/f45/forma-correcta-de-insertar-imagenes-y-archivos-en-nuestro-mensaje-98930.html

    |Agradecer cuando alguien te ayuda es de ser agradecido|

  4. #4
    Moderador Avatar de Klópes
    Fecha de ingreso
    Jul 2005
    Ubicación
    Estuve el día que llovió en los Monegros
    Mensajes
    7,987

    Re: LIPSYNC - Sincronización labial

    Muy bueno, una perfecta introducción al tema.
    ...y estaba superbueno.
    Y miré su perfil. Y vi que era amigo de Daniela. Puaf.


    Dos niñas en el parque

    no se elevará, nunca más

  5. #5
    El Senior De Los Members Avatar de limitee
    Fecha de ingreso
    Aug 2012
    Ubicación
    Madrid, España (Spain)
    Mensajes
    1,745

    Blender Re: LIPSYNC - Sincronización labial

    Muy buen aporte cuando llegue el momento de hacer animaciones.
    Buena cosa esto del Blender

Temas similares

  1. Sincronizacion Labial en Español Estaria bien
    Por Ramón López en el foro Problemas con Programas
    Respuestas: 2
    Último mensaje: 31-05-2007, 14:29
  2. sincronizacion labial
    Por Yomismo en el foro Plugins
    Respuestas: 1
    Último mensaje: 28-12-2005, 11:17
  3. sincronizacion labial
    Por ivanlobon en el foro Cortos de Animación
    Respuestas: 14
    Último mensaje: 08-11-2005, 21:29
  4. problema con sincronizacion labial con max
    Por Blackblas en el foro Animación y Rigging
    Respuestas: 8
    Último mensaje: 31-03-2005, 17:17
  5. Animación labial
    Por RonDamon en el foro Animación y Rigging
    Respuestas: 3
    Último mensaje: 19-05-2003, 07:54

Actualmente estos son sus permisos de publicación en el foro.

  • -No puedes crear nuevos temas al no estar registrado o no haber iniciado sesión en el foro.
  • -No puedes responder temas al no estar registrado o no haber iniciado sesión en el foro.
  • -No puedes subir archivos adjuntos al no estar registrado o no haber iniciado sesión en el foro.
  • -No puedes editar tus mensajes al no estar registrado o no haber iniciado sesión en el foro.
  •