Desde herramientas básicas de conversión de texto a voz hasta avanzados dispositivos mecánicos analógicos, la clonación de voz ha evolucionado enormemente en las últimas décadas. No es de extrañar, teniendo en cuenta el acelerado ritmo al que avanza la tecnología. Hemos pasado de leer un libro de la manera convencional a que nuestro asistente de voz personal nos lea el libro con nuestra propia voz mientras nos ocupamos de otras tareas cotidianas.
Esto solo ha sido posible con la clonación de voz mediante inteligencia artificial. La clonación de voz consiste en crear una copia digital de la voz de una persona. De hecho, plataformas como GitHub han creado una vía para llevar a cabo esta clonación de voz mediante el uso de repositorios que permiten entrenar a la Inteligencia Artificial (IA) para que reconozca y replique distintos patrones de habla, acentos, entonaciones e inflexiones de voz.
¿Te parece interesante? Sigue leyendo este artículo si quieres saber cómo funciona la tecnología de clonación de voz, acceder a recursos para principiantes sobre clonación de voz en GitHub y aprender a elegir el repositorio que mejor se adapte a tus necesidades.
En este artículo
Parte 1. Cómo se crean los clones de voz con IA
Antes, los software de conversión de texto a voz (TTS) permitían crear voces, pero no transmitían emociones ni tenían matices humanos. Sin embargo, con la llegada de la inteligencia artificial y la tecnología de aprendizaje profundo, la calidad de estas voces artificiales ha experimentado una notable mejora.
- Los software de clonación mediante IA como Wondershare Filmora se alimentan con muestras de audio de la voz de un orador en diferentes estados de ánimo.
- El software estudia todos los detalles de la voz del orador, incluidos el tono y los patrones del habla.
- A continuación, construye un modelo de IA para recrear el audio de muestra e incluso generar nuevas palabras y frases utilizando el algoritmo.
- Al final, se obtiene una versión clonada de la voz de una persona real que suena idéntica al audio original si se hace correctamente.
Parte 2. Cómo funciona la clonación de voz en GitHub
No es que GitHub se utilice directamente para clonar voces. Antes bien, ofrece una plataforma para que los desarrolladores compartan códigos, herramientas y recursos que pueden utilizarse para crear programas de clonación de voz mediante inteligencia artificial.
En otras palabras, para clonar voces en GitHub se utilizan proyectos de código abierto que utilizan un marco de aprendizaje automático llamado PyTorch, que facilita el entrenamiento y el uso de modelos de aprendizaje. Este marco permite trabajar con modelos de aprendizaje como Tacotron2, y se utiliza para desarrollar y desplegar software y herramientas.
El software se compone de tres elementos principales: el codificador, el sintetizador y el vocoder.
- El codificador genera incrustaciones a partir de la voz del hablante.
- El sintetizador utiliza estas incrustaciones para generar un espectrograma.
- El vocoder transforma este espectrograma en voz audible.
Los desarrolladores utilizan estos proyectos de código abierto para crear o mejorar herramientas GitHub de clonación de voz que pueden aplicarse de alguna de las siguientes maneras.
- En la creación de contenidos para producir audiolibros y voces en off
- Como asistentes de voz al estilo de Siri y Alexa
- En la edición de audio
- En el desarrollo de tecnología que mejore la accesibilidad para personas con discapacidad. Por ejemplo, el desarrollo de tecnología médica avanzada para ofrecer una solución a las personas con problemas de habla.
- En aplicaciones avanzadas de texto a voz
- En telecomunicaciones y atención al cliente
- En películas y videojuegos, para reproducir las voces de los actores de doblaje o desarrollar nuevos personajes
Parte 3. Diferentes repositorios de clonación de voz en GitHub
Existen varios repositorios GitHub de clonación por voz bastante buenos. Aunque algunos son más versátiles que otros, todos ellos resultan de gran utilidad en diversos casos de uso. He aquí algunos de ellos.
- Intelligent TransSpeaker de Coffee-Expert
Esta herramienta de clonación de voz de GitHub utiliza la inteligencia artificial y el aprendizaje automático para traducir videos a diferentes idiomas, conservando los matices de emoción del orador y ofreciendo una experiencia de visualización natural para diferentes audiencias. Se trata de una herramienta diseñada para salvar las barreras lingüísticas en los contenidos de video en línea.
Lenguajes/herramientas
CSS, SCSS, Jupyter Notebook, HTML, JavaScript.
Funciones principales:
- Traducción multilingüe de videos: esta función permite traducir videos a varios idiomas. Conserva las emociones del hablante en diferentes idiomas, asegurando que tus videos traducidos conecten con el público de distintas culturas.
- Reducción de ruido con IA: este repositorio de GitHub para clonar voces con IA reduce cualquier distracción de fondo utilizando algoritmos de reducción de ruido para mejorar la claridad del audio. De este modo, aumenta el reconocimiento de voz durante la clonación y mejora la precisión de la traducción.
- Integración de audio y video: tras la traducción, el nuevo audio se integra perfectamente en el video original. Se pueden integrar varios audios para producir archivos de video multilingües de alta calidad listos para compartir.
- Clonación de voz: tienes la opción de generar audio en tu idioma de destino utilizando un modelo de clonación de voz preentrenado. Esta función de clonación de voz permite imitar al hablante original manteniendo las características de su voz y las emociones que proyecta. De este modo se aumenta la autenticidad de los videos traducidos.
Usos
Intelligent TransSpeaker se utiliza para software de edición de video y aplicaciones que requieren traducción y síntesis de voz, como herramientas de conferencia internacional y apps de aprendizaje de idiomas. También puede resultar útil en la creación de contenidos.
- TTS de Coqui.ai
Se trata de una herramienta GitHub de clonación de voz con IA de aprendizaje profundo para la generación avanzada de voz a partir de texto. Con modelos preentrenados en más de 1100 idiomas, es lo suficientemente versátil como para generar clones de voz en los idiomas más populares y hablados de todo el mundo. En caso de que entre los idiomas disponibles no se incluya el idioma deseado, puedes entrenar nuevos modelos o ajustar los existentes en cualquier idioma.
Aquí tienes una guía fácil de usar sobre cómo instalar TTS.
Lenguajes/herramientas
Python, Jupyter Notebook, HTML, Shell, Makefile.
Características
- Entrenamiento eficiente de modelos
- Registros de entrenamiento detallados en el terminal y en Tensorboard
- Modelos de IA listos para usar
- TTS multihablante
- Modelos de texto a voz de alto rendimiento que incluyen codificador para calcular la incrustación del hablante, modelos de texto a voz como Tacotron2 y modelos de vocoder como GAN-TTS y WaveGrad
- Herramientas para entrenar y probar tus modelos
- Una base de código modular que permite implementar nuevas ideas
Usos
Para desarrolladores que buscan herramientas TTS y de clonación de voz flexibles que puedan aplicarse de diversas formas, como potenciar asistentes de voz para responder a las consultas de los usuarios y enviar anuncios automatizados.
Puedes instalar TTS en Ubuntu o Windows. Si solo te interesa la síntesis de voz con los modelos TTS publicados, lo más recomendable es instalarlo desde PyPI. Si planeas codificar y entrenar modelos, clona TTS e instálalo localmente.
- GPT-SoVITS de RCV-Boss
Esta herramienta IA de clonación de voz de GitHub es una interfaz de usuario web de conversión de voz y conversión de texto a voz que requiere datos de un minuto de audio para entrenar un modelo TTS de clonación de voz de pocas tomas.
Lenguajes/herramientas
Python, Jupyter Notebook
Características
- Utiliza GPT para generar entradas de texto de alta calidad.
- Buen control del ritmo y la entonación del habla.
- TTS instantánea: realiza conversiones de texto a voz al instante con una muestra de voz de 5 segundos.
- TTS de pocas tomas: los modelos se entrenan utilizando datos de audio de 1 minuto, para mejorar la similitud y el realismo de la voz.
- Compatible con varios idiomas: permite obtener resultados en idiomas distintos a los del conjunto de datos de entrenamiento. GPT-SoVITS es compatible actualmente con inglés, japonés y chino.
- Herramientas WebUI: herramientas como la segmentación automática de conjuntos de entrenamiento, separación de acompañamientos de voz, ASR en chino y etiquetado de texto, están integradas para ayudar a los principiantes a crear conjuntos de datos y modelos GPT-SoVITS.
Usos
Locuciones realistas para documentales. Cualquier software o herramienta que requiera audio de alta calidad o conversiones de audio de texto a voz.
GPT-SoVITS tiene diferentes pautas de instalación para los usuarios de Windows, macOS y Linux. Los usuarios en China pueden experimentar la funcionalidad completa de GPT-SoVITS en línea utilizando AutoDL Cloud Docker.
- OpenVoice de My Shell AI
OpenVoice es una herramienta GitHub de clonación instantánea de voz con IA que replica voces y genera habla en múltiples idiomas. Esta herramienta identifica, controla y replica tipos y estilos de voz incluyendo acento, emoción, ritmo, pausas y entonación.
Lenguajes/herramientas
Python, Jupyter Notebook
Características
- Clonación fiel del color de voz y generación de voz en varios idiomas
- Control granular del estilo de voz
- Clonación de voz multilingüe automática
En abril de 2022 se lanzó OpenVoice V2 y se mejoraron las siguientes funciones:
- Mejor calidad de audio
- Compatibilidad multilingüe nativa en inglés, francés, español, chino, japonés y coreano
- Gratuito para uso comercial
Usos
Ideal para integrarse en otras aplicaciones, especialmente en aquellas con funciones de procesamiento de voz como traducciones multilingües en tiempo real, por ejemplo, videoconferencias y herramientas de atención al cliente.
- Bark con clonación de voz de Serp AI
Esta herramienta de GitHub para clonar voces es una mejora de Bark AI, un modelo generativo de audio basado en instrucciones de texto y que permite clonar voces a partir de muestras de audio de corta duración. Necesitas una muestra de audio de 5 a 12 segundos para crear un clon de voz. Para obtener los mejores resultados, genera múltiples clones de tu muestra de audio hasta que consigas un clon lo suficientemente parecido a la voz original.
Lenguajes/herramientas
Python, Jupyter Notebook
Características
- Idioma extranjero: Bark es compatible con varios idiomas y utiliza automáticamente el idioma del texto de entrada. Emplea acentos nativos del idioma identificado para mejorar la calidad de los resultados. Sin embargo, esta función aún está en proceso de mejora.
- Música: esta herramienta GitHub de clonación de voz con IA puede generar música a partir de texto. Para que funcione de forma más eficiente, añade notas musicales junto a la letra de la canción en la entrada.
- Preajustes de voz y clonación de voz: al clonar voces, Bark identifica y replica los tonos y estilos de voz conservando la música y el sonido ambiente de la muestra de audio original.
- Instrucciones para la voz: la flexibilidad de esta herramienta de clonación de voz de GitHub te permite incluir instrucciones para especificar las características del hablante, por ejemplo, narrador, hombre o mujer, para mejorar la calidad de salida del video.
Usos
Aplicable en proyectos que requieren una síntesis de voz realista, como notificaciones de voz personalizadas, reproductores de música interactivos y software de aprendizaje de idiomas.
- Speech Databases de Liana Mikael
Aunque no es precisamente un repositorio GitHub de clonación de voz, puede serte útil si planeas entrenar los modelos de IA de las herramientas de clonación de voz de los repositorios listados en este artículo.
Se trata de una colección de conjuntos de datos de voz disponibles públicamente creados para resolver tareas independientes del texto, ya que la mayoría de los conjuntos de datos de audio se centran en el campo de la conversión de voz a texto. Además de servir para entrenar modelos de clonación de voz de IA, puede utilizarse para tareas de identificación biométrica del hablante, mejora del habla y eliminación de ruido.
Este repositorio contiene conjuntos de datos GitHub de clonación de voz de más de 7000 hablantes que varían en cuanto a etnia, emociones, tonos, acentos y edades. También cuenta con una colección de sonidos de fondo naturales extraídos de diferentes entornos de la vida real que pueden utilizarse para entrenar modelos con ruidos de fondo de situaciones reales.
Cuando elijas un clon de voz de GitHub, busca repositorios con:
- modelos como Tacotron2 o WaveNet, ya que suelen ofrecer resultados de mayor calidad.
- documentación clara y completa que te ayude a entender cómo configurar y utilizar la herramienta.
- compatibilidad con el idioma o idiomas que necesites. Algunos modelos están diseñados específicamente para el inglés, mientras que otros son compatibles con varios idiomas. También hay que tener en cuenta si el modelo puede procesar varios acentos y tonos de voz.
Además: Filmora, la mejor opción para la clonación directa de voz
Aunque las herramientas de clonación de voz de GitHub ofrecen soluciones de código abierto personalizables, pueden tener algunas limitaciones. Estas herramientas están dirigidas a desarrolladores con los conocimientos técnicos necesarios para instalarlas, configurarlas, entrenar modelos de IA y utilizarlas con eficacia.
Algunos de estos repositorios pueden tener flujos de trabajo complejos que no son fáciles de usar para principiantes. Por no hablar de que la calidad de los resultados no es homogénea y depende en gran medida del conjunto de datos utilizado en el entrenamiento del modelo, de la sofisticación del mismo y de la capacidad del usuario para ajustar estos modelos para obtener resultados de calidad.
Con herramientas como Wondershare Filmora, puedes olvidarte de estos problemas. Filmora ofrece un flujo de trabajo fácil de usar y optimizado que te permite obtener resultados de alta calidad independientemente de tus habilidades técnicas. Estas son algunas de las principales características de Filmora:
- Filmora es una herramienta impulsada por IA que ofrece una edición de video fluida, función de copiloto de edición y edición basada en texto. También cuenta con una función de conversión de texto a video que te ayudará a dar vida a tus ideas. Puede utilizarse para escribir descripciones de video y subtítulos convincentes y para enmascarar o recortar objetos no deseados en el video.
- Las funciones de Filmora no se limitan a la edición de video; esta versátil herramienta de IA también puede generar música, eliminar ruido, estirar audio, clonar voces, convertir texto en voz y viceversa.
- Filmora integra la manipulación de video y la edición de audio con la clonación de voz. Esta última te permite grabar y replicar tu voz en distintos idiomas y para diferentes propósitos. También te permite afinar las voces para diferentes canales de difusión, desde noticias a redes sociales o presentaciones.
Recuerda: esta increíble función de clonación de voz solo está disponible.
Cómo clonar tu voz usando Filmora
- Paso 1: Abre Filmora en tu teléfono móvil o computadora. Si no tienes la aplicación Filmora, descárgala aquí.
- Paso 2: Ve al ícono de Texto. Arrastra y suelta un cuadro de texto en el área resaltada.
- Paso 3: Haz clic en la barra Texto a voz o Texto a video.
- Paso 4: Selecciona el idioma deseado.
- Paso 5: Haz clic en Clonar voz para añadir tu voz.
- Paso 6: Se te pedirá que des tu consentimiento para que se grabe tu voz.
- Paso 7: A continuación, se te proporcionará un guión que deberás leer en voz alta. Lee el guión para que se grabe tu voz.
- Paso 8: Cuando hayas terminado, haz clic en Clonar voz.
- Paso 9: La herramienta de IA analizará tu muestra de voz y capturará el tono y la emoción que contiene.
- Paso 10: Tu clon de voz aparecerá en la pestaña de texto a voz.
Conclusión
En conclusión, la clonación de voz está siendo aplicada cada vez más en una amplia gama de industrias, desde el entretenimiento y el desarrollo de juegos hasta la creación de contenidos y la atención al cliente. Para adaptarse a estos avances tecnológicos, existen recursos como los repositorios de clonación de voz de GitHub, que ayudan a los desarrolladores a crear, formar, utilizar y adaptar herramientas de clonación de voz para diversos fines.
En el caso de usuarios sin experiencia que busquen una forma más sencilla y menos técnica de explorar la clonación de voz, herramientas como Filmora constituyen un buen punto de partida. Filmora convierte la clonación de voz en algo muy sencillo tanto para desarrolladores como para quienes no lo son.
