Компания Koe AI представила LLVC – прорывную модель голосового преобразования в реальном времени. Сверхэффективность и скорость этой технологии просто поражают! Теперь преобразование голоса – просто и быстро. Ура!
LLVC: Революционная модель реального времени для преобразования голоса с непревзойденной эффективностью и скоростью
Команда исследователей из Koe AI представила LLVC (Low-latency, Low-resource Voice Conversion) – модель, разработанную для преобразования голоса в режиме реального времени, характеризующуюся низкой задержкой и минимальным потреблением ресурсов. Она эффективно работает на обычном процессоре для потребителей. Исследование щедро предлагает доступ к открытым образцам, коду и весам предварительно обученной модели LLVC для более широкого доступа.
Модель LLVC состоит из генератора и дискриминатора, причем только генератор используется во время вывода. Оценка производится с использованием тестовых данных LibriSpeech test-clean и с помощью Mean Opinion Scores от Amazon Mechanical Turk для оценки естественности и сходства с целевым диктором. Также рассматривается дистилляция знаний, включающая использование более крупной модели-учителя для направления работы более маленькой модели-ученика с целью повышения вычислительной эффективности.
Преобразование голоса включает преобразование речи таким образом, чтобы она соответствовала стилю другого диктора, сохраняя при этом исходное содержание и интонацию. Достижение преобразования голоса в режиме реального времени, с операцией быстрее реального времени, низкой задержкой и ограниченным доступом к будущему аудио-контексту, является сложной задачей. Существующие сети высокого качества для синтеза речи должны быть более подходящими для таких вызовов. LLVC, основанный на архитектуре Waveformer, разработан для решения уникальных требований преобразования голоса в режиме реального времени.
LLVC использует генеративно-состязательную структуру и дистилляцию знаний для достижения замечательной эффективности, характеризующейся низкой задержкой и использованием ресурсов. Он интегрирует архитектуры DCC Encoder и Transformer Decoder с некоторыми настраиваемыми модификациями. LLVC обучается на параллельном наборе данных, где голоса различных дикторов преобразуются таким образом, чтобы имитировать определенного целевого диктора, с центральной целью уменьшить заметные различия между выходом модели и синтетической целевой речью.
LLVC впечатляет своей задержкой менее 20 мс при битрейте 16 кГц, превосходя операцию в реальном времени почти в 2,8 раза на процессорах для потребителей. Он устанавливает стандарт, похваставшись самым низким потреблением ресурсов и задержкой среди моделей преобразования голоса с открытым исходным кодом. Для оценки его качества и самоподобия производится оценка производительности модели с использованием N-секундных фрагментов из файлов LibriSpeech test-clean. По сравнению с моделями No-F0 RVC и QuickVC, выбранными из-за их минимальной задержки вывода на процессоре, LLVC конкурирует.
Исследование сосредоточено исключительно на преобразовании голоса в режиме реального времени на процессорах, не исследуя производительность модели на различных аппаратных платформах или сравнивая ее с существующими моделями на различных конфигурациях. Оценка ограничивается задержкой и использованием ресурсов, не предоставляя анализа качества и естественности речи. Отсутствие подробного анализа гиперпараметров затрудняет воспроизводимость и настройку модели для конкретных потребностей. Исследование не обсуждает реальные проблемы LLVC, такие как масштабируемость, совместимость с операционными системами и языковые или акцентные особенности.
В заключение, исследование подтверждает возможность преобразования голоса с низкой задержкой и эффективным использованием ресурсов с помощью модели LLVC, работающей в реальном времени на обычных процессорах для потребителей, без необходимости использования выделенных графических процессоров. LLVC находит практическое применение в синтезе речи, анонимизации голоса и изменении голосовой идентичности. Его использование генеративно-состязательной архитектуры и дистилляции знаний устанавливает новый стандарт для моделей преобразования голоса с открытым исходным кодом, приоритезируя эффективность. LLVC предлагает потенциал для персонализированного преобразования голоса путем настройки данных одного диктора. Расширение тренировочных данных для охвата многоязычной и шумной речи может улучшить адаптивность модели к различным дикторам.
Проверьте статью и Github. Все заслуги за это исследование принадлежат исследователям этого проекта. Также не забудьте присоединиться к нашему сообществу в Telegram с более чем 32 тысячами участников, Facebook-сообществу с более чем 41 тысячей участников, Discord-каналу и электронной рассылке, где мы делимся последними новостями об искусственном интеллекте, интересными проектами и многим другим.
Если вам нравится наша работа, вам понравится наша рассылка.
Мы также находимся в Telegram и WhatsApp.
Опубликовано на MarkTechPost.
Если вам нужны рекомендации по управлению ИИ в бизнесе, свяжитесь с нами по адресу hello@itinai.com. Чтобы быть в курсе последних новостей об ИИ, подписывайтесь на наш Telegram-канал t.me/itinairu.
Посмотрите на практический пример решения на основе ИИ: бот для продаж от itinai.ru/aisales, созданный для автоматизации общения с клиентами круглосуточно и управления взаимодействием на всех этапах пути клиента.
Изучите, как искусственный интеллект может улучшить ваши продажи и общение с клиентами. Познакомьтесь с нашими решениями на сайте itinai.ru
