Исследователи из Китая представили CogVLM: мощную модель открытой визуальной языковой основы. Этот инструмент обещает революционизировать область обработки и анализа изображений. Подробности в статье. #исследования #компьютерное_зрение
Модели визуального языка являются сильными и гибкими. Они могут использоваться для создания различных задач видения и кросс-модальности, таких как описание изображений, ответы на визуальные вопросы, визуальная привязка и даже сегментация. При увеличении масштаба VLM появляются полезные навыки, такие как контекстное обучение, вместе с улучшением деятельности вторичного характера. Однако обучение VLM с тем же уровнем производительности NLP, что и хорошо обученные языковые модели, такие как LLaMA2, является более сложной задачей. В таком случае имеет смысл рассмотреть процесс обучения VLM с использованием предварительно обученной языковой модели, которая уже доступна.
Широко используемые методы поверхностного выравнивания, представленные BLIP-2, переносят характеристики изображения в пространство векторных представлений языковой модели с помощью обучаемого Q-Former или линейного слоя, который соединяет замороженный предварительно обученный визуальный кодировщик и языковую модель. Хотя этот подход быстро сходится, он не работает так же хорошо, как одновременное обучение языковой и визуальной модулей, например, PaLI-X. Когда речь идет о VLM в стиле чата, обучаемом с использованием методов поверхностного выравнивания, таких как MiniGPT-4, LLAVA и VisualGLM, возникают проблемы с пониманием визуальной информации. Возможно ли улучшить навыки визуального понимания большой языковой модели, не жертвуя ее способностями в обработке естественного языка (NLP)?
Ответом на этот вопрос является CogVLM. Исследователи из Zhipu AI и Университета Цинхуа представили CogVLM – мощную открытую модель основы визуального языка. Основная идея заключается в глубокой интеграции языка и визуальной информации, которая отсутствует в методах поверхностного выравнивания. Для реализации этой идеи используются два подхода к эффективной настройке: p-tuning, который обучает векторное представление задачи входных данных, и LoRA, который использует низкоранговую матрицу для настройки весов модели на каждом слое. LoRA работает более эффективно и стабильно. Поскольку характеристики изображения в методах поверхностного выравнивания ведут себя аналогично векторному представлению в p-tuning, аналогичное явление может происходить и в VLM.
CogVLM-17B, обученная на основе Vicuna-7B, достигает лучших результатов или вторых по результативности на 14 типичных кросс-модальных бенчмарках, таких как наборы данных для описания изображений, VQA, выбора из нескольких вариантов и визуальной привязки. Кроме того, они обучили CogVLM-28B-zh на основе ChatGLM-12B для поддержки коммерческого использования на китайском и английском языках. Учитывая, что большинство известных в прошлом VLM, таких как Flamingo, SimVLM, Coca, BEIT-3, GIT2, PaLI и PaLI-X, являются закрытыми, можно предположить, что открытый исходный код CogVLM окажет значительное положительное влияние на исследования и промышленное применение в области визуального понимания.
Если вам нужны рекомендации по управлению ИИ в бизнесе или практические решения на основе ИИ для вашей компании, обратитесь к нам по адресу hello@itinai.com. Мы также предлагаем бота для продаж, который автоматизирует общение с клиентами и управление взаимодействием с ними на всех этапах пути клиента. Подробности на нашем сайте itinai.ru/aisales.
Искусственный интеллект может значительно улучшить ваши продажи и общение с клиентами. Ознакомьтесь с нашими решениями на сайте itinai.ru.
