В России разработали первую мультимодальную модель ИИ

В России разработали первую мультимодальную модель ИИ

Институт AIRI представил открытую мультимодальную языковую модель OmniFusion 1.1, первую в России, способную вести визуальный диалог и отвечать на вопросы, основываясь на изображениях, с поддержкой русского языка.

Открытый доступ к коду и весам модели позволяет использовать её для разработки как общедоступных, так и коммерческих продуктов.

OmniFusion умеет распознавать и описывать изображения, предоставляя возможность объяснить содержимое фотографии, анализировать карты помещений, распознавать текст и решать задачи, представлять формулы в LaTeX и многое другое.

Применение OmniFusion охватывает широкий спектр задач, от анализа медицинских изображений до решения логических задач. Модель уже сейчас может указывать на проблемы на медицинских изображениях, хотя для более точной диагностики требуется дополнительное обучение с участием медицинских экспертов.

На международном рынке представлены аналоги OmniFusion, в том числе LLaVA, Gemini, GPT4-Vision и другие, некоторые из которых являются закрытыми и платными. Однако OmniFusion выделяется своей открытостью, предоставляя доступ к исходному коду на GitHub, что делает её доступной для широкой аудитории разработчиков.

Модель основана на комбинации предварительно обученной большой языковой модели и визуальных энкодеров, кодирующих визуальную информацию в числовые векторы.

Разработка ведется научной группой FusionBrain Института AIRI с участием специалистов из Sber AI и SberDevices.

Комментарии
Вам может быть интересно
Группа «Т-Технологии» объявила об открытии доступа к двум крупным языковым моделям (LLM) — T-Pro и обновленной T-Lite. Эти модели установили новый стандарт производительности, обойдя все открыты...
Издательство «Просвещение» подготовило первые в России учебные пособия по искус...
Архитектура данных быстро развивается из-за развит...
По результатам исследования, которое мы провели ср...
Ученые, которые стояли у истоков создания искусств...
Что такое объяснимый ИИ (XAI)?XAI включает в себя ...
Проекты искусственного интеллекта могут оказаться ...
Интерактивное чтение с помощью MEMWALKER расширяет...
Перейти вверх