MWS AI выложила «универсальный фильтр» для больших языковых моделей в открытый доступ

Обычно обучение LLM новым условиям работы требует от разработчиков заново обучать нейросеть. По подсчетам экспертов, один такой цикл занимает 10 дней и стоит 2 000 долларов за прогон модели на 70 млрд параметров. При этом имеющиеся на рынке решения, которые позволяют ускорить этот процесс, отличаются фиксированным набором запретов, что усложняет их применение на практике в разных отраслях, а также требуют от пользователя знания языков программирования.

Созданный MWS AI совместно с корейскими исследователями универсальный фильтр работает как посредник между человеком и ИИ-помощником: программа блокирует утечки персональных данных, токсичные ответы и обращения к запрещенным источникам  информации, чем экономит временные и финансовые ресурсы пользователей. 

Достичь такого результата удалось за счет изменения логики архитектуры – фильтр работает “снаружи”, на этапах формулирования вопросов и выдачи ответов, и не внедряется в саму LLM. На входе система уже блокирует запросы с провокациями, запрещенными темами или попытками раскрыть чужие персональные данные. На выходе – не пропускает ответы с оскорблениями, дезинформацией и устраняет риск утечки корпоративных сведений. 

Еще одно преимущество решения – возможность задать правила фильтрации словами, а не строками кода. Это позволяет подключить к процессу настройки модели экспертов, которые разбираются в юридических ограничениях и корпоративных регламентах, но не владеют специальными навыками ML-инженеров. 

В ходе тестов AVI от MWS AI распознал 98,5% опасных обращений в выборке из более чем 2 тысяч примеров на русском языке, в том числе провокации на экстремизм, разжигание ненависти, попытки получить персональные данные, призывы к суициду и незаконным действиям. На запрещенных запросах система прерывала ответ модели сразу при обнаружении нарушения. За счет этого ИИ-помощник реагировал почти в четыре раза быстрее, чем без него. На повторный вопрос система реагировала за доли секунды.

«Раньше, чтобы запретить LLM-модели обсуждать какую-то тему или соблюсти новое требование закона, компании по сути обучали нейросеть заново. С новым фильтром администратор добавляет правило за несколько секунд с помощью обычной фразы на русском языке — и модель сразу начинает работать так, как требуется. Внешний фильтр позволяет быстрее настраивать корпоративные модели, привлекая к их разработке специалистов, которые хорошо знают регламенты и ограничения. Таким образом, решается проблема актуализации LLM и снижаются риски утечек конфиденциальных данных», — рассказал технический лидер промпт-инженеров MWS AI Данила Катальшов.

Профессор Korea University of Technology and Education (Южная Корея), руководитель Global Academia and Research Hub и Digital Professor в НИУ ВШЭ Ольга Швецова также отвечает: «Современное и практическое видение будущего управления корпоративным ИИ заключается в поиске инновационных подходов, которые позволяют компаниям обеспечивать соответствие требованиям, безопасность и адаптивность ИИ-систем в реальном времени — без дорогостоящего переобучения моделей».

Архитектура AVI совместима с любыми большими языковыми моделями. 

Исходный код фильтра  доступен на GitHub. В репозиторий находится образец использования фильтра на Python и FastAPI, конфигурации для векторной базы данных Qdrant и корпус из тысячи правил модерации на русском языке.