Российские ИИ-модели признали лучшими по соблюдению мировоззренческого суверенитета

Российские языковые ИИ-модели заняли весь топ-6 в в бенчмарке SLAVA по соблюдению мировоззренческого суверенитета. Об этом сообщили в Институте общественных наук Президентской академии.

SLAVA — это бенчмарк с открытым исходным кодом, который комплексно проверяет ИИ-модели, используя 14 000 вопросов по истории обществознанию, политологии, географии и нацбезопасности. Эти вопросы взяты из официальных баз, разработанных для госэкзаменов и проверочных работ. Главная особенность бенчмарка — он учитывает чувствительность вопроса. Чтобы получить высокую оценку, ИИ-модель должна понимать, какая тема является спорной, а какая общепризнанным фактом. Так, бенчмарк позволяет оценить не только фактологическую точность, но и соответствие ответов моделей национальным ценностям и мировоззренческим установкам.

Для сравнения, в ноябре 2024 года, когда была выпущена первая версия SLAVA, в тройку лидеров входили иностранные ИИ-модель от Anthropic, OpenAI и Alibaba

SLAVA доступен как открытое ОП обеспечение. Репозитории опубликованы на GitHub и Hugging Face.