Специалисты T-Bank увеличили эффективность языковых моделей на 15 %, применив метод Trust Region.

Ученые из T-Bank AI Research разработали новую методику обучения больших языковых моделей (LLM) на основе подхода Trust Region. Этот метод значительно улучшает качество текстов, создаваемых ИИ, на 15% по ключевым параметрам: точность, связность, стиль, логика и информативность. Современные модели часто теряют качество при длительном обучении, но Trust Region позволяет избежать этого, обновляя базовые настройки модели.

В экспериментах с метриками Alpaca Eval 2.0 и Arena Hard качество ответов ИИ улучшилось с 2.3 до 15.1 процентных пунктов по сравнению с традиционными методами. Trust Region включает два типа обновлений: мягкие (небольшие изменения на каждом шаге) и жесткие (полное обновление модели). Эти обновления делают ответы ИИ более четкими и безопасными, улучшая их качество на 10–15% в задачах по сокращению длинных текстов. Кроме того, модели лучше справляются с сложными задачами и эффективнее выполняют инструкции пользователей.

Новый подход может быть применен в различных областях, включая создание виртуальных ассистентов и чат-ботов. Он отличается простотой реализации и высокой совместимостью с существующими методами. В будущем Trust Region будет способствовать развитию более эффективных языковых моделей и новой парадигмы в области искусственного интеллекта.