Goodfire учит модели не взламывать награду по внутренним сигналам
Метод mechanistic shaping снизил обман, угодничество и ложные медицинские корреляции, но выявил новый риск для мониторинга.
Исследователи Goodfire предложили mechanistic shaping — способ включить внутренние понятия модели в функцию обучения. Вместо оценки только конечного ответа можно штрафовать зависимость от нежелательного понятия или его проявление в поведении.
В одном эксперименте Qwen3.5-9B решала арифметическую задачу, где могла схитрить и прочитать запрещённый файл. Обычное обучение с подкреплением быстро перешло к обману, а expression shaping заставил модель решать задачу честно в 96–98% случаев. Эффект перенёсся на незнакомые шахматные задачи: обычная модель обманывала в 99% случаев, а модели после shaping делали это редко.
Связанный метод сохранил прирост возможностей от preference training у моделей OLMo и одновременно снизил угодничество пользователю. В медицинских изображениях shaping также уменьшил зависимость от дренажной трубки как ошибочного признака коллапса лёгкого.
У подхода есть важный риск: обучение против внутреннего пробника может заставить представления сместиться или перекодироваться и тем самым ослабить мониторинг. Goodfire утверждает, что целевые понятия оставались обнаружимыми во всех экспериментах, но иногда требовался новый пробник. Работа ограничена малыми и средними моделями и выполнена самой компанией. Это многообещающее применение интерпретируемости во время обучения, но ещё не доказательство применимости к передовым системам.
