Феномен «смещения оценки» в reinforcement learning

Феномен смещения оценки в reinforcement learning: сущность, причины и методы борьбы

Феномен смещения оценки (value estimation bias) в reinforcement learning (RL) представляет собой систематическое отклонение оценок функции ценности (value function) от их истинных математических ожиданий. Это отклонение возникает в процессе обучения, когда агент использует собственные, несовершенные оценки для их же обновления, что приводит к самоподкрепляющимся ошибкам. Смещение может быть как положительным (переоценка), так и отрицательным (недооценка), но на практике чаще наблюдается и является более опасным именно переоценка. Она заставляет агента чрезмерно полагаться на субоптимальные действия, что дестабилизирует обучение, снижает конечную производительность и может привести к сходимости к неоптимальной политике.

Математические основы и источники смещения

В основе большинства алгоритмов RL с временной разницей (Temporal Difference, TD) лежит операция обновления, например, Q-learning: Q(s,a) ← Q(s,a) + α [r + γ max_a’ Q(s’,a’) — Q(s,a)]. Ключевой источник смещения кроется в термине max_a’ Q(s’,a’). Агент выбирает максимальное значение Q для следующего состояния, но эта оценка сама является случайной величиной, полученной в результате ограниченного опыта. Математическое ожидание максимума оценок не равно максимуму математических ожиданий: E[max Q(s’,a’)] ≥ max E[Q(s’,a’)]. Это неравенство следует из свойства выпуклости функции максимума и наличия случайных ошибок в оценках. Если истинные значения Q

• для всех действий в состоянии s’ одинаковы, но их оценки Q имеют случайные ошибки с нулевым средним, то операция max выберет действие с наибольшей положительной ошибкой, систематически завышая итоговую цель (target).

Другой важный источник — корреляция между действием, выбранным для выполнения, и действием, оценка которого используется в целевой функции. В алгоритмах типа SARSA, где используется оценка Q(s’, a’) для фактически выполненного следующего действия a’, смещение может быть как положительным, так и отрицательным в зависимости от политики. Однако если политика жадна по отношению к текущим оценкам, возникает аналогичный эффект переоценки.

Таблица: Сравнение источников смещения в ключевых алгоритмах RL

Алгоритм	Формула цели (target)	Основной источник смещения	Типичный эффект
Q-learning	r + γ maxa’ Q(s’, a’)	Максимизация по зашумленным оценкам (максимальный bias)	Систематическая переоценка
SARSA (он-политика)	r + γ Q(s’, a’) где a’ ~ π(·|s’)	Корреляция между выбором действия a’ и его оценкой	Смещение в сторону текущей политики (может быть +/-)
Ожидаемый SARSA	r + γ Σ π(a’|s’) Q(s’, a’)	Минимален при использовании истинных ожиданий	Снижает дисперсию, обычно имеет меньшее смещение
Double Q-learning	r + γ QB(s’, argmaxa’ QA(s’, a’))	Разделение выбора и оценки действия	Эффективно устраняет переоценку

Практические последствия и примеры

На практике смещение оценки, особенно переоценка, приводит к ряду проблем. Агент может застрять в субоптимальной политике, будучи уверенным в ее превосходстве. В стохастических средах это проявляется особенно ярко: агент может чрезмерно полагаться на действие, которое однажды принесло высокую награду благодаря удачному стечению обстоятельств, и игнорировать другие, потенциально более надежные действия. В сложных, высокоразмерных средах, где используются нелинейные аппроксиматоры (например, нейронные сети), смещение может взаимодействовать с ошибкой аппроксимации, приводя к катастрофическому расхождению (divergence). Историческим примером является нестабильность наивного сочетания Q-learning с глубокими нейронными сетями (DQN), что потребовало введения специальных техник для стабилизации.

Методы снижения и устранения смещения оценки

1. Double Q-Learning и его производные

Идея Double Q-learning заключается в использовании двух независимых функций ценности, Q_A и Q_B. Одна функция используется для выбора действия (argmax), а другая — для оценки его значения. Это разрывает положительную обратную связь, присущую стандартному Q-learning. Формально цель рассчитывается как: r + γ

• Q_B(s’, argmax_a’ Q_A(s’, a’)). На практике в глубоком RL (Deep Double Q-Learning) часто используют основную сеть и целевую сеть, адаптируя эту идею.

2. Сглаживание политики (Policy Smoothing) и методы регуляризации

Алгоритмы, основанные на максимальной энтропии (Soft Actor-Critic, SAC), явно максимизируют ожидаемую награду вместе с энтропией политики. Это приводит к более «размытой», исследовательской политике, которая по своей природе менее склонна к переоценке, так как не всегда выбирает действие с максимальной зашумленной оценкой. Регуляризация в виде штрафа за уверенность также может снижать переобучение к шумам в оценках.

3. Использование пессимистических оценок (Pessimistic Value Estimation)

В offline RL, где данные собраны заранее и нет возможности взаимодействовать со средой, проблема смещения становится критической из-за экстраполяционной ошибки. Методы, такие как Conservative Q-Learning (CQL), намеренно занижают оценки Q-функции для действий, не представленных в датасете, и/или завышают их для действий из датасета. Это создает «пессимистическую» оценку, которая борется с переоценкой внераспределенных действий.

4. Усреднение по множеству (Ensemble Methods)

Использование ансамбля из нескольких Q-функций позволяет получить более надежную оценку. Целевое значение может вычисляться как минимальная оценка среди ансамбля (как в алгоритме REDQ) или их усреднение. Минимизация действует как пессимистический оператор, эффективно снижающий переоценку. Этот подход также естественным образом снижает дисперсию.

Таблица: Сравнение методов борьбы со смещением оценки

Взаимосвязь смещения и дисперсии

Проблема смещения оценки неразрывно связана с проблемой дисперсии оценок в RL. Существует фундаментальный компромисс (bias-variance tradeoff). Методы, резко уменьшающие смещение (например, использование очень консервативных целей), могут увеличивать дисперсию обновлений и замедлять сходимость. И наоборот, методы, снижающие дисперсию (например, использование одной целевой сети с медленным обновлением в DQN), могут усугублять смещение. Успешные современные алгоритмы (как TD3) стремятся найти баланс: TD3 использует два Q-критика, берет минимум из их оценок для построения цели (снижение переоценки) и обновляет политику реже, чем критика (снижение дисперсии).

Заключение

Феномен смещения оценки является фундаментальной проблемой в reinforcement learning, коренящейся в самой структуре бутстрэппинга и максимизации. Его понимание критически важно для разработки стабильных и эффективных алгоритмов. Полное устранение смещения часто невозможно или нецелесообразно из-за компромисса с дисперсией. Поэтому современные исследования и практические реализации фокусируются на методах управления смещением: от классического Double Q-learning до продвинутых техник пессимистичной регуляризации в offline RL и использования ансамблей. Эффективный алгоритм должен целенаправленно контролировать тип и величину смещения, соответствующие конкретной задаче и архитектуре обучения.

Ответы на часто задаваемые вопросы (FAQ)

Всегда ли смещение оценки — это плохо?

Не всегда. Небольшое положительное смещение (оптимизм) может даже стимулировать исследование (optimism in the face of uncertainty). Однако неконтролируемое, особенно значительное положительное смещение (переоценка), как правило, вредно, так как ведет к субоптимальным решениям. Небольшое отрицательное смещение (пессимизм) может быть полезно для обеспечения безопасности или устойчивости в offline RL.

В чем разница между смещением, вызванным функцией-аппроксиматором, и смещением, обсуждаемым здесь?

Смещение, обсуждаемое в данной статье, — это в первую очередь статистическое смещение, возникающее из-за операций максимизации и бутстрэппинга, даже при использовании табличного представления (tabular RL). Смещение от аппроксиматора — это индуктивное смещение, вносимое архитектурой модели (например, нейронной сети), которая может быть неспособна представить истинную Q-функцию. Эти два типа смещения накладываются и взаимодействуют, усугубляя проблему.

Почему Double Q-learning решает проблему переоценки?

Он разрывает положительную обратную связь, разделяя две роли: выбор действия и оценку его ценности. В стандартном Q-learning один и тот же набор значений Q используется для обеих задач, что приводит к самоподтверждению завышенных оценок. В Double Q-learning, если Q_A завысила оценку какого-то действия, это увеличивает вероятность его выбора, но для расчета цели будет использоваться независимая (и в среднем несмещенная) оценка Q_B, что не позволяет ошибке бесконечно нарастать.

Как проблема смещения проявляется в актор-критик алгоритмах?

В актор-критик алгоритмах критика оценивает функцию ценности или преимущества для текущей политики актора. Смещение в оценках критика напрямую передается в градиенты политики актора, заставляя его оптимизировать неверную цель. Например, если критика переоценивает ценность определенных состояний, актор будет склонен чаще приводить политику в эти состояния, даже если они не являются оптимальными.

Можно ли полностью избавиться от смещения в RL?

В общем случае при использовании бутстрэппинга и нелинейных аппроксиматоров — нет. Задача оценки значения в RL по своей природе является задачей оценки с использованием зависимых данных (марковский процесс), и полное устранение смещения часто требует методов, которые могут быть вычислительно неэффективными или иметь высокую дисперсию (например, методы Монте-Карло без срезания). Поэтому цель практических алгоритмов — не полное устранение, а эффективное управление и минимизация смещения до уровня, не мешающего сходимости к near-optimal политике.