Я тренирую нейронную сеть с отсевом. Бывает, что по мере того, как я уменьшаю выпадение с 0,9 до 0,7, потеря (ошибка перекрестной проверки) также уменьшается для данных обучающих данных. Я также заметил, что точность увеличивается по мере того, как я уменьшаю параметр отсева.
Мне это кажется странным. Имеет ли это смысл?
Отсев - это метод регуляризации. Вы должны использовать его только для уменьшения дисперсии (эффективность проверки по сравнению с производительностью обучения). Он не предназначен для уменьшения систематической ошибки, и вы не должны использовать его таким образом. это вводит в заблуждение.
Вероятно, причина такого поведения в том, что вы используете очень высокое значение для отсева. 0,9 означает, что вы нейтрализуете слишком много нейронов. Имеет смысл, что если вместо этого вы поставите 0,7, у сети появятся нейроны более высокого уровня, которые можно использовать при обучении на обучающей выборке. Таким образом, производительность будет увеличиваться при более низких значениях.
Обычно вы должны видеть, что производительность обучения немного снижается при увеличении производительности на проверочном наборе (если у вас его нет, по крайней мере, на тестовом наборе). Это желаемое поведение, которое вы ищете при использовании исключения. Текущее поведение, которое вы получаете, связано с очень высокими значениями для исключения.
Начните с 0,2 или 0,3 и сравните смещение и дисперсию, чтобы получить хорошее значение для отсева.
Моя четкая рекомендация: используйте его не для улучшения смещения, а для уменьшения дисперсии (ошибка при проверке).
Для того, чтобы лучше подходить к тренировочному набору, я рекомендую:
Надеюсь, это поможет!
Выпадение работает путем вероятностного удаления или «отбрасывания» входных данных в слой, которые могут быть входными переменными в выборке данных или активациями из предыдущего уровня. Это имитирует большое количество сетей с очень разной сетевой структурой и, в свою очередь, делает узлы в сети более устойчивыми к входным данным.
При выпадении (коэффициент отсева меньше некоторого небольшого значения) точность будет постепенно увеличиваться, и сначала постепенно будут уменьшаться потери (это то, что происходит в вашем случае). Когда вы увеличиваете отсев за пределами определенного порога, это приводит к тому, что модель не может соответствовать должным образом. Интуитивно понятно, что более высокий процент отсева приведет к более высокой дисперсии некоторых уровней, что также ухудшит обучение.
Всегда следует помнить, что Dropout, как и все другие формы регуляризации, снижает емкость модели. Если вы слишком сильно уменьшите емкость, то наверняка получите плохие результаты.
Надеюсь, это поможет вам.
