Я несколько раз видел, как люди использовали -1 вместо 0 при работе с нейронными сетями для входных данных. Как это лучше и влияет ли это на какую-либо математику для его реализации?
Изменить: использование прямой и обратной связи
Редактировать 2: я попытался, но сеть перестала обучаться, поэтому я предполагаю, что математика должна где-то измениться?
Редактировать 3: Наконец-то нашел ответ. Математика для двоичной системы отличается от биполярной. Смотрите мой ответ ниже.
Недавно было обнаружено, что формула сигмовидной и сигмовидной производной должна быть изменена при использовании биполярного вместо двоичного.
Биполярная сигмовидная функция: f(x) = -1 + 2 / (1 + e^-x)
Биполярная сигмовидная производная: f’(x) = 0.5 * (1 + f(x)) * (1 – f(x) )
Это было давно, но, насколько я помню, это не повлияло на математику, необходимую для реализации сети (при условии, что вы не работаете с типом сети, который по какой-то причине ограничивает какую-либо часть процесс до неотрицательных значений). Одним из преимуществ является то, что он делает большее различие между входными данными и помогает усилить обучающий сигнал. Аналогично для выходов.
Кто-то, кто сделал это совсем недавно, вероятно, может сказать больше (например, о том, имеет ли значение пересечение 0; я думаю, что да). И на самом деле отчасти это зависит от того, какой именно тип нейронной сети вы используете. Я предполагаю, что вы говорите о backprop или его варианте.
Сеть быстро обучается, используя входные данные -1/1 по сравнению с 0/1. Кроме того, если вы используете входы -1/1, 0 означает «неизвестная запись/шум/не имеет значения». Я бы использовал -1/1 в качестве входных данных для своей нейронной сети.
f(x)=sigmoidдо[a,b] sigmoid([-1,+1]в нашем случае), возьмитеg(x) = (b-a)f(x) + a(в нашем случае становится2f(x) - 1) 01.07.2017