Теоретический материал к лабораторной работе №4
РАСПОЗНАВАНИЕ ПЕЧАТНЫХ И РУКОПИСНЫХ БУКВ
На рис. 1 представлена схема персептрона, предназначенного для рас-
познавания букв русского алфавита. Персептрон имеет 33 выходных нейро-
на: каждой букве алфавита соответствует свой выходной нейрон. Полагается,
что сигнал первого выходного нейрона y 1 | должен быть равен единице, если
персептрону предъявлена буква «А», и нулю для всех остальных букв. Выход
второго нейрона y 2 должен быть равен единице, если персептрону предъяв-
лена буква «Б», и нулю во всех остальных случаях. И так далее до буквы «Я».
| 1 | (А)
1=0 |  | (Б)
2=1 | 2
=1 |  |
11=1 |  |
12=0 | 33 (Я)
Рис. 1. Персептрон, предназначенный для распознавания букв русского алфавита

При выполнении предыдущей лабораторной работы мы убедились, что персептрон научился распознавать не только буквы, на которых его обучали, но и буквы, которых в обучающем множестве не было, если они не слишком отличались от букв обучающего множества. Свойство распознавать новые образы, которые персептрон никогда «не видел», мы назвали свойством

обобщения.

Дальнейшее развитие идеи персептрона было связано с попытками расширить круг его применения и усовершенствовать алгоритм обучения. Существенное развитие персептрона было сделано американскими учеными

Б.Уидроу и М.Е.Хоффом, которые вместо изученной на первой лабораторной работе ступенчатой активационной функции ввели непрерывную нелиней- ную функцию активации

| y = | 1 | , | (1)
| 1 + e−S

график которой изображен на рис. 2.

Эту функцию назвали сигмоидой, из-за того, что ее графическое изо- бражение напоминает латинскую букву «S». Другое название сигмоиды – ло-

гист ическая функция.

1

Рис. 2. Сигмоидная активационная функция y = f σ(S)

Подобно обычной пороговой функции активации, сигмоида отобража- ет точки области определения (−∞, +∞) в значения из интервала (0, +1).

Практически сигмоида обеспечивает непрерывную аппроксимацию класси- ческой пороговой функции.

Для сигмоиды приняли обозначение y = f σ(S) . Персептроны с сигмо- идными активационными функциями с одним выходом назвали адалайн, с несколькими выходами – мадалайн (от английских слов ADAptive LInear NEuron и Many ADALINE).

Появление персептронов с непрерывными активационными функциями обусловило появление новых подходов к их обучению. Б.Уидроу и М.Е.Хофф предложили минимизировать квадратичную ошибку, определяе- мую формулой:

ε = 1 ∑I (d i − y i )2 , | (2)
2 i =1 |
в которой d i – требуемый (желаемый) выход i -го нейрона, а y i | – тот, кото-
рый получился в результате вычислений персептрона. |

Рассмотрим алгоритм коррекции весовых коэффициентов персептрона, имеющего J входов и I выходов (рис. 3).

1

2

12

1

2

Рис. 3. Персептрон с J входами и I выходами

Квадратичная ошибка обучения персептрона ε зависит от того, каки- ми являются весовые коэффициенты w ij . Другими словами ε является функ-

цией от весовых коэффициентов w ij : ε = ε(w ij ). В школьных курсах обычно изучаются функции только от одного аргумента: y = y(x) , которые на коор- динатной плоскости x , y изображаются, как известно, в виде кривых линий. Если функция z зависит от двух аргументов: z = z(x, y), то она изображается в трехмерной системе координат x , y , z в виде поверхности. Функция- ошибка персептрона ε = ε(w ij ) зависит от большого количества аргументов w ij , поэтому для ее графического представления требуется многомерная сис-

тема координат, которую мы в нашем трехмерном мире представить себе не можем. В этой многомерной системе координат функция ε = ε(w ij ) изобра-

жается в виде многомерной поверхности, называемой гиперповерхностью. Чтобы хоть как-то представить себе гиперповерхность, предположим,

что все аргументы w ij имеют постоянные значения за исключением двух, на- пример w 11 и w 12 , которые являются переменными. Тогда в трехмерной сис- теме координат w 11 , w 12 , ε гиперповерхность будет иметь вид фигуры, напо- минающей параболоид, которую назовем псевдопарабалоидом (рис. 4). Про- цесс обучения персептрона теперь можно представить как отыскание такого сочетания весовых коэффициентов w ij , которому соответствует самая ниж- няя точка гиперпсевдопараболоида. Задачи подобного рода называются оп-

тимизационными. Говорят, что оптимизационная задача состоит в миними- зации функции ε =ε(w ij ) в многомерном пространстве параметров w ij .

ε

12( +1) |  |
12( ) | ( +1)
11
12 | 11 | ( )
|  | 11

Рис. 4. Графическое изображение функции-ошибки персептрона ε = ε(w ij ) в трех- мерной системе координат w 11 , w 12 , ε

Таким образом, если раньше говорили, что персептрон обучают мето- дом «поощрения – наказания», то теперь стали говорить, что задача обучения персептрона – это задача оптимизации (минимизации) персептронной ошиб- ки (погрешности).

Существует множество методов решения оптимизационных задач. Наиболее простым методом является перебор весовых коэффициентов w ij с

последующими вычислениями и сравнениями между собой соответствующих этим коэффициентам значений функции ε. Более эффективен метод гради- ент ного спуска, согласно которому изменение (коррекция) каждого весового коэффициента ∆w ij производится в сторону, противоположную градиенту

функции ε. Градиент функции является очень важным математическим по- нятием, которое обычно проходят на первых курсах вузов. Здесь мы не будем на нем останавливаться, а только укажем, что градиент функции ε =ε(w ij )

представляет собой вектор, проекциями которого на оси координат являются производные от функции ε по этим координатам (их обозначают ∂ε/∂w ij ), и

что градиент функции всегда направлен в сторону ее наибольшего возраста- ния. Поскольку наша задача состоит в отыскании минимума функции ε =ε(w ij ) , то нам надо опускаться по поверхности ошибок, что обеспечивает-

ся движением в сторону, противоположную градиенту этой функции. Отсюда и упомянутое выше название – метод градиентного спуска.

Движение в сторону, противоположную градиенту (т.е. противополож- ную направлению возрастания функции), будет осуществляться, если на ка- ждой итерации к координатам текущей точки w ij мы будем добавлять вели-

чину, прямо пропорциональную производной по координате w ij , взятую с противоположным знаком:

∆w = −η | ∂ε | , | (3)

ij ∂w ij

где η – некоторый коэффициент, обычно задаваемый в пределах от 0,05 до 1,

и называемый, как и раньше, коэффициент ом скорост и обучения.

Обратите внимание, что согласно формуле (3) мы движемся не только в сторону убывания функции, но и со скоростью, прямо пропорциональной скорости убывания (крутизне) функции, т.к. делаем шаг ∆w ij , пропорцио-

нальный производной, взятой со знаком минус.

Квадратичная ошибка ε является сложной функцией, зависящей от вы- ходных сигналов персептрона y i , которые, в свою оч ередь, зависят от w ij ,

т.е. ε = ε(y i (w ij )) . По правилу дифференцирования сложной функции

∂ε | = | ∂ε |  | ∂y i | . | (4)
∂w |  | ∂y | i |  | ∂w |
ij |  |  |  | ij |

Выходные сигналы нейронов y i вычисляются с помощью сигмоидных активационных функций y i = f σ(S i ) , аргументом которых являются суммы

S i = ∑J w ij x j . Следовательно,

j=1

∂y i | = | ∂fσ(Si ) | ∂S i | = f σ′(Si )xj . | (5)
∂wij |
| ∂Si ∂wij |

Кроме того, если продифференцировать (2) по y n , где n∈[1, I], то по-

лучится | ∂ε | = −(d n − y n ), значит
| ∂y n

∂ε | = −(d i − y i ) . | (6)
∂y i |

Подставив (5) и (6) в (4) и затем полученное выражение в (3), оконча- тельно будем иметь

∆wij = −η(−(di − yi ) f σ′(Si )xj )= η(di − yi ) f σ′(Si )xj . | (7)
Это выражение получено для нейронов с активационными функциями
любого вида. Если f σ(S i ) – сигмоида, заданная формулой (1), то |
f σ′(S i ) =((1+e−S i )−1 )′ = f σ(S i )(1− f (S i )) . | (8)
Подставив это выражение в (7), получим: |
∆wij = η(di − yi ) f σ(Si )(1− f (Si ))x j = η(di − yi )yi (1− yi )x j . | (9)
Итак, мы получили ит ерационную формулудля обучения персептрона
wij (t +1) = wij (t) + ∆wij , | (10)
где |
∆wij =ηδi x j , | (11)
δi = yi (1− yi )(di − yi ) . | (12)

Введенную здесь с помощью формулы (12) величину δ i в дальнейшем

будем называть нейронной ошибкой. Алгоритм (10)-(12) называют обобщен- ным дельт а-правилом. Его преимущество по сравнению с обычным дельта- правилом состоит в более быстрой сходимости и в возможности более точ- ной обработки входных и выходных непрерывных сигналов, т.е. в расшире- нии круга решаемых персептронами задач.

Итак, ведение сигмоидной функции активации вместо функции- ступеньки и появление нового алгоритма обучения – обобщенного дельта- правила, расширило область применения персептрона. Теперь он может опе- рировать не только с бинарными (типа «ноль» и «единица»), но и с непр е- рывными (аналоговыми) выходными сигналами.