Теоретический материал к лабораторной работе №3 РАСПОЗНАВАНИЕ ПЕЧАТНЫХ БУКВ

Рассмотренный в предыдущей лабораторной работе алгоритм обучения персептрона можно представить в более общей форме. Если за d обозначить требуемый выходной сигнал (от слов desire response, что в переводе с анг- лийского означает – желаемый отклик), то на каждой эпохе обучения можно рассчитывать разницу между требуемым ответом персептрона d и реальным

значением y , вычисляемымна его выходе: |
ε =(d − y). | (1)

Тогда:

-случай ε=0 соответствует шагу4,а;

-случай ε>0 соответствует шагу 4,б;

-случай ε<0 соответствует шагу4,в.

Идея алгоритма обучения персептрона с помощью правил Хебба со- хранится, если итерационный процесс корректировки весов вести по форму- лам:

| w j (t +1) = w j (t) +∆w j , | (2)
| ∆wj =ε xj , | (3)
в которых w j (t) | и w j (t +1) – старое и новое значения весовых коэффициен-
тов персептрона, | j – номер входного сигнала. |

Кроме того, можно получить аналогичную итерационную формулу для подстройки нейронного смещения b, если учесть, что его можно интерпре- тировать как вес w 0 дополнительного входа x 0 , значение которого всегда равно 1 (см. теоретический материал к лабораторной работе№1):

w 0 (t +1) = w 0 (t) +∆w 0 ; | (4)
∆w 0 =ε. | (5)

В итерационные формулы полезно ввести коэффициент скорости обу- чения η, с помощью которого можно управлять величиной коррекции синап- тических весов и нейронного смещения:

∆w j =ηεx j ; | (6)
∆w 0 =ηε. | (7)

При слишком больших значениях коэффициента η обычно теряется устойчивость процесса обучения, тогда как при слишком малых – повыша- ются временные затраты. На практике коэффициент скорости обучения η обычно задают в пределах от0,05 до 1.

Алгоритм обучения персептрона с использованием этих формул извес- тен под названием дельта-правила.

Дальнейшее развитие идеи персептрона и алгоритмов обучения связано с усложнением его структуры и развитием функциональных свойств. На ри- сунке представлена схема персептрона, предназначенного для распознавания букв русского алфавита. В отличие от предыдущей схемы, такой персептрон имеет 33 выходных нейрона: каждой букве алфавита соответствует свой вы- ходной нейрон. Полагается, что сигнал первого выходного нейрона y 1 дол- жен быть равен единице, если персептрону предъявлена буква «А», и нулю для всех остальных букв. Выход второго нейрона y 2 должен быть равен еди-

нице, если персептрону предъявлена буква «Б», и нулю во всех остальных случаях. И так далее до буквы «Я».

| 1 | (А)
1=0 |  | (Б)
2=1 | 2
=1 |  |
11=1 |  |
12=0 | 33 (Я)
Персептрон, предназначенный для распознавания букв русского алфавита
Алгоритм обучения данного персептрона выглядит следующим обра-

зом.

Шаг 1. Датчиком случайных чисел всем весовым коэффициентам w ij и

нейронным смещениям w i 0 (i =1, ..., 33, j =1, ...,12) | присваиваются некото-
рые малые случайные значения. |
Шаг 2. Персептрону предъявляется какая-либо буква алфавита, систе-
мой фотоэлементов вырабатывается входной вектор | x j ( j =1, ...,12). Сигна-

лы дополнительных нейронных входовприсваиваются единичными: x 0 =1.

Шаг 3. Каждый нейрон выполняет взвешенное суммирование входных сигналов

12

Si = ∑wij x j j=0

и вырабатывает выходной сигнал y i =1, если S i ≥0; y i =0, если S i <0. Шаг4. Для каждого нейрона вычисляется его ошибка

εi =di − yi ,

где d i – вектор правильных (желаемых) ответов персептрона, например, для

буквы «А» d 1 =1, d 2 =0 ,…, d 33 =0 и т.д.

Шаг 5. Производится корректировка весовых коэффициентов и ней- ронных смещений:

wij (t +1) = wij (t) +∆wij ; | ∆wij =ηεi xj ;
w i 0 (t +1) = w i 0 (t) +∆w i 0 ; | ∆w i 0 =ηεi ,
где t – номер итерации (эпохи). |

Шаг6. Повторение шагов 2 – 5 необходимое количество раз.

Заметим, что в этом алгоритме формулы для корректировки нейронных смещений w i 0 можно не писать, т.к. они будут выполняться автоматически, если цикл по индексу j начинать неот единицы, а от нуля.

Как уже отмечалось ранее, первый действующий персептрон был соз- дан в 1958-1961 гг. Он был предназначен для распознавания букв латинского алфавита. Буквы, отпечатанные на карточках, поочередно накладывали на табло фотоэлементов и осуществляли процесс обучения персептрона соглас- но приведенному здесь алгоритму. После выполнения достаточно большого количества итераций персептрон научился безошибочно распознавать все буквы, участвовавшие в обучении. Таким образом, была подтверждена гипо- теза о том, что компьютер, построенный по образу и подобию человеческого

мозга, будет способен решать интеллектуальные задач и, в частности – ре- шать задачураспознавания образов.

Но это было не все. Помимо того, что персептрон научился распозна- вать знакомые образы, т.е. те образы, которые демонстрировались ему в про- цессе обучения, он успешно справлялся с распознаванием образов, которые «видел» впервые. Выяснилось, что персептрон оказался способным распо- знавать буквы, отпечатанные с небольшими искажениями и даже другим шрифтом, если шрифт не слишком сильно отличался от используемого при обучении персептрона.

Свойство мозга узнавать образы, которые ему встретились впервые, называется свойством обобщения. Это свойство было унаследовано персеп- троном непосредственно от его прототипа – мозга. Оно было унаследовано благодаря тому, что персептрон является адекватной моделью мозга, удачно отражающей как его структурные, так и функциональные качества. Именно свойство обобщения впоследствии позволило применить персептрон для ре- шения широчайшего круга практических задач, недоступных для традицион- ных методов. Именно благодаря этому свойству нейронные сети стали эф- фективнейшим инструментом научных исследований и практических прило- жений. Именно благодаря этому свойству нейросетевые и нейрокомпьютер- ные технологии заняли то лидирующее положение, которое они занимают в настоящее время.

.