Теоретический материал к лабораторной работе №2 КЛАССИФИКАЦИЯ ЧИСЕЛ

Как мы уже знаем из пройденного материала, американские ученые У.Мак-Каллок и В.Питтс предложили математическую модель нейрона мозга человека, назвав ее математическим нейроном. Так же как и биологический нейрон мозга, математический нейрон имеет несколько входов и один выход. Кроме того, он может существовать в возбужденном и невозбужденном со- стояниях, причем переход в возбужденное состояние зависит от величины поступающих к нему сигналов и сил синаптических связей. Таким образом, математический нейрон весьма правдоподобно имитирует структуру и свой- ства своего прототипа – биологического нейрона мозга. На этом основании У.Мак-Каллок и В.Питтс высказали весьма смелое предположение, которое впоследствии легло в основу современной нейроинформатики. Они предпо- ложили, что если математические нейроны связать между собой проводни- ками электрического тока, имитирующими нервные волокна, то такой искус- ственный мозг будет способен решать интеллектуальные задачи, подобно тому, как это делает естественный человеческий мозг.

Идея Мак-Каллока – Питтса была воплощена в жизнь в 1958 г. амер и- канским ученым Фрэнком Розенблаттом, также считающимся основателем нейроинформатики. Сначала он создал компьютерную программу для IBM- 794, эмулирующую деятельность математических нейронов. Это была первая

нейронная сеть или сокращенно – нейросеть. Она была названа персептро-

ном от английского слова perception – осознание.

Затем, спустя два года, Ф.Розенблатт смонтировал электронное устрой- ство, в котором функции математических нейронов выполняли отдельные электросхемы, работающие на электронных лампах. Это был первый нейро- компьютер, который успешно решал сложнейшую интеллектуальную задачу

– распознавал буквы латинского алфавита, изображенные на карточках, под- носимых к его считывающему устройству – электронному глазу.

Разберем принцип действия персептрона на примере несколько более простой задачи, чем задача распознавания букв. На рисунке приведен один из простейших вариантов исполнения персептрона, предназначенного для клас- сификации чисел на четные и нечетные. Представим себе матрицу из 12 фо- тоэлементов, расположенных в виде четырех горизонтальных рядов по три фотоэлемента в каждом ряду. На матрицу фотоэлементов накладывается кар- точка с изображением цифры, например «4», как изображено на рисунке. Ес- ли на какой-либо фотоэлемент попадает фрагмент цифры, то этот фотоэле-

мент вырабатывает сигнал в виде единицы, в противном случае – ноль. На рисунке первый фотоэлемент выдает сигнал x 1 =0 , второй фотоэлемент –

x 2 =1 и т.д.

Согласно формулам

S = ∑J | wj x j . |  | (1)
| j =1 |  |  |
1, | если S ≥θ | , | (2)
y = | если S <θ
0, |  |

математический нейрон выполняет суммирование входных сигналов x j , по- множенных на синаптические веса w j , после чего результат суммирования S

сравнивается с порогом чувствительности θ и вырабатывается выходной сигнал y .

Первоначальные значения синаптических весов w j и порога чувстви-

тельности θ Ф.Розенблатт задавал датчиком случайных числе, поэтому на выходе персептрона случайным образом вырабатывался сигнал: либо 0, либо

1.

Задача состояла в следующем. Требовалось подобрать значения синап- тических весов w j такими, чтобы выходной сигнал y принимал значение

единица, если на карточке было изображено четное число, и ноль, если число было нечетным.

1=0

1

2=1

2

=1

11=1 | 11
12=0 | 12

Персептрон, классифицирующий числа на четные и нечетные

Эта задачу Ф.Розенблатт решил путем поочередного накладывания на фотоэлементы карточек и обучения персептрона, заключающегося в коррек-

тировке синаптических весов w j . Если, например, на вход персептрона предъявлялась карточка с цифрой «4» и выходной сигнал y случайно оказы-

вался равным единице, означающей четность, то корректировать синаптиче- ские веса было не нужно, так как реакция персептрона правильна. А если вы- ходной сигнал оказался равным нулю, что неправильно, то следовало увели- чить (поощрить) веса тех активных входов, которые способствовали возбуж- дению нейрона. В данном случае увеличению подлежали w 2 , w 11 и др.

Следуя этой идее, можно сформулировать итерационный алгоритм корректировки синаптических весов, обеспечивающий обучение персептрона в нужном направлении.

Шаг 1. Датчиком случайных чисел всем синаптическим весам w j ( j =1,...,12 ) и порогу чувствительности нейрона θ присвоить некоторые

малые случайные значения.

Шаг 2. Предъявить персептрону какую-либо цифру. Системой фото- элементов вырабатывается входной вектор x j ( j =1,...,12 ).

Шаг 3. Нейрон выполняет взвешенное суммирование входных сигна-

лов

12

S = ∑wj xj

j=1

и вырабатывает выходной сигнал y =1, если S ≥θ, или y =0, если S < θ. Шаг 4,а. Если выходной сигнал правильный, то перейти на шаг 2. Шаг 4,б. Если выходной сигнал неправильный и равен нулю, то увели-

чить веса активных входов, добавить каждому j -му синаптическому весу ве- личину j -го входного сигнала:

w j (t +1) = w j (t) + x j .

Тогда, если вход был неактивен, т.е. | x j = 0, то j -й синаптический вес
не изменится. Если же вход был активен, | т.е. x j =1, то j -й синаптический

вес будет увеличен на 1.

Здесь и далее буква t означает номер итерации, которые в искусствен- ном интеллекте называют эпохами; w j (t +1) – новое значение (на новой эпо-

хе) j -го синаптического веса; w j (t) – его старое значение (на предыдущей эпохе).

Шаг 4,в. Если выходной сигнал неправильный и равен единице, то уменьшить веса активных входов, например с помощью аналогичной форму- лы:

w j (t +1) = w j (t) − x j .

Шаг 5. Перейти на шаг 2 или завершить процесс обучения.

В приведенном здесь алгоритме шаг 4,б называют первым правилом Хебба, а шаг 4,в – вторым правилом Хебба в честь канадского ученого фи-

зиолога Д.О.Хебба, предложившего этот алгоритм в 1949г. Отметим, что правила Хебба удивительным образом напоминают процесс обучения ребен- ка или школьника методом «поощрения – наказания» (или дрессировки жи- вотного методом «кнута и пряника»). Как и в случаях с ребенком, обучаемом этим методом, алгоритм обучения персептрона за конечное число попыток (их называют итерациями или эпохами) может привести к цели – персептрон в конце концов усвоит необходимые знания, закодирует их в виде конкрет- ных значений матрицы сил синаптических связей w j и, таким образом, нау-

чится различать четные и нечетные числа.

Естественно возникает вопрос, всегда ли алгоритм обучения персеп- трона приводит к желаемому результату. Ответ на этот вопрос дает теорема сходимости персептрона:

Если существует множество значений весов, которые обеспечивают конкретное различение образов, то в конечном итоге алгоритм обучения персептрона приводит либо к этому множеству, либо к эквивалентному ему множеству, такому, что данное различение образов будет достигнуто.

В настоящее время считается, что по числу выполненных доказа- тельств теорема сходимости персептрона занимает первое место в мире. Ра- нее самой доказанной в мире теоремой считалась теорема Пифагора.