Теоретический материал к лабораторной работе №2 КЛАССИФИКАЦИЯ ЧИСЕЛ
Как мы уже знаем из пройденного материала, американские ученые
Идея
нейронная сеть или сокращенно – нейросеть. Она была названа персептро-
ном от английского слова perception – осознание.
Затем, спустя два года, Ф.Розенблатт смонтировал электронное устрой- ство, в котором функции математических нейронов выполняли отдельные электросхемы, работающие на электронных лампах. Это был первый нейро- компьютер, который успешно решал сложнейшую интеллектуальную задачу
– распознавал буквы латинского алфавита, изображенные на карточках, под- носимых к его считывающему устройству – электронному глазу.
Разберем принцип действия персептрона на примере несколько более простой задачи, чем задача распознавания букв. На рисунке приведен один из простейших вариантов исполнения персептрона, предназначенного для клас- сификации чисел на четные и нечетные. Представим себе матрицу из 12 фо- тоэлементов, расположенных в виде четырех горизонтальных рядов по три фотоэлемента в каждом ряду. На матрицу фотоэлементов накладывается кар- точка с изображением цифры, например «4», как изображено на рисунке. Ес- ли на
мент вырабатывает сигнал в виде единицы, в противном случае – ноль. На рисунке первый фотоэлемент выдает сигнал x1 =0 , второй фотоэлемент –
x2 =1 и т.д.
Согласно формулам
S = ∑J |
wj x j . |
|
(1) |
|
|
j =1 |
|
|
|
1, |
если S ≥θ |
, |
(2) |
|
y = |
если S <θ |
|||
0, |
|
|
математический нейрон выполняет суммирование входных сигналов x j , по- множенных на синаптические веса wj , после чего результат суммирования S
сравнивается с порогом чувствительности θ и вырабатывается выходной сигнал y .
Первоначальные значения синаптических весов wj и порога чувстви-
тельности θ Ф.Розенблатт задавал датчиком случайных числе, поэтому на выходе персептрона случайным образом вырабатывался сигнал: либо 0, либо
1.
Задача состояла в следующем. Требовалось подобрать значения синап- тических весов wj такими, чтобы выходной сигнал y принимал значение
единица, если на карточке было изображено четное число, и ноль, если число было нечетным.
1=0
1
2=1
2
=1
11=1 |
11 |
|
|
12=0 |
12 |
Персептрон, классифицирующий числа на четные и нечетные
Эта задачу Ф.Розенблатт решил путем поочередного накладывания на фотоэлементы карточек и обучения персептрона, заключающегося в коррек-
тировке синаптических весов wj . Если, например, на вход персептрона предъявлялась карточка с цифрой «4» и выходной сигнал y случайно оказы-
вался равным единице, означающей четность, то корректировать синаптиче- ские веса было не нужно, так как реакция персептрона правильна. А если вы- ходной сигнал оказался равным нулю, что неправильно, то следовало увели- чить (поощрить) веса тех активных входов, которые способствовали возбуж- дению нейрона. В данном случае увеличению подлежали w2 , w11 и др.
Следуя этой идее, можно сформулировать итерационный алгоритм корректировки синаптических весов, обеспечивающий обучение персептрона в нужном направлении.
Шаг 1. Датчиком случайных чисел всем синаптическим весам wj ( j =1,...,12 ) и порогу чувствительности нейрона θ присвоить некоторые
малые случайные значения.
Шаг 2. Предъявить персептрону
Шаг 3. Нейрон выполняет взвешенное суммирование входных сигна-
лов
12
S = ∑wj xj
j=1
и вырабатывает выходной сигнал y =1, если S ≥θ, или y =0, если S < θ. Шаг 4,а. Если выходной сигнал правильный, то перейти на шаг 2. Шаг 4,б. Если выходной сигнал неправильный и равен нулю, то увели-
чить веса активных входов, добавить каждому j
wj (t +1) = wj (t) + x j .
Тогда, если вход был неактивен, т.е. |
xj = 0, то j |
не изменится. Если же вход был активен, |
т.е. xj =1, то j |
вес будет увеличен на 1.
Здесь и далее буква t означает номер итерации, которые в искусствен- ном интеллекте называют эпохами; wj (t +1) – новое значение (на новой эпо-
хе) j
Шаг 4,в. Если выходной сигнал неправильный и равен единице, то уменьшить веса активных входов, например с помощью аналогичной форму- лы:
wj (t +1) = wj (t) − x j .
Шаг 5. Перейти на шаг 2 или завершить процесс обучения.
В приведенном здесь алгоритме шаг 4,б называют первым правилом Хебба, а шаг 4,в – вторым правилом Хебба в честь канадского ученого фи-
зиолога Д.О.Хебба, предложившего этот алгоритм в 1949г. Отметим, что правила Хебба удивительным образом напоминают процесс обучения ребен- ка или школьника методом «поощрения – наказания» (или дрессировки жи- вотного методом «кнута и пряника»). Как и в случаях с ребенком, обучаемом этим методом, алгоритм обучения персептрона за конечное число попыток (их называют итерациями или эпохами) может привести к цели – персептрон в конце концов усвоит необходимые знания, закодирует их в виде конкрет- ных значений матрицы сил синаптических связей wj и, таким образом, нау-
чится различать четные и нечетные числа.
Естественно возникает вопрос, всегда ли алгоритм обучения персеп- трона приводит к желаемому результату. Ответ на этот вопрос дает теорема сходимости персептрона:
Если существует множество значений весов, которые обеспечивают конкретное различение образов, то в конечном итоге алгоритм обучения персептрона приводит либо к этому множеству, либо к эквивалентному ему множеству, такому, что данное различение образов будет достигнуто.
В настоящее время считается, что по числу выполненных доказа- тельств теорема сходимости персептрона занимает первое место в мире. Ра- нее самой доказанной в мире теоремой считалась теорема Пифагора.