Теоретический материал к лабораторной работе №1 МАТЕМАТИЧЕСКИЙ НЕЙРОН

Математический нейрон был предложен американскими учеными Уор-

реном Мак-Каллоком и Вальтером Питтсем в 1943г.

Математический нейрон – это математическая модель биологического нейрона мозга. Его изображают в виде кружочка со стрелками, обозначаю- щими входы и выход. На рис.1 математический нейрон имеет J входов и один выход.

3

2

1

Рис. 1. Математический нейрон Мак-Каллока – Питтса

Через входы математический нейрон принимает входные сигналы x j ,

которые суммирует, умножая каждый входной сигнал на некоторый весовой коэффициент wj :

S =J

wj xj .

 

(1)

 

j =1

 

 

 

Затем математический нейрон формирует свой выходной сигнал со-

гласно правилу:

 

 

 

 

1,

если S ≥ θ

,

(2)

y =

если S < θ

0,

 

 

в котором величину θ называют порогом чувствительности нейрона.

Таким образом, математический нейрон может существовать в двух со- стояниях. Если взвешенная сумма входных сигналов S меньше порога θ, то его выходной сигнал y равен нулю. В этом случае говорят, что нейрон не возбужден. Если же входные сигналы достаточно интенсивны и их взвешен- ная сумма достигает порога чувствительности θ, то нейрон переходит в воз- бужденное состояние, и на его выходе, согласно формуле (2), образуется сиг- нал y =1.

Весовые коэффициенты wj имитируют электропроводность нервных

волокон – силу синаптических связей между нейронами. Чем эти силы выше, тем больше вероятность перехода нейрона в возбужденное состояние. С дру- гой стороны, вероятность перехода нейрона в возбужденное состояния по- вышается при уменьшении порога чувствительности θ.

Логическая функция (2) называется активационной функцией нейрона. Ее графическое изображение имеет вид, представленный на рис.2. За этот вид ееиногда называют «функцией-ступенькой».

1

0 θ

Рис. 2. Активационная функция нейрона: «ступенька»

С помощью математического нейрона можно моделировать различные логические функции, например, функцию логического умножения «И» («AND»), функцию логического сложения «ИЛИ» («OR») и функцию логи- ческого отрицания «НЕТ» («NOT»). Таблицы истинности этих логических функций приведены на рис.3.

 

 

 

 

 

x1

x2

 

y

 

 

 

x

x

2

y

x

y

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

0

 

0

 

 

 

0

0

0

0

1

 

 

 

 

 

0

1

 

1

 

 

 

0

1

0

 

 

1

0

 

 

 

 

 

1

0

 

1

 

 

 

1

0

0

 

 

 

 

 

 

 

 

 

 

1

1

 

1

 

 

 

1

1

1

 

«НЕТ»

 

 

«ИЛИ»

 

 

«И»

 

 

 

 

 

 

 

Рис. 3. Таблицы истинности логических функций

С помощью этих таблиц и ф ормул (1)-(2) нетрудно убедиться, что ма- тематический нейрон, имеющий два входа с единичными силами синаптиче- ских связей w1 = w2 =1, моделирует функцию логического умножения «И»

при θ=2 , Этот же нейрон моделирует функцию логического сложения «ИЛИ» при задании θ=1. Математический нейрон с одним входом модели- рует функцию «НЕТ» при задании w =−1 и θ=0.

1

2

1

2

 

1 =1

2=1

1 =1

2=1

=−1

θ =2

θ =1

θ =0

"И"

"ИЛИ"

"НЕТ"

Рис.4. Математические нейроны, моделирующие логические функции

Однако существуют логические функции, которые невозможно моде- лировать с помощью математического нейрона Мак-Каллока – Питтса. Такой логической функцией является «Исключающее ИЛИ», таблица истинности которой приведена на рис. 5.

x1

x2

y

0

0

0

0

1

1

1

0

1

1

1

0

Рис.5. Таблица истинности функции «Исключающее ИЛИ»

Задачи, которые подобно проблеме «Исключающего ИЛИ» с помощью однослойного персептрона решены быть не могут, называют линейно нераз- делимыми задачами. В свое время ученые потратили немало сил и средств, пытаясь решить такие задачи, ошибочно полагая, что причина их неудач со- стоит в недостаточной мощности существующих компьютеров и в недоста- точномколичествесовершенных попыток.

По-видимому, нечто подобное может случиться и с Вами при выполне- нии лабораторной работы №1. Подобрав значения синаптических весов w1 , w2 и порога θ, Вы успешно справляетесь с моделированием логических

функций «И» и «ИЛИ», тогда как попытки моделирования функции «Исклю- чающее ИЛИ» к успеху не приводят. Объяснению этого явления и преодоле- нию проблемы «Исключающего ИЛИ» будет посвящена лабораторная работа №5.

В заключение отметим, что в современной литературе иногда вместо понятия порога чувствительности нейрона θ используют термин нейронное

смещения b, которое отличается от порога θ только знаком:

b =−θ. Если

величину b добавить к сумме (1):

 

 

 

S =J

wj x j +b ,

(3)

 

j=1

 

 

то пороговая активационнаяфункция нейрона примет вид:

 

1,

если S ≥0;

(4)

y =

если S <0,

0,

 

Графическое представление этой активационной функции приведено на рис. 6,а.

1

1

0

0

-1

Рис. 6. Пороговые активационные функции нейрона, заданные формулами:

а – (4); б – (5)

Еще более симметричный вид, представленный на рис. 6, б, активаци- оннаяфункция нейронаприобретает при использовании формулы:

1,

если S ≥0;

(5)

y =

−1,

если S <0,

 

 

В формуле (3) нейронное смещение b можно рассматривать как вес w0 некоторого дополнительного входного сигнала x0 , величина которого всегда равна единице:

S =J

wj x j + w0 x0 =J

wj x j

(6)

j=1

j=0

 

 

Нейрон с дополнительным входом x0 изображен на рис. 7.

2

1

2

0=1 1

0

Рис. 7. Нейронное смещение b интерпретируется как вес дополнительного входа w0 , сигнал которого x0 всегда равен 1