Теоретический материал к лабораторной работе №1 МАТЕМАТИЧЕСКИЙ НЕЙРОН

Математический нейрон был предложен американскими учеными Уор-

реном Мак-Каллоком и Вальтером Питтсем в 1943г.

Математический нейрон – это математическая модель биологического нейрона мозга. Его изображают в виде кружочка со стрелками, обозначаю- щими входы и выход. На рис.1 математический нейрон имеет J входов и один выход.

3

2

1

Рис. 1. Математический нейрон Мак-Каллока – Питтса

Через входы математический нейрон принимает входные сигналы x j ,

которые суммирует, умножая каждый входной сигнал на некоторый весовой коэффициент w j :

S =∑J | wj xj . |  | (1)
| j =1 |  |  |
Затем математический нейрон формирует свой выходной сигнал со-
гласно правилу: |  |  |  |
1, | если S ≥ θ | , | (2)
y = | если S < θ
0, |  |

в котором величину θ называют порогом чувствительности нейрона.

Таким образом, математический нейрон может существовать в двух со- стояниях. Если взвешенная сумма входных сигналов S меньше порога θ, то его выходной сигнал y равен нулю. В этом случае говорят, что нейрон не возбужден. Если же входные сигналы достаточно интенсивны и их взвешен- ная сумма достигает порога чувствительности θ, то нейрон переходит в воз- бужденное состояние, и на его выходе, согласно формуле (2), образуется сиг- нал y =1.

Весовые коэффициенты w j имитируют электропроводность нервных

волокон – силу синаптических связей между нейронами. Чем эти силы выше, тем больше вероятность перехода нейрона в возбужденное состояние. С дру- гой стороны, вероятность перехода нейрона в возбужденное состояния по- вышается при уменьшении порога чувствительности θ.

Логическая функция (2) называется активационной функцией нейрона. Ее графическое изображение имеет вид, представленный на рис.2. За этот вид ееиногда называют «функцией-ступенькой».

1

0 θ

Рис. 2. Активационная функция нейрона: «ступенька»

С помощью математического нейрона можно моделировать различные логические функции, например, функцию логического умножения «И» («AND»), функцию логического сложения «ИЛИ» («OR») и функцию логи- ческого отрицания «НЕТ» («NOT»). Таблицы истинности этих логических функций приведены на рис.3.

|  |  |  |  |  | x1 | x2 |  | y |  |  |
| x | x | 2 | y | x | y
| 1 |  |  |  |  |  |  |  |  |  |
|  |  |  |  |  | 0 | 0 |  | 0 |  |  |
| 0 | 0 | 0 | 0 | 1
|  |  |  |  |  | 0 | 1 |  | 1 |  |  |
| 0 | 1 | 0 |  |  | 1 | 0
|  |  |  |  |  | 1 | 0 |  | 1 |  |  |
| 1 | 0 | 0 |  |  |  |  |
|  |  |  |  |  | 1 | 1 |  | 1 |  |  |
| 1 | 1 | 1 |  | «НЕТ»
|  |  | «ИЛИ» |
|  | «И» |  |  |  |  |  |  |

Рис. 3. Таблицы истинности логических функций

С помощью этих таблиц и ф ормул (1)-(2) нетрудно убедиться, что ма- тематический нейрон, имеющий два входа с единичными силами синаптиче- ских связей w 1 = w 2 =1, моделирует функцию логического умножения «И»

при θ=2 , Этот же нейрон моделирует функцию логического сложения «ИЛИ» при задании θ=1. Математический нейрон с одним входом модели- рует функцию «НЕТ» при задании w =−1 и θ=0.

1 | 2 | 1 | 2 |
1 =1 | 2=1 | 1 =1 | 2=1 | =−1

θ =2 | θ =1 | θ =0
"И" | "ИЛИ" | "НЕТ"

Рис.4. Математические нейроны, моделирующие логические функции

Однако существуют логические функции, которые невозможно моде- лировать с помощью математического нейрона Мак-Каллока – Питтса. Такой логической функцией является «Исключающее ИЛИ», таблица истинности которой приведена на рис. 5.

x1 | x2 | y
0 | 0 | 0
0 | 1 | 1
1 | 0 | 1
1 | 1 | 0

Рис.5. Таблица истинности функции «Исключающее ИЛИ»

Задачи, которые подобно проблеме «Исключающего ИЛИ» с помощью однослойного персептрона решены быть не могут, называют линейно нераз- делимыми задачами. В свое время ученые потратили немало сил и средств, пытаясь решить такие задачи, ошибочно полагая, что причина их неудач со- стоит в недостаточной мощности существующих компьютеров и в недоста- точномколичествесовершенных попыток.

По-видимому, нечто подобное может случиться и с Вами при выполне- нии лабораторной работы №1. Подобрав значения синаптических весов w 1 , w 2 и порога θ, Вы успешно справляетесь с моделированием логических

функций «И» и «ИЛИ», тогда как попытки моделирования функции «Исклю- чающее ИЛИ» к успеху не приводят. Объяснению этого явления и преодоле- нию проблемы «Исключающего ИЛИ» будет посвящена лабораторная работа №5.

В заключение отметим, что в современной литературе иногда вместо понятия порога чувствительности нейрона θ используют термин нейронное

смещения b, которое отличается от порога θ только знаком: | b =−θ. Если
величину b добавить к сумме (1): |  |  |
S =∑J | wj x j +b , | (3)
| j=1 |  |
то пороговая активационнаяфункция нейрона примет вид: |
1, | если S ≥0; | (4)
y = | если S <0,
0, |

Графическое представление этой активационной функции приведено на рис. 6,а.

1 | 1

0 | 0

-1

Рис. 6. Пороговые активационные функции нейрона, заданные формулами:

а – (4); б – (5)

Еще более симметричный вид, представленный на рис. 6, б, активаци- оннаяфункция нейронаприобретает при использовании формулы:

1, | если S ≥0; | (5)
y = | −1, | если S <0,

В формуле (3) нейронное смещение b можно рассматривать как вес w 0 некоторого дополнительного входного сигнала x 0 , величина которого всегда равна единице:

S =∑J | wj x j + w0 x0 =∑J | wj x j | (6)
j=1 | j=0 |  |

Нейрон с дополнительным входом x 0 изображен на рис. 7.

2

1

2

0=1 1

0

Рис. 7. Нейронное смещение b интерпретируется как вес дополнительного входа w 0 , сигнал которого x 0 всегда равен 1