Тема 5. Технології нейронних мереж та генетичні алгоритми

1. Основи нейронних мереж

Інтелект характеризує здатність об’єкту в процесі мислення до генерації та вибору способу дій, які адекватно відтворюють вирішувану задачу. Інтелект розвивається в процесі біологічної еволюції з метою адаптації до зовнішнього середовища і є властивістю біологічних форм життя. Штучний інтелект базується на біологічних основах природного інтелекту і в тій чи іншій мірі здійснює моделювання мислення живих істот.

Основним об’єктом мислення є людський мозок, який є найбільш складною системою і містить приблизно 10¹² особливих клітин, які називаються нейронами. Нейрони з’єднані різноманітними зв’язками між собою визначають інтелект, творчі можливості та пам’ять людини. Нейрон отримує інформацію за допомогою спеціальних ходів, які називаються дендритами, які передають інформацію вздовж тонкого волокна, яке називається аксоном. Аксон може мати багато гілок. В кінці кожного аксону є спеціальна область, яка називається синапсом, за допомогою якої здійснюються зв’язки між різними нейронами.

Інформація по аксонах передається за допомогою коротких імпульсів, амплітуда яких біля 10мВ, довжина біля 1 мікросекунди.

В синапсах ці електричні імпульси перетворюються в сильніші сигнали, які стимулюють проходження до ядра нейрону позитивного заряду. При накопиченні цього заряду до деякого значення виникає електричний імпульс, який по аксону передається на наступного нейрону.

В процесі розумової та психічної діяльності людини в корі головного мозку розповсюджуються нейронні імпульси, які активізують відповідні частини нейронів. Сукупність нейронів та зв’язків між ними складають нейронну мережу, від функціонування якої залежать емоції, свідомість та пам’ять людини.

В процесі розвитку мозку здійснюється постійна динамічна перебудова НМ. Ця перебудова іншими словами називається процесом навчання. При цьому збільшується кількість зв’язків між нейронами, покращуються їх параметри та взаємодія між собою. Здатність НМ змінюватись в результаті зовнішніх впливів називається пластичністю. Важливою характеристикою процесу навчання є здатність до узагальнення, яка характеризує здатність об’єкта об’єднувати часткові дані для отримання закономірностей.

Адаптація характеризує процес пристосування організму чи об’єкта до зовнішнього середовища. Самоорганізація – це процес динамічної перебудови організму чи об’єкта з метою адаптації до зовнішнього середовища. Самоорганізована система – це система, яка здатна в процесі взаємодії з зовнішнім середовищем перебудовувати свої зв’язки і створювати нову структуру з метою ефективного розвитку.

Нейронна  мережа — це паралельна зв’язна мережа простих адаптивних елементів, яка взаємодіє з об’єктами реального світу аналогічно біологічній нервовій системі . З інженерної точки зору така мережа є динамічною системою, яка сильно розпаралелює, з топологією направленого графа, яка може виконувати переробку інформації за допомогою зміни свого стану у відповідь на постійний або імпульсний вхідний сигнал.

2. Штучні нейронні мережі

Інтерес до нейронних мереж виник на початку розвитку обчислювальної техніки. В основі нейро-інтелекту лежить нейронна організація штучних систем, яка має біологічні основи. Здатність біологічних систем до навчання, адаптації та самоорганізації має великі переваги в порівнянні з сучасними обчислювальними засобами. Проте великою перевагою НС є велика швидкість обробки інформації та можливість обробки великого об’єму накопичених раніше даних. Тому розробка ШІС, які поєднують в собі переваги біологічних систем та комп’ютерних систем, є актуальної задачею і дає потенційні можливості для створення обчислювальних систем нового покоління.

Основні етапи розвитку НМ:

1)          1945р. – В. Мак – Калох і В. Пітс показали здатність порогових нейронних елементів обчислювати значення логічних функцій;

2)          1949р. – Д. Хебб винайшов правило навчання, яке стало математичної основою процесу навчання для декількох НМ;

3)          1957 – 1962рр. – Ф. Розенблат винайшов структуру найпростішої НМ, яку назвав персептрон. Водночас аналогічне дослідження проводив вчений України Г. І. Івахненко.

4)          1959р. – Відроу і Хофф придумали процедуру навчання лінійного асоціативного нейронного елементу, яка називалася дельта – правило;

5)          1960р. – Мінський і Пайперт здійснювали математичні дослідження та аналіз структури персептронів та показали їх обмеження. Їх висновки були досить песимістичні, що зіграли свою негативну роль в розвитку теорій НМ;

6)          1977р. – Андерсон опублікував ряд робіт в області асоціативної пам’яті на основі нейронних елементів. Його праці продовжили Т.Кохонен і С. Гросберг, які розробили моделі лінійної асоціативної пам’яті та теорію адаптивного резонансу для побудови асоціативної пам’яті.

7)          Початок 80-х (1982р.) – Хопфілд дослідив структуру НМ для рішення задач оптимізації. Т. Кохонен розробив самоорганізуючі НМ. Ряд інших вчених винайшли алгоритм зворотного розповсюдження помилки, який став сильним засобом багаторівневих НМ.

8)          1987р. – організація першої конференції по НМ ІЕЕЕ.

В даний час дослідження в області штучних НМ орієнтуються на створенні спеціалізованих систем для вирішення конкретних задач: прогнозування, діагностика в медицині і т.д.

Основним елементом штучних нейронних мереж є нейрон, який представлений на рис. 1. Принцип дії такого нейрону полягає в наступному: вхідні сигнали (xn), що мають відповідні вагові коефіцієнти (wn), складаються та проходять через передаточну функцію, генерують результат і на кінцевому етапі отримується вихідний результат.

Рис. 1. Базова схема спрощеного штучного нейрона

Всі нейрони взаємопов’язані між собою і складають певні прошарки, які й утворюють штучну нейронну мережу (рис. 2).

Рис. 2. Діаграма простої нейроної мережі

Найпоширеніші застосування нейронних мереж

1. Розпізнавання образів та класифікація. В якості образів можуть виступати різні за своєю природою об’єкти: символи тексту, зображення, зразки звуків і т. д. При навчанні мережі пропонуються різні зразки образів із зазначенням того, до якого класу вони відносяться. Коли мережі пред’являється якийсь образ, на одному з її виходів повинна з’явитися ознака того, що образ належить цьому класу. У той же час на інших виходах повинна бути ознака того, що образ  до даного класу не належить.
2. Прийняття рішень та управління. Це завдання близьке до задачі класифікації. Класифікації підлягають ситуації, характеристики яких надходять на вхід нейронної мережі. На виході мережі повинна з’явитися ознака рішення, яке вона прийняла.
3. Кластеризація. Під кластеризацією розуміється розбиття множини вхідних сигналів на класи, при тому, що ні кількість, ні ознаки класів заздалегідь не відомі. Після навчання така мережа здатна визначати, до якого класу належить вхідний сигнал.
4. Прогнозування. Здібності нейронної мережі до прогнозування безпосередньо випливають з її здатності до узагальнення та виділення прихованих залежностей між вхідними та вихідними даними. Після навчання мережа здатна передбачити майбутнє значення якоїсь послідовності на основі декількох попередніх значень або якихось існуючих зараз чинників.
5. Стиснення даних і асоціативна пам’ять. Здатність нейромереж до виявлення взаємозв’язків між різними параметрами дає можливість висловити дані великої розмірності більш компактно, якщо дані тісно взаємопов’язані між собою. Зворотній процес – відновлення вихідного набору даних з частини інформації – називається асоціативною пам’яттю.

3. Класифікація за допомогою штучних нейронних мереж

Класифікація штучних НМ:

1)          По типу вхідної інформації:

• аналогові (використання інформації в формі дійсних числ);
• двійкові (інформація представлена в двійковому коді).

2)          По характеру навчання:

• з “вчителем” (в процесі навчання відомо набір вихідних значень);
• без “вчителя” (формує вихідні значення тільки на основі вхідних впливів), їх називають самоорганізовуючими.

3)          По характеру налаштування синапсів:

• з фіксованими зв’язками (вагові коефіцієнти вибираються на початковому етапі виходячи з даної задачі);
• з динамічними зв’язками (в процесі навчання відбувається настройка вагових коефіцієнтів).

4)          За методом навчання:

• навчання по алгоритму зворотного розповсюдження помилки;
• з конкурентним навчанням;
• з навчанням по правилу Хебба;
• з гібридним навчанням.

5)          По характеру зв’язків:

• з прямими зв’язками (розповсюджується інформація тільки в одному напрямку від рівня до рівня: це різноманітні персептронні мережі);
• із зворотнім поширенням інформації
• релаксаційні – циркуляція інформації відбувається доти, поки не перестають змінюватись вихідні значення НМ – це НМ Хопфілда, Хемінга;
• багаторівневі мережі – в них відсутній процес релаксації. Це: рекурентні – в них існує зворотній зв’язок між входом і виходом, вихідне значення визначається як залежність вхідних і вихідних значень на попередньому кроці; рециркуляційні – характеризуються як прямим, так і зворотнім перетворенням інформації. Навчання відбувається без “вчителя”, тобто вони самоорганізовуються в процесі роботи.

4. Використання штучних нейронних мереж на підприємстві

Штучні нейронні мережі вирішують широке коло завдань відповідно до виконуваних ними функцій. Основні з таких функцій узагальнено в табл. 1.

Таблиця 1

Основні функції штучних нейронних мереж

Отже,  штучні нейронні мережі виконують досить багато функцій, які можуть бути застосовані керівництвом для вирішення конкретних завдань, що стоять перед підприємством.

Основні практичні завдання, які вирішують штучні нейронні мережі в межах діяльності підприємств наведені в табл. 2.

Таблиця 2

Використання штучних нейронних мереж на підприємстві

Загалом же, використання нейронних мереж надає певні переваги для підприємств, що їх використовують, зокрема:

- можливість використання для задач з неповною інформацією, коли традиційні математичні моделі не дають бажаного результату;

- підвищення точності рішення та зниження його суб’єктивності;

- більш детальне вивчення процесів та ситуацій;

- можливість використовувати різноманітні методи аналізу та велике число алгоритмів;

- здатність вирішувати ті завдання, які раніше не вирішувались;

- прискорення процесу прийняття рішень та ін.

Отже, штучні нейронні мережі дозволяють досягнути нової якості роботи, отримати економічний ефект від їх впровадження або по-новому організувати процес прийняття рішення.

5. Нейронні мережі в R