Читать онлайн Александр Кириченко - Основы теории искусственных нейронных сетей

© Александр Аполлонович Кириченко, 2020

ISBN 978-5-4498-2598-8

Создано в интеллектуальной издательской системе Ridero

Искусственные нейронные сети – один из разделов науки Искусственный интеллект. К этой науке приковано пристальное внимание с 1980 года, когда Япония объявила о создании вычислительных систем 5 поколения. Предполагалось, что создаваемые вычислительные системы кроме обычных компьютеров будут содержать машины логического вывода (решатель, планировщик или логический блок), базу знаний, систему общения.

В основе всех существующих компьютеров с 1940-х гг. лежала архитектура с разделенным процессингом и памятью. Ее принципиальным ограничением являлась неспособность к самостоятельному ассоциированию и синтезу нового знания.

Сегодня на рынке представлены сотни нейральных симуляторов самого разного уровня исполнения и возможностей. В сети представлено множество их компаративных обзоров. Большинство из них поддерживает лишь ограниченное число возможных для построения стандартных архитектур классических нейросетей и методов при очень небольшом числе нейронов, которые можно включить в сеть.

В начале 2000 годов начался переход к новой архитектурной парадигме – ассоциативным искусственным когнитивным системам, способным к самообучению и синтезу нового знания путем ассоциативной рекомбинации полученной информации.

Под «искусственными когнитивными системами» понимаются технические системы, способные к

· познанию, распознаванию образов и самостоятельному усвоению новых знаний из различных источников,

· продолжительному обучению, пониманию контекстуального значения и субъективной оценке получаемой информации,

· синтезу нового знания,

· мышлению и поведению для успешного решения существующих проблем в условиях реального мира.

Основными зарубежными проектами создания подобных ИКС являются

· европейские проекты BBP/HBP,

· американская инициатива BRAIN,

· проект IBM DeepQA «Watson»,

· проект «Siri» корпорации Apple,

· проект нейросетевого искусственного интеллекта и использующих его роботов компании Google,

· японские проекты JST,

· канадский проект «Spaun» и др.

С 2012 года в России началось активное проведение ИТ-исследований в сфере разработки искусственных когнитивных систем, разработана Стратегическая программа создания Центра прорывных исследований в области информационных технологий «Искусственные когнитивные системы».

Повышение интереса к тематике искусственного интеллекта требует появления достаточного количества публикаций о структуре и возможностях нейросистем, о типах искусственных нейросетей и открываемых ими возможностях автоматизации мыслительных процессов. Для удовлетворения возникающих потребностей необходимы с одной стороны – новые информационные материалы, и с другой стороны – программные средства, которые позволяют без особых затрат проверить новую информацию на практике, создавать свои нейросетевые системы разных типов, модели нейросетевых устройств и даже узлов нейрокомпьютеров на своём ноутбуке. Необходимую информацию даёт эта книга, а доступные программные средства можно получить из Интернет [3]. Большинство примеров в книге выполнено на freeware пакете MemBrain.

Искусственные нейросети являются электронными моделями нейронной структуры мозга.

Продолжительный период эволюции придал мозгу человека много качеств, отсутствующих в современных компьютерах с архитектурой фон Неймана. К ним относятся:

· способность к обучению и обобщению

· ассоциативность и адаптивность

· толерантность к ошибкам

· параллельность работы

Множество проблем, не поддающиеся решению традиционными компьютерами, могут быть эффективно решены с помощью нейросетей.

Достижения в области нейрофизиологии дают начальное понимание механизма естественного мышления, в котором хранение информации происходит в виде сложных образов. Процессы хранения информации в виде образов, использования образов при решении поставленной проблемы определяют новую область в обработке данных, которая, не используя традиционного программирования, обеспечивает создание нейронных сетей и их обучение. В лексиконе разработчиков и пользователей нейросетей присутствуют слова, отличные от традиционной обработки данных, в частности, «вести себя», «реагировать», «самоорганизовывать», «обучать», «обобщать» и «забывать».

Изучение человеческого мозга началось очень давно.

В 1791 году итальянский врач, анатом и физиолог, один из основателей электрофизиологии Луиджи Гальвани (1737—1798) издал «Трактат об электрических силах при мышечном движении», основанный на его выводах о наличии в живых организмах гальванического электричества [1].

О Луиджи Гальвани известно:

Дата рождения‎: ‎9 сентября 1737

Дата смерти‎: ‎4 декабря 1798 (61 год)

Место рождения‎: ‎Италия, Болонья‎, Папская область

Место работы‎: ‎Болонский университет

В 1759 г. он окончил Болонский университет

В 1763 году синьор Гальвани становится профессором.

В 1791 г. – Гальвани заметил сокращение мышц препарированной лягушки при прикосновении нервных окончаний к металлическим стержням (медному и цинковому). С этим было связано начало активного изучения нервной системы живых организмов.

С появлением современной электроники начались попытки аппаратного моделирования нейрофизиологических процессов вплоть до самого сложного – мышления. Самым значительным событием стало появление электронных вычислительных машин.

Первым цифровым вычислительным устройством, а также первой электронной вычислительной машиной стал компьютер ABC (Atanasoff and Berry Computer) [2]. Задуманный в 1939 году, компьютер создавался в целях решения систем линейных уравнений. В 1942 году он был успешно собран и протестирован. Дальнейшая разработка была приостановлена из-за того, что Атанасов покинул Университет штата Айова, будучи призванным на военную службу в связи со вступлением США во Вторую мировую войну.

Для ABC были характерны использование электронных ламп, двоичной системы счисления, наличие триггерной памяти и набираемой на коммутационной доске компьютерной программы.

Работа Джона Винсента Атанасова и Клиффорда Берри над вычислительной машиной долгое время не была широко известна, пока в 1960-х годах она не всплыла в ходе конфликта по поводу того, кто являлся первым изобретателем электронного компьютера. Первоначально считалось, что первым компьютером являлся ENIAC, однако в 1973 году Федеральный районный суд США постановил отозвать патент ENIAC и заключил, что ABC является первым «компьютером», изобретателем которого являлся John Vincent Atanasoff, американский физик, математик и инженер-электрик болгарского происхождения:

В мае 1930 года Атанасов защитил докторскую диссертацию в Висконсинском университете в Мадисоне. Работал ассистент-профессором математики и физики в Государственном колледже штата Айова.

Что касается нейросетевых технологий, то в 1943 г. вышла статья нейрофизиолога Уоррена Маккалоха (Warren McCulloch) и математика Уолтера Питтса (Walter Pitts) про работу искусственных нейронов и представление модели нейронной сети на электрических схемах.

1949 г. – опубликована книга Дональда Хебба (Donald Hebb) «Организация поведения», где исследована проблематика настройки синаптических связей между нейронами.

1950-е гг. – появляются программные модели искусственных нейросетей. Первые работы были проведены Натаниелом Рочестером (Nathanial Rochester) из исследовательской лаборатории IBM.

В 1956 году на конференции в Дартмутском университете было принято решение об образовании нового научного направления – искусственный интеллект (ИИ). Английское название: artificial intelligence содержит слово intelligence, которое означает «умение рассуждать разумно».

Единого ответа на вопрос, чем занимается искусственный интеллект, не существует. Среди исследователей ИИ до сих пор не существует какой-либо доминирующей точки зрения на критерии интеллектуальности, систематизацию решаемых целей и задач, нет даже строгого определения науки «Искусственный Интеллект».

Наиболее горячие споры в философии искусственного интеллекта вызывает вопрос возможности мышления как творения человеческих рук. Вопрос «Может ли машина мыслить?», который подтолкнул исследователей к созданию науки о моделировании человеческого разума, был поставлен Аланом Тьюрингом в 1950 году.

Наиболее устоявшимся является мнение, что интеллект тесно связан с представлением и использованием знаний, машинным творчеством, и затрагивает такие направления, как инженерия знаний, представление знаний, роботы, искусственные нейронные сети, машинное обучение, глубокое обучение, нейронный процессор.

Направление инженерия знаний объединяет задачи получения знаний из простой информации, их систематизации и использования. Это направление исторически связано с созданием экспертных систем – программ, использующих специализированные базы знаний для получения достоверных заключений по какой-либо проблеме.

Производство знаний из данных – одна из базовых проблем интеллектуального анализа данных. Существуют различные подходы к решению этой проблемы, в том числе – на основе нейросетевой технологии, использующие процедуры вербализации нейронных сетей

К области машинного обучения относится большой класс задач на распознавание образов. Например, это распознавание символов, рукописного текста, речи, анализ текстов.

Нейронные сети используются для решения нечётких и сложных проблем, таких как распознавание или кластеризация объектов.

Природа человеческого творчества ещё менее изучена, чем природа интеллекта. Тем не менее, эта область существует, и здесь поставлены проблемы написания компьютером музыки, литературных произведений (часто – стихов или вариаций на темы сказок), художественное творчество. Создание реалистичных образов широко используется в кино и индустрии игр.

Отдельно выделяется изучение проблем технического творчества систем искусственного интеллекта. Теория решения изобретательских задач, предложенная в 1946 году российским изобретателем Г. С. Альтшуллером, положила начало таким исследованиям.

В процессе работы над искусственным интеллектом появились новые виды информации, алгоритмы работы с ними, новые методы получения и обработки данных. Информация может быть представлена в виде данных, знаний, правил и закономерностей, способов получения (добычи), способов хранения и использования. Обращено внимание на смысл, содержащийся в информации, на его поиск, хранение, получение, преобразование. Понимание смысла связано с выполнением умозаключений, с использованием интеллектуальных навыков, включающих в себя такие, как:

– сопоставление сложных объектов и оценку их сходства;

– выделение типового объекта из группы однородных;

– поиск типичных черт, существенных признаков;

– формирование описания типового объекта, выделение его отличительных черт;

– определение понятий (дефиниции);

– выявление причинно-следственных связей;

– интерпретация связей и свойств исследуемых объектов;

– генерация гипотез;

– выявление закономерностей;

– самообучение, адаптация;

– умение делать традуктивные, индуктивные, дедуктивные выводы;

– …

Среди важнейших классов задач, которые ставились перед ИИ с момента его зарождения как научного направления, следует выделить следующие трудно формализуемые задачи: