Многие фундаментальные технологии, разработанные в 1960-х, были в значительной степени заброшены к концу 1990-х, оставив пробелы в этой области. Фундаментальные технологии, которые определяют сегодня ИИ, такие как нейронные сети, структуры данных и т. д. Многие современные технологии искусственного интеллекта основаны на этих идеях и обладают гораздо большими возможностями, чем их предшественники. Из-за медленных темпов изменений в технологической индустрии, хотя текущие достижения привели к некоторым интересным и впечатляющим результатам, их мало чем отличить друг от друга.
Ранние исследования искусственного интеллекта были сосредоточены на изучении обучающихся машин, которые использовали базу знаний для изменения своего поведения. В 1970 году Марвин Мински опубликовал концептуальный документ о машинах LISP. В 1973 году Тьюринг предложил похожий язык, названный ML, который, в отличие от LISP, распознал подмножество конечных и формальных множеств для включения.
В последующие десятилетия исследователи смогли усовершенствовать концепции обработки естественного языка и представления знаний. Этот прогресс привел к развитию повсеместных технологий обработки естественного языка и машинного перевода, используемых сегодня.
В 1978 году Эндрю Нг и Эндрю Хси написали влиятельную обзорную статью в журнале «Nature», содержащую более 2000 статей по ИИ и роботизированным системам. В документе были рассмотрены многие аспекты этой области, такие как моделирование, обучение с подкреплением, деревья решений и социальные сети.
После этого привлекать исследователей к обработке естественного языка становилось все труднее, а новые достижения в области робототехники и цифрового зондирования превзошли современное состояние обработки естественного языка.
В начале 2000-х большое внимание уделялось внедрению машинного обучения. Алгоритмы обучения – это математические системы, которые обучаются в процессе наблюдений.
В 1960-х Бендиксон и Руэль начали применять концепции обучающих машин в образовании и за его пределами. Их нововведения вдохновили исследователей на дальнейшее изучение этой области, и в 1990-х годах в этой области было опубликовано множество исследовательских работ.
В статье Сумита Чинтала 2002 года «Обучение с помощью поддельных данных» обсуждается система обратной связи, в которой искусственный интеллект обучается, экспериментируя с данными, которые он получает в качестве входных данных.
В 2006 году Юдофски, Штайн и Такер опубликовали статью о глубоком обучении, в которой предложили архитектуру масштабируемых глубоких нейронных сетей.
В 2007 году Рохит описал «гиперпараметры». Термин «гиперпараметр» используется для описания математической формулы, которая используется в процессе компьютерного обучения. Хотя можно разработать системы с десятками, сотнями или тысячами гиперпараметров, количество параметров необходимо тщательно контролировать, поскольку перегрузка системы слишком большим количеством гиперпараметров может привести к снижению производительности.
Соучредители Google Ларри Пейдж и Сергей Брин опубликовали статью о будущем робототехники в 2006 году. В этот документ включен раздел о разработке интеллектуальных систем с использованием глубоких нейронных сетей. Пейдж также отметил, что эта область не была бы практичной без широкого спектра базовых технологий.
