Настоящая история ИИ, ч.1: перцептрон и первая зима (1943-1980)

Что было до ChatGPT

Когда в ноябре 2022 года ChatGPT вышел в открытый доступ, у массовой аудитории сложилось ощущение, что искусственный интеллект только что родился. Это не так. К моменту запуска ChatGPT идее искусственного нейрона было 79 лет, термину «искусственный интеллект» - 66 лет, первой работающей обучающейся нейросети - 64 года, а первой коммерческой экспертной системе, экономившей крупному производителю десятки миллионов долларов в год, - больше 40 лет.

В этой серии из пяти частей я разбираю настоящую историю ИИ - от математического нейрона 1943 года до момента, когда к готовой технологии приделали чат-интерфейс и весь мир вдруг «узнал об ИИ». Это первая часть: с зарождения идеи до первой «зимы ИИ» 1970-х.

1943: нейрон на бумаге раньше компьютера

В 1943 году нейрофизиолог Уоррен Мак-Каллок и логик Уолтер Питтс опубликовали статью «A Logical Calculus of the Ideas Immanent in Nervous Activity» (Bulletin of Mathematical Biophysics, 1943). В ней они формализовали биологический нейрон в виде булевой функции: входы со взвешенными связями, пороговое срабатывание, бинарный выход. Чистая математика - ни одного работающего компьютера ещё не существовало (ENIAC заработает только в 1945-м).

Главная мысль статьи: сети из таких упрощённых нейронов теоретически могут вычислять любую логическую функцию. То есть мозг можно описать как логическую машину, а логическую машину - в принципе - можно построить. Эта работа стала фундаментом всего, что позже назовут нейронными сетями.

1956: Дартмут и рождение термина

Летом 1956 года в Дартмутском колледже состоялась конференция, организованная Джоном Маккарти, Марвином Минским, Натаниэлом Рочестером и Клодом Шенноном. В заявке на неё (1955) Маккарти впервые употребил словосочетание «artificial intelligence» - «искусственный интеллект».

Цель конференции звучала по-сегодняшним меркам наивно и амбициозно одновременно: за два летних месяца десять человек должны были сдвинуть с места проблему машинного интеллекта. Сдвинуть, конечно, не получилось. Зато у области появились имя и сообщество, а участники Дартмута почти в полном составе задали направление ИИ-исследований на следующие двадцать лет.

1958: перцептрон Розенблатта - машина, которая училась смотреть

В 1958 году психолог Фрэнк Розенблатт из Корнельской аэронавигационной лаборатории представил перцептрон - первую обучающуюся нейросеть, реализованную в железе. Перцептрон Mark I получал на вход изображение 20×20 пикселей с фотоэлементной матрицы, прогонял его через слой искусственных нейронов и классифицировал. Веса связей хранились в массиве потенциометров, которые обучающий алгоритм физически подкручивал.

Розенблатт продемонстрировал, что машина обучается на примерах - по данным, а не по жёсткой программе. На демонстрации 1958 года на IBM 704 перцептрон после 50 попыток сам научился отличать перфокарты с меткой слева от карт с меткой справа (Cornell Chronicle, 2019). Газета New York Times в 1958 году писала о перцептроне как о машине, которая «научится ходить, говорить, видеть, писать, размножаться и осознавать своё существование».

Это была первая публичная демонстрация обучения на примерах, и нынешний рецепт «много данных, много вычислений и простое правило обновления весов» прямо восходит к перцептрону.

1964-1972: эра экспертных систем

Параллельно коннекционизму развивалась вторая, более прагматичная ветвь - символьный ИИ. Вместо нейронов и весов символьный ИИ опирался на правила: «если симптом X и анализ Y, то диагноз Z с уверенностью 0.7».

Несколько ключевых систем:

• ELIZA (Йозеф Вейценбаум, MIT, 1964-1966) - имитация психотерапевта на правилах подстановки. Многие пользователи всерьёз верили, что разговаривают с человеком - первый задокументированный случай «ELIZA-эффекта».
• DENDRAL (Стэнфорд, 1965-) - автоматический анализ масс-спектров для определения химической структуры. Первая по-настоящему успешная экспертная система, работала с реальными лабораторными данными (Lindsay и др., 1993).
• MYCIN (Стэнфорд, 1972-1974) - диагностика бактериальных инфекций и подбор антибиотиков. В слепых тестах MYCIN ставила рекомендации не хуже врачей-инфекционистов (Yu и др., JAMA, 1979).

Символьный ИИ был коммерчески успешен задолго до глубокого обучения. Система XCON в DEC (начало 1980-х) автоматически конфигурировала заказы на компьютеры VAX и экономила компании около 25 миллионов долларов в год (Giacaglia, Making Things Think, 2022).

1969: книга, заморозившая нейросети на 15 лет

В 1969 году Марвин Минский и Сеймур Пейперт опубликовали книгу «Perceptrons». Они математически показали, что однослойный перцептрон Розенблатта в принципе не может вычислить функцию XOR - элементарную логическую операцию. Книга была написана резко и убедительно.

Технически вывод был верным для однослойной сети. Многослойные сети с нелинейными активациями могли решать XOR без проблем, но устойчивого алгоритма обучения для глубоких сетей в 1969 году ещё не было (он появится только в 1986-м с обратным распространением ошибки, Rumelhart и др., 1986). Финансирование нейросетевых исследований по обе стороны Атлантики практически прекратилось. Розенблатт погиб в лодочной аварии в 1971 году, защитников у направления почти не осталось.

Это первый известный случай, когда корректная математика почти на полтора десятилетия похоронила верную инженерную идею. Почти все ресурсы области достались символьному ИИ.

1973-1980: первая «зима ИИ»

К началу 1970-х у поля накопились системные провалы:

• Машинный перевод не вышел на коммерческое качество. Знаменитая байка о том, как фраза «the spirit is willing, but the flesh is weak» превратилась в «виски крепкое, но мясо тухлое», документально не подтверждена, но настроение конца 1960-х передаёт точно.
• Общий ИИ не появился ни через 10, ни через 20 лет, как обещали оптимисты Дартмутской волны.
• Отчёт Лайтхилла (1973), заказанный британским правительством, констатировал, что ИИ-исследования не дают обещанных результатов и финансирование надо урезать (Lighthill, 1973).
• DARPA в США сократила программы по распознаванию речи после провала проекта Speech Understanding Research.

С 1974 примерно по 1980 год государственные деньги в ИИ почти не шли. Это и называют первой «зимой ИИ». Исследователи разошлись по соседним областям - статистика, вычислительная лингвистика, базы знаний - но идеи никуда не делись. Они просто ждали железа и алгоритмов.

Личная история: мой первый «противник с интеллектом»

Впервые я по-настоящему столкнулся с тем, что позже назову «искусственным интеллектом», в начале 1990-х. У соседа стоял ZX Spectrum с шахматной программой - кажется, «Cyrus». Я был ребёнком, программа меня уверенно обыгрывала, и я был убеждён, что внутри живёт что-то умное.

Через много лет я узнал, что внутри жил алгоритм минимакса с альфа-бета-отсечением - идея, опубликованная в 1950-х, доработанная Дональдом Кнутом в 1975-м (Knuth и Moore, 1975). Нейросетей и обучения там не было, только перебор дерева ходов с эвристической оценкой позиции. И эту простую идею 1950-х, работавшую на 8-битном процессоре ZX Spectrum 1982 года, я в десять лет принимал за интеллект.

Это, кажется, главный урок этой части истории. То, что мы называем «интеллектом машины», редко связано с тем, насколько технология новая. Чаще - с тем, насколько хорошо она замаскирована под собеседника. Перцептрон 1958 года, ELIZA 1966 года и шахматы на Spectrum 1980-х производили на современников ровно то же впечатление «магии», что ChatGPT в 2022-м. С той разницей, что у ChatGPT за спиной ещё восемьдесят лет накопленной математики.

Что вынести из этой эпохи

Три тезиса, важных для понимания всего, что было дальше:

1. К 1969 году нейросети уже умели обучаться на данных. Работали они плохо, но сама схема (входы, веса, выход, поправка по ошибке) уже была заложена. Всё, что произошло в 2010-х, - масштабирование этой схемы на железе, которого в 1969-м не существовало.
2. Символьный ИИ был коммерчески успешен раньше нейросетей. Экспертные системы зарабатывали реальные деньги в 1970-х-80-х, когда нейросети были академической нишей. Это важно помнить, когда сегодня кто-то говорит, что «коммерческий ИИ начался с GPT».
3. Зима ИИ наступает, когда результат не дотягивает до обещаний, а не когда кончаются идеи. В 1973 году деньги ушли потому, что обещали «общий интеллект через 10 лет», а показали ELIZA. То, что нейросети при этом ещё и не работали, добавило толчок, но не было причиной. Этот шаблон ещё повторится в конце 1980-х. И, возможно, ждёт нас сегодня.

В следующей части - 1980-е и 1990-е: возвращение нейросетей через обратное распространение ошибки, эра SVM, OCR, который годами читал ваши письма в почтовых отделениях, и почему никто не называл это ИИ.

Дальше: Часть 2: backprop и SVM (1980-2000) · Часть 3: рекомендации и зрение (2000-2012) · Часть 4: deep learning (2012-2017).