| Сергей Марков Охота на электроовец Большая книга искусственного интеллекта | 1 |
| Главный редактор Андрей Федичкин Научный редактор (глубокое обучение) кандидат физико-математ... | 1 |
| Предисловие | 1 |
| 1 Договоримся об определениях | 2 |
| Причина многих ожесточённых и бесплодных споров с давних времён — в том, что спорщики, сами тог... | 2 |
| 1.1 Понятие ИИ. Прикладной/слабый ИИ, сильный ИИ (AGI) | 3 |
| 1.2 Тест Тьюринга, китайская комната Сёрля | 4 |
| 1.3 Машинное обучение, его виды и области применения | 6 |
| Одно из распространённых заблуждений об искусственном интеллекте заключается в уверенности, чт... | 6 |
| 1.3.1 Виды машинного обучения | 6 |
| 1.3.2 Задачи, решаемые с помощью машинного обучения | 7 |
| 1.3.3 Области применения машинного обучения | 8 |
| 2 Сквозь тьму веков. История думающих машин | 8 |
| Инструменты, помогающие выполнять интеллектуальные задачи, люди начали создавать так давно, что... | 8 |
| 2.1 Древние счётные устройства и механизмы | 8 |
| 2.1.1 Счёты, абак и астролябия | 8 |
| 2.1.2 Антикитерский механизм | 11 |
| 2.2 Неперовы палочки | 15 |
| 2.3 Машина Шиккарда и паскалина | 16 |
| 2.4 Машины Бэббиджа | 18 |
| 2.4.1 Юность Бэббиджа. Проект де Прони как источник вдохновения | 18 |
| 2.4.2 Доработка таблиц «Морского альманаха». Первая модель разностной машины | 19 |
| 2.4.3 Развитие и проблемы проекта разностной машины | 20 |
| 2.4.4 Последователи Бэббиджа: Георг Шутц и другие | 21 |
| 2.4.5 Идеи Бэббиджа и их реализация | 22 |
| 2.4.6 История перфокарт | 22 |
| 2.4.7 Современники Бэббиджа — Ада Лавлейс и Луиджи Менабреа | 24 |
| 2.4.8. Последние годы Бэббиджа и дальнейшая жизнь его идей | 25 |
| 2.5 Табулятор Холлерита | 26 |
| 2.6 Вершины механических вычислительных систем: военные баллистические вычислители | 31 |
| 2.7 От электромеханических машин к ЭВМ | 34 |
| Как бы совершенны ни были механические вычислительные системы начала XX в., их судьба всё же б... | 34 |
| 2.7.1 Конрад Цузе, создатель первого компьютера Z1 | 34 |
| 2.7.2 Говард Эйкен и компьютер Mark I | 37 |
| 2.7.3 Кто же был первым? | 38 |
| 2.7.4 Теоретики — Гёдель, Чёрч, Тьюринг | 38 |
| 2.7.5 Забытый изобретатель Джон Винсент Атанасов | 41 |
| 2.7.6 Взлом немецких военных шифров | 43 |
| 2.7.7 Создатели советских ЭВМ — Сергей Лебедев и Исаак Брук | 47 |
| 3 Машины, которые играют в игры, и игры, в которые играют машины | 49 |
| Как и во всякой экспериментальной науке, специалистам, занимающимся исследованиями в области ИИ... | 49 |
| 3.1 Ним и ниматрон | 50 |
| 3.2 Крестики-нолики | 52 |
| 3.3 Играть на уровне бога: от Цермело до «Ломоносова» (первое отступление) | 54 |
| 3.3.1 Основоположник теории игр Эрнст Цермело | 54 |
| 3.3.2 Метод обратной индукции | 55 |
| 3.3.3 Применение обратной индукции для анализа шахматных окончаний | 57 |
| 3.3.4 Виды решений: сильное, слабое, ультраслабое | 58 |
| 3.3.5 Гекс — игра без ничьих | 59 |
| 3.3.6 Решения разных игр | 60 |
| 3.4 Шашки | 60 |
| Шашки — одна из самых древних настольных игр, известная человечеству с незапамятных времён. Ар... | 60 |
| 3.4.1 Начало. Шашечная программа Кристофера Стрейчи | 61 |
| 3.4.2 Продолжение. Шашечная программа Артура Сэмюэла | 62 |
| 3.4.3 Дебют программы Chinook Джонатана Шеффера | 65 |
| 3.4.4 Первый матч против чемпиона мира | 67 |
| 3.4.5 Решающий матч | 68 |
| 3.4.6 Нахождение слабого решения шашек | 69 |
| 3.5 Шахматы | 70 |
| 3.5.1 Шахматные автоматы и механизмы | 70 |
| 3.5.2 Шахматные программы… без шахматных машин | 72 |
| 3.5.3 Алекс Бернстайн и первая полноценная шахматная программа | 74 |
| 4.5.4 СССР и США — творческая атмосфера созидания | 76 |
| 4.5.5 Первые матчи шахматных программ и история «Каиссы» | 77 |
| 4.5.6 Рассуждения о теоретической основе шахматного программирования и идеи Ботвинника | 81 |
| 3.5.7 Прогресс в компьютерных шахматах в конце XX века | 84 |
| 3.5.8 Появление и развитие проекта Фэнсюна Сюя | 85 |
| 3.5.9 Первый матч против чемпиона мира | 88 |
| 3.5.10 Второй матч против чемпиона мира | 90 |
| 3.5.11 Компьютерные шахматы после Deep Blue | 94 |
| 3.6 Грубая сила машины: отделяем правду от вымысла (второе отступление) | 95 |
| 3.7 Го — новая цель | 97 |
| 3.8 Итоги и перспективы | 98 |
| 4 Нейронные сети и глубокое обучение | 99 |
| 4.1 Бионика и история изучения мышления | 99 |
| 4.2 Лягушки, мыши, кальмары, люди и другие животные в цепких руках нейрофизиологов | 101 |
| 4.2.1 От экспериментов на животных до открытия нейронов | 101 |
| 4.2.2 История исследований электрической активности мозга | 102 |
| 4.2.3 Первые математические модели нейрона — Хорвег, Вейс и Лапик | 104 |
| 4.2.4 Принцип «всё или ничего» — Лукас, Эдриан, Като | 107 |
| 4.2.5 Два английских джентльмена и долгопёрый прибрежный кальмар | 110 |
| 4.2.6 Мышонок Гарольд и его увлекательная жизнь после смерти | 112 |
| 4.2.7 Коннектомика сегодня | 113 |
| 4.3 История первой модели искусственного нейрона: Мак-Каллок и Питтс | 115 |
| Но вернёмся в суровую действительность первой половины XX в. Учёные, ставившие перед собой цел... | 115 |
| 4.3.1 Учёный, беспризорник и иммигрант | 115 |
| 4.3.2 «Мы знаем, как мы знаем» | 118 |
| 4.3.3 Удивительные приключения нейронных сетей в мире кибернетики: работа с Норбертом Винером | 118 |
| 4.3.4 Научная богема и экспериментальная эпистемология | 121 |
| 4.3.5 Грустный эпилог | 122 |
| 4.4 Фрэнк Розенблатт, перцептрон, кот Тобермори и крысы | 123 |
| 4.4.1 Наследие Мак-Каллока и Питтса | 123 |
| 4.4.2 Развитие нейросетевых моделей | 124 |
| 4.4.3 Исследования нейробиологов | 126 |
| 4.4.4 Первые эксперименты в области искусственных нейронных сетей | 127 |
| 4.4.5 Перцептрон Розенблатта | 129 |
| 4.4.6 Первые нейрокомпьютеры | 131 |
| 4.4.7 Нейросетевые исследования 1960-х годов | 133 |
| 4.4.8 Теоретические результаты | 134 |
| 4.4.9 Друзья, увлечения и крысы Розенблатта | 134 |
| 4.5 «Чистюли» и «грязнули» — разные школы ИИ | 136 |
| 4.6 Марвин Минский и зима искусственного интеллекта | 137 |
| Сергей Марков Охота на электроовец Большая книга искусственного интелл... | 142 |
| 5 Предвестники весны искусственного интеллекта | 142 |
| В 1984 г. темой публичных дебатов, организованных на общем собрании Американской ассоциаци... | 142 |
| 5.1 Три ключевых фактора успеха | 144 |
| 5.2 Модели и алгоритмы | 144 |
| 5.2.1 СССР, Фрейд и котики приходят на помощь | 144 |
| 5.2.2 Исследования Румельхарта | 145 |
| 5.2.3 Метод обратного распространения ошибки | 147 |
| 5.2.3.1 Описание проблемы | 147 |
| 5.2.3.2 Начало поиска метода | 148 |
| 5.2.3.3 Зигмунд Фрейд и его нейробиологические исследования | 149 |
| 5.2.3.4 Теория расчёта весов и описание метода обратного распространения ошибки | 152 |
| 5.2.4 Глубокое обучение: многослойные нейронные сети с регулярной структурой | 153 |
| Трудно в наши дни найти человека, который хотя бы раз не слышал термин «глубокое обучение». П... | 153 |
| 5.2.4.1 Роль котиков в развитии нейронных сетей | 155 |
| 5.2.4,2 Когнитрон и неокогнитрон Кунихико Фукусимы | 157 |
| 5.2.4.3 Ян Лекун: внедрение метода обратного распространения ошибки для обучения свёрточных нейронных сетей | 158 |
| 5.2.5 Рекуррентные нейронные сети | 159 |
| 5.2.5.1 Обсуждение теоретической возможности | 159 |
| 5.2.5.2 Предложения и проблемы | 160 |
| 5.2.5.3 Сети с долгой краткосрочной памятью (LSTM) и другие модели | 161 |
| 5.2.6 Автокодировщики, контрастное обучение и близнецы Барлоу | 162 |
| 5.3 Машины | 165 |
| 5.3.1 Гордон Мур и его закон | 165 |
| 5.3.2 Пределы роста | 167 |
| 5.3.3 Оборудование для нейронных сетей: GPU, TPU, FPGA | 168 |
| 5.3.4 Импульсные нейронные сети | 170 |
| 5.3.5 Нейроморфные системы типа I. Начало | 171 |
| 5.3.6 Нейроморфные системы типа I. Исследования мозга и принцип STDP | 173 |
| 5.3.7 Нейроморфные системы типа I. Перспективы | 175 |
| 5.3.8 Нейроморфные системы типа II. Начало | 176 |
| 5.3.9 Открытие мемристора | 177 |
| 5.3.10 Нейроморфные системы типа II сегодня | 178 |
| 5.3.11 Перспективные вычислительные технологии | 179 |
| 5.4 Данные | 180 |
| 6 Час настал. Да грянет бал! | 182 |
| 6.1 ИИ сейчас — большой интерес, обширные вложения и хорошие прогнозы | 182 |
| 6.2 Машина распознаёт образы | 185 |
| Распознавание образов [pattern recognition] — это отрасль ИИ, которая занимается автоматически... | 185 |
| 6.2.1 Распознавание изображений | 186 |
| 30 сентября 2012 г. свёрточная нейронная сеть, известная сегодня под названием AlexNet, с сущ... | 186 |
| 6.2.1.1 Фей-Фей Ли и ImageNet | 186 |
| 6.2.1.2 SuperVision и её особенности | 188 |
| 6.2.1.3 Предшественники AlexNet | 189 |
| 6.2.1.4 Последователи AlexNet. GoogLeNet как новый уровень | 190 |
| 6.2.1.5 Конец начала и перспективы развития | 191 |
| 6.2.2 Распознавание звука | 192 |
| 6.2.2.1 «Тобермори» — фоноперцептрон Розенблатта | 192 |
| 6.2.2.2 Теория звука и общие соображения о распознавании речи | 192 |
| 6.2.2.3 Корпусы речи | 194 |
| 6.2.2.4 Метрики оценки | 195 |
| 6.2.2.5 Прогресс и проблемы | 195 |
| 6.2.3 Распознавание образов в играх | 198 |
| 6.2.3.1 Победа в го | 198 |
| 6.2.3.2 Методы в основе AlphaGo | 199 |
| 6.2.3.3 Дальнейшее развитие AlphaGo — отказ от человеческих знаний | 199 |
| 6.2.3.4 Кто же сильнее в шахматах? | 200 |
| 6.2.3.5 Последние достижения нейросетей в го и шахматах | 201 |
| 6.2.3.6 Игры с неполной информацией: карточные игры | 202 |
| 6.2.3.7 Игры с неполной информацией: стратегии реального времени | 203 |
| 6.2.4 Распознание образов: кое-что ещё | 205 |
| 6.3 Машина учится понимать: обработка естественного языка | 205 |
| Различные области науки и технологий содержат множество пересечений, что делает невозможным по... | 205 |
| 6.3.1 Первые диалоговые системы: ELIZA, PARRY и SHRDLU | 206 |
| О создании диалоговых систем [dialogue system], или, как их сегодня нередко называют, разгово... | 206 |
| 6.3.1.1 ELIZA | 206 |
| 6.3.1.2 PARRY | 206 |
| 6.3.1.3 SHRDLU | 207 |
| 6.3.2 Сосиска в тексте: машинный перевод | 208 |
| Ещё одна задача из области обработки естественного языка, возможно не такая зрелищная, как пр... | 208 |
| 6.3.2.1 Первые проекты Смирнова-Троянского и Арцруни | 208 |
| 6.3.2.2 Использование ЭВМ и формулирование теории машинного перевода | 209 |
| 6.3.2.3 Джорджтаунский эксперимент, принёсший оптимизм | 210 |
| 6.3.2.4 Отчёт ALPAC, принёсший разочарование | 211 |
| 6.3.2.5 Подходы к машинному переводу и его дальнейшее развитие | 213 |
| 6.3.2.6 Метрики и проблемы качества перевода | 217 |
| 6.3.3 Семантическая вселенная: от Бенджио и Миколова до трансформеров | 218 |
| 6.3.3.1 Представление текстовой информации | 218 |
| 6.3.3.2 Языковые модели и работа Бенджио | 219 |
| 6.3.3.3 Революция word2vec | 221 |
| 6.3.3.4 Наследники word2vec. Концепция «внимания» | 224 |
| 6.3.3.5 Вторая революция в NLP: трансформеры | 225 |
| 6.3.3.6 Тесты на понимание естественного языка | 228 |
| 6.3.4 Современные чат-боты и прогнозы Тьюринга | 230 |
| 6.3.4.1 Успехи чат-ботов — отличаем правду от вымысла | 230 |
| 6.3.4.2 Смысл теста Тьюринга | 232 |
| 6.3.4.3 Прогресс диалоговых систем и применяемые подходы | 232 |
| 6.3.4.4 Перспективные диалоговые модели | 234 |
| 6.4 Машина учится говорить | 236 |
| 6.4.1 Первые попытки синтеза речи | 236 |
| 6.4.2 Новые шаги — от «Эуфонии» к вокодерам | 239 |
| 6.4.3 Синтез речи на ЭВМ и его применение | 242 |
| 6.4.4 Развитие конкатенативного синтеза речи | 243 |
| 6.4.5 Развитие параметрического синтеза речи | 243 |
| 6.4.6 Первые применения нейронных сетей для синтеза речи | 245 |
| 6.4.7 Появление модели WaveNet и новые проблемы | 246 |
| 6.4.8 Современные TTS-системы | 247 |
| 6.4.9 Направления новых исследований | 249 |
| 6.5 Эмоциональные вычисления и социальный ИИ | 249 |
| 6.5.1 Как насчёт эмоций и сознания у машин? | 249 |
| 6.5.2 Эмоциональный интеллект | 254 |
| 6.5.3 Представление эмоциональной информации | 255 |
| 6.5.4 Наборы данных для анализа эмоций | 257 |
| 6.5.5 Современные достижения в анализе эмоций | 260 |
| 6.5.6 Настоящее и будущее эмоциональных вычислений | 261 |
| 6.6 Машина учится творить: генеративные модели | 262 |
| 6.6.1 Критерии творчества | 262 |
| 6.6.2 Первые опыты по автоматизации сочинения текстов | 263 |
| 6.6.3 Рождение нейросетевой литературы | 265 |
| 6.6.4 GPT-3 и гонка за триллионом параметров | 270 |
| 6.6.5 Лучше меньше, да умнее! Появление ChatGPT | 274 |
| 6.6.6 Фундаментальные модели и новые перспективы | 277 |
| 6.6.7 Машина как художник. Первые шаги: раскраска и стилизация | 282 |
| 6.6.8 Машина как художник. Генеративно-состязательные сети и ганизм | 285 |
| 6.6.9 Машина как художник. Создание изображения по текстовому описанию | 288 |
| 6.6.10 Машина создаёт видео | 293 |
| 6.6.11 Машина как композитор | 294 |
| 6.6.12 Машина создаёт всё: мультимодальные модели | 300 |
| 6.6.13 Другие творческие успехи машин | 301 |
| 7 Легенда о големе: ИИ, захватывающий мир | 303 |
| Тема опасности ИИ красной нитью проходит через многие популярные статьи, посвящённые достижения... | 303 |
| 7.1 Насколько опасен ИИ? | 303 |
| 7.1.1 История человеческих страхов перед машинами | 303 |
| 7.1.2 Текущая оценка опасности развития ИИ | 304 |
| 7.1.3 Варианты преодоления рисков развития ИИ | 307 |
| 7.2 Сверхразум: реальные и мнимые опасности | 309 |
| 7.3 Съедят ли людей электроовцы? | 313 |
| 7.3.1 Влияние технического прогресса на общество: история проблемы | 313 |
| 7.3.2 Сегодня в мире: прогресс и перспективы | 313 |
| 7.3.3 Бессмысленный труд: невкусный плод древа прогресса | 315 |
| 7.3.4 Висит груша — нельзя скушать: новые рабочие места | 316 |
| 7.3.5 Идея безусловного основного дохода | 316 |
| 7.3.6 Призрак постмальтузианства | 317 |
| 7.3.7 Перспективы различных профессий в эпоху четвёртой индустриальной революции | 317 |
| 7.3.8 Грозит ли человечеству безделье: насколько реальна проблема избытка рабочей силы? | 319 |
| 7.4 Цифровой тайный суд и другие проблемы алгоритмического общества | 320 |
| 7.5 Законодательное регулирование ИИ | 323 |
| 7.6 Будем разумны! | 328 |
| 8 Контуры будущего: задачи сегодняшнего и завтрашнего дня | 329 |
| 8.1 Перспективные направления исследований | 329 |
| 8.2 Облачные технологии и распределённое обучение | 331 |
| 8.3 Иллюзии нейросетей | 332 |
| 8.4 Интерпретация работы моделей ИИ | 333 |
| 8.5 Морально-этические вопросы применительно к ИИ | 334 |
| 8.6 Далеко ли до общего искусственного интеллекта (AGI)? | 336 |
| 9 Заключение | 339 |
| 10 Благодарности | 340 |
| Указатель | 341 |
Новый этап в области компьютерных технологий часто называют очередной «весной искусственного интеллекта». Её начало обычно отсчитывают с момента появления нейронной сети, сегодня известной под названием AlexNet, успех которой в распознавании зрительных образов возвестил о начале «революции глубокого обучения». В результате этой революции машинам удалось превзойти человеческий уровень при решении множества задач. Сегодня уже мало кого удивляют победы машин над сильнейшими игроками в го, создание ими музыки и картин, предсказание нейронными сетями пространственной структуры белков и другие вещи, которые десять лет назад мы посчитали бы чудесами. Алгоритмы искусственного интеллекта (ИИ) быстро вошли в нашу жизнь и стали её неотъемлемой частью. Например, каждый раз, когда вы делаете фотографию при помощи смартфона, её обработку выполняет нейронная сеть. На смену весне искусственного интеллекта приходит лето. Эта книга рассказывает о том, какие события в истории науки привели к началу этого лета, о современных технологиях ИИ и их возможностях, а также пытается приоткрыть завесу, скрывающую от нас мир ближайшего будущего. Мифы и заблуждения об искусственном интеллекте, страхи, насущные проблемы, перспективные направления исследований — обо всём этом вы узнаете из «Большой книги искусственного интеллекта».