![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
ИИ и Ананке
Mar. 5th, 2026 11:13 amКак и год назад, основные обсуждаемые угрозы от ИИ - он «заберет нашу работу» и «он выйдет из-под человеческого контроля». Мне кажется, реальная масштабная угроза в другом. Его мнение начинают использовать как экспертное, плюс его стали использовать в военных целях. Создатели ИИ понимают опасность этого, а военные - не понимают (см. текущий конфликт между Пентагоном и Anthropic). Привыкнув полагаться на ИИ, в условиях нехватки времени человек в какой-то момент доверит ему принять решение. А в каком духе ИИ принимает решения в ситуации военного конфликта, мы можем видеть из доклада Ai Arms and Influence by Kenneth Payne (оригинал пока доступен здесь: https://arxiv.org/pdf/2602.14740). Коротко: при анализе 21 ситуации, в двадцати случаях ИИ предпочел в качестве решения ядерный удар.
Проблему привычки доверять искусственному интеллекту предвидел и описал еще Станислав Лем в повести «Ананке» 50 лет назад.
Главный герой, пилот Пиркс, присутствует как наблюдатель в диспетчерском центре на Марсе при посадке космического корабля на планету. Капитан корабля передает управление компьютеру; в ходе посадки компьютер внезапно интерпретирует Марс как метеорит и начинает маневр уклонения; Пиркс кричит капитану перейти на ручное управление, но тот не реагирует; корабль терпит крушение. При расследовании глава комиссии спрашивает Пиркса, мог ли капитан спасти ситуацию? Пиркс отвечает отрицательно. Тогда почему Пиркс советовал ему это? Видите ли, отвечает тот,
«Клайн и я — это два разных поколения. Когда я начинал летать, автоматика подводила гораздо чаще… Это накладывает отпечаток на все поведение человека. Думаю, что Клайн… доверял автоматам до конца.
— Клайн думал, что компьютер лучше разбирается в деле? Считал, что он сможет овладеть ситуацией?
— Может, он на это и не рассчитывал… а только думал, что если компьютер не справится, то человек тем более.»
Вот в этом проблема. Разработчики ИИ понимают, что ИИ видит в качестве контекста только то, что ему явно предоставили, и принимает решения на основании тех данных, которые ему показали при тренировке. Но в восприятии публики, ИИ имеет тот же контекст, что и человек, а принимает решение на основании принципиально неизвестных, но чисто рациональных соображений. Поэтому, в условиях недостатка времени, он справится лучше, чем человек. И в какой-то момент ему будет доверено решение по проведению военной операции.
Проблему привычки доверять искусственному интеллекту предвидел и описал еще Станислав Лем в повести «Ананке» 50 лет назад.
Главный герой, пилот Пиркс, присутствует как наблюдатель в диспетчерском центре на Марсе при посадке космического корабля на планету. Капитан корабля передает управление компьютеру; в ходе посадки компьютер внезапно интерпретирует Марс как метеорит и начинает маневр уклонения; Пиркс кричит капитану перейти на ручное управление, но тот не реагирует; корабль терпит крушение. При расследовании глава комиссии спрашивает Пиркса, мог ли капитан спасти ситуацию? Пиркс отвечает отрицательно. Тогда почему Пиркс советовал ему это? Видите ли, отвечает тот,
«Клайн и я — это два разных поколения. Когда я начинал летать, автоматика подводила гораздо чаще… Это накладывает отпечаток на все поведение человека. Думаю, что Клайн… доверял автоматам до конца.
— Клайн думал, что компьютер лучше разбирается в деле? Считал, что он сможет овладеть ситуацией?
— Может, он на это и не рассчитывал… а только думал, что если компьютер не справится, то человек тем более.»
Вот в этом проблема. Разработчики ИИ понимают, что ИИ видит в качестве контекста только то, что ему явно предоставили, и принимает решения на основании тех данных, которые ему показали при тренировке. Но в восприятии публики, ИИ имеет тот же контекст, что и человек, а принимает решение на основании принципиально неизвестных, но чисто рациональных соображений. Поэтому, в условиях недостатка времени, он справится лучше, чем человек. И в какой-то момент ему будет доверено решение по проведению военной операции.
