ИИ и Ананке
Mar. 5th, 2026 11:13 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
greenfree2002Как и год назад, основные обсуждаемые угрозы от ИИ - он «заберет нашу работу» и «он выйдет из-под человеческого контроля». Мне кажется, реальная масштабная угроза в другом. Его мнение начинают использовать как экспертное, плюс его стали использовать в военных целях. Создатели ИИ понимают опасность этого, а военные - не понимают (см. текущий конфликт между Пентагоном и Anthropic). Привыкнув полагаться на ИИ, в условиях нехватки времени человек в какой-то момент доверит ему принять решение. А в каком духе ИИ принимает решения в ситуации военного конфликта, мы можем видеть из доклада Ai Arms and Influence by Kenneth Payne (оригинал пока доступен здесь: https://arxiv.org/pdf/2602.14740). Коротко: при анализе 21 ситуации, в двадцати случаях ИИ предпочел в качестве решения ядерный удар.
Проблему привычки доверять искусственному интеллекту предвидел и описал еще Станислав Лем в повести «Ананке» 50 лет назад.
Главный герой, пилот Пиркс, присутствует как наблюдатель в диспетчерском центре на Марсе при посадке космического корабля на планету. Капитан корабля передает управление компьютеру; в ходе посадки компьютер внезапно интерпретирует Марс как метеорит и начинает маневр уклонения; Пиркс кричит капитану перейти на ручное управление, но тот не реагирует; корабль терпит крушение. При расследовании глава комиссии спрашивает Пиркса, мог ли капитан спасти ситуацию? Пиркс отвечает отрицательно. Тогда почему Пиркс советовал ему это? Видите ли, отвечает тот,
«Клайн и я — это два разных поколения. Когда я начинал летать, автоматика подводила гораздо чаще… Это накладывает отпечаток на все поведение человека. Думаю, что Клайн… доверял автоматам до конца.
— Клайн думал, что компьютер лучше разбирается в деле? Считал, что он сможет овладеть ситуацией?
— Может, он на это и не рассчитывал… а только думал, что если компьютер не справится, то человек тем более.»
Вот в этом проблема. Разработчики ИИ понимают, что ИИ видит в качестве контекста только то, что ему явно предоставили, и принимает решения на основании тех данных, которые ему показали при тренировке. Но в восприятии публики, ИИ имеет тот же контекст, что и человек, а принимает решение на основании принципиально неизвестных, но чисто рациональных соображений. Поэтому, в условиях недостатка времени, он справится лучше, чем человек. И в какой-то момент ему будет доверено решение по проведению военной операции.
Проблему привычки доверять искусственному интеллекту предвидел и описал еще Станислав Лем в повести «Ананке» 50 лет назад.
Главный герой, пилот Пиркс, присутствует как наблюдатель в диспетчерском центре на Марсе при посадке космического корабля на планету. Капитан корабля передает управление компьютеру; в ходе посадки компьютер внезапно интерпретирует Марс как метеорит и начинает маневр уклонения; Пиркс кричит капитану перейти на ручное управление, но тот не реагирует; корабль терпит крушение. При расследовании глава комиссии спрашивает Пиркса, мог ли капитан спасти ситуацию? Пиркс отвечает отрицательно. Тогда почему Пиркс советовал ему это? Видите ли, отвечает тот,
«Клайн и я — это два разных поколения. Когда я начинал летать, автоматика подводила гораздо чаще… Это накладывает отпечаток на все поведение человека. Думаю, что Клайн… доверял автоматам до конца.
— Клайн думал, что компьютер лучше разбирается в деле? Считал, что он сможет овладеть ситуацией?
— Может, он на это и не рассчитывал… а только думал, что если компьютер не справится, то человек тем более.»
Вот в этом проблема. Разработчики ИИ понимают, что ИИ видит в качестве контекста только то, что ему явно предоставили, и принимает решения на основании тех данных, которые ему показали при тренировке. Но в восприятии публики, ИИ имеет тот же контекст, что и человек, а принимает решение на основании принципиально неизвестных, но чисто рациональных соображений. Поэтому, в условиях недостатка времени, он справится лучше, чем человек. И в какой-то момент ему будет доверено решение по проведению военной операции.
no subject
Date: 2026-03-05 11:50 am (UTC)no subject
Date: 2026-03-05 11:01 pm (UTC)"... сорок ядерных ударов подряд
и в ЛондОне наш отряд ... "
т.е. интеллекта не было уже тогда, ни искусственного и вообще никакого
no subject
Date: 2026-03-06 12:21 am (UTC)no subject
Date: 2026-03-05 08:34 pm (UTC)Так и людей таких, которые предпочтут в качестве решения ядерный удар - полно.
Но это же не значит, что их следует назначать в качестве экспертов.
И не означает, что все люди такие.
Также и разные ИИ будут делать разные решения.
no subject
Date: 2026-03-06 03:46 am (UTC)