ИИ и этика

Среди прочих мероприятий на конференции была лекция о том, как хумансы обучают модель быть этичной. Лектор была из Гугла, но принципы, как я понимаю, примерно одинаковы для всех публичных топовых моделей. Специально нанятые разметчики формируют десятки тысяч пар «вопрос - этичный ответ», заставляют модель формировать общие принципы этичного ответа, и получают на выходе то что мы видим - модель приветлива, избегает возможности эмоционально травмировать, отказывается говорить на определенные темы и т.д. Лекция шла полтора часа. При этом ни разу не была затронута тема так называемого вранья галлюцинирования.

Обычно считается, что эта проблема техническая, которая скоро будет исправлена. Но это подмена: проблема чисто этическая. ChatGPT, схватывающий контекст на лету, отлично понимает, что когда ему задают вопрос «в какой статье Бурдье обсуждает тему XX» или «в каком судебном деле был создан прецедент YY», - пользователь просит указать название реальной статьи и дела, а не предположить, как могла бы гипотетически называться такая статья.* И вариантов решения задачи аж два: либо сгенерировать внутренний ответ и провести по нему фактчекинг (проверить в интернете существует ли такая статья, прочесть, составить абстракт и сопоставить с запрошенной темой телеги Бурдье), либо ответить «я не искал в Интернете (хотя способен, но жалко тратить ресурс), но могу сгенерировать название, которое правдоподобно звучит».

Но этого не делается. ИИ, с апломбом пандита, уверенно выдает свое экспертный ответ. И это не техническая ошибка, а, imao, чисто маркетинговые соображения. Модель, которая отвечает уверенно, лучше продается. Но про этого слона в комнате, даже на специальном семинаре по теме настройки этичности ИИ, не говорится ни слова.**
______

* Недавно в Израиле несколько крупных юридических фирм лишились лицензии, поскольку в их аргументах, поданных в Верховный Суд (!) были ссылки на несуществующие судебные дела - предположительно сгенерированные ИИ.

** Как принято в последнее время, я попросил высказаться на эту тему ChatGPT. Как он изящно сформулировал:

«Почему так:
Честная модель, говорящая:

"Я не знаю."
"Этого не существует."
"Нужно свериться с источником."

— кажется менее “умной”, “полезной”, “магической”, и потому хуже продаётся.

Маркетинг требует вау-эффекта:

“Спроси что угодно — и получи блестящий ответ.”

А правдивость подменяется впечатлением разумности.»