ИИ и аналитика

[greenfree2002]

It’s amazing how ChatGPT knows everything about subjects I know nothing about, but is wrong like 50% of the time about things I am an expert on. Not going to think about it any further.

Мем

Мой брат очень высоко ценит ЧатДжпт. Я, - говорит он, - загружаю ему корпус статей и книг по интересующей меня теме, и он выдает мне очень толковую и всестороннюю аналитику! Экономит массу времени и интеллектуальных усилий!

Думаю, так делают многие. Проблема, конечно, в том, что эту «аналитику» никто не проверяет. Даже когда различные источники анализируют специалисты-хумансы - и то они могут прийти к совершенно разным выводам на основе одной и той же информации, что мы и видим по разнообразию и «точности» аналитики этих хумансов. И это при том, что обычно их цель - действительно правильно оценить и предсказать, чтобы утвердиться в роли истинного эксперта.

ЧатуДжпт же вообще все равно, что писать. Более того, соответствие его текста происходящему в реальности не является приоритетом. Это неочевидно, и прорывается на поверхность очень редко, но это так. Пару дней назад я задал ему простой и проверяемый вопрос - есть ли в тексте семи канонических книг Гарри Поттера упоминание об академических статьях. Мне нужна была подходящая цитата для эпиграфа. Казалось бы, задача простая: есть правильный ответ, и достигается он, в простейшем случае, поиском по ключевому слову по полному тексту. Но как раз в этот момент ЧатДжпт выдал мне пару ответов в формате «какой ответ вам нравится больше?»

Первый вариант - да, в главе такой-то части такой-то Гермиона говорит: «цитата».
Второй вариант - нет, во всем тексте цикла нет упоминания об академических статьях.

Ну, ю аск, конечно мне нравится первый ответ! Это же именно то, что мне нужно!
Отметив его как более предпочтительный, я всё-таки проверил цитату. Естественно, цитата оказалась придуманной, ничего такого в тексте нет.

Эта форма обучения ИИ - выбор пользователем более предпочтительного ответа - учит модель отвечать не то, что соответствует действительности, а то, что больше нравится клиенту. А это две разные, и даже зачастую противоположные вещи. Кому вообще нравится то, что происходит в действительности?

Comments

[juan_gandhi]

Он ведёт себя как типичный аналитик или маркетолог. В программисты не годится, да и во врачи, в общем-то тоже. Потому что в этом случае нельзя врать.

Если интервьюируемый на позицию программиста использует "ИИ" для поиска ответов, то нужно задавать вопросы, на которые нет ответов. Тут он и обломится. Он же не может отказать.

Я вчера пошёл на grok.com и попросил объяснить, почему при повышенном сахаре человеку холодно. Объяснил, толково. И я тут же спросил, почему при пониженном сахаре человеку холодно. Тут же объяснил, почему так.

Ему пофиг. Его задача - ублажить. Вот он и ублажает. Не исключу, что это то, чего хотят большинство собеседников вообще - чтоб их ублажили.

[greenfree2002]

Да, похоже.
Так а на самом деле, при каком сахаре человеку холодно? И вообще влияет ли сахар на то, холодно ли человеку, или это индивидуально?

[juan_gandhi]

Индивидуально я сейчас просто по мёрзнущим ногам определяю, что у меня сахар высокий.