Чем дольше с ним разговариваешь, тем больше он становится глупым: ученые провели исследование об искусственном интеллекте

Даже техгиганты признают, что современные чат-боты становятся все менее надежными и эффективными во время долгих разговоров. Более того, искусственный интеллект становится более глупым. Новое совместное исследование Microsoft Research и Salesforce показало, что умные алгоритмы буквально "теряются", если задачу разбивать на несколько этапов в формате диалога. Читай также на Люкс о том, почему искусственный интеллект ведет человека к выгоранию.

Анализ более 200 тысяч чатов с участием таких топовых моделей, как GPT-4.1, Gemini 2.5 Pro и Claude 3.7 Sonnet, обнаружил тревожную тенденцию: чем длиннее беседа, тем быстрее падает качество ответов. Цифры говорят сами за себя: если с единичными запросами модели справляются на 90%, то в режиме длительной переписки их эффективность падает до 65%.

Исследователи выяснили, что интеллект моделей снижается лишь на 15%, но показатель их ненадежности взлетает на ошеломляющие 112%. Главная проблема заключается в том, что ИИ начинает генерировать ответы преждевременно, пытаясь угадать решение еще до того, как ты закончишь объяснять контекст.

Еще один странный феномен, который зафиксировали ученые – это "раздувание" ответов. Во многоэтапных диалогах тексты ИИ становятся длиннее на 20–300%. Вместе с лишними словами в тексте появляется больше ложных предположений и галлюцинаций, которые алгоритм затем использует как "истину" для всех последующих реплик в этом чате. Даже новые модели вроде OpenAI o3 или DeepSeek R1, которые имеют дополнительное время на "размышления", не смогли преодолеть эту проблему.

Вместо того, чтобы исправлять ошибки, чат-боты склонны полагаться на свои первые, даже неправильные утверждения, и строить на них всю дальнейшую логику. Это делает использование ИИ вместо традиционных поисковых систем достаточно рискованным шагом, ведь долгий разговор только накапливает ошибки, которые пользователь может принять за достоверную информацию.

Читай также на Люкс, каким образом Ватикан планирует использовать ИИ в своих богослужениях.