Почему ИИ отвечает вам хуже, чем мог бы

Я давно заметил, что разные люди по-разному пользуются Claude Code, и уровень использования инструмента сильно меняет весь опыт, особенно первичный.

Впервые я с этим столкнулся, когда установил жене Claude Code, и у нее была задача проанализировать переписки ее цветочного магазина в Telegram, чтобы заготовить скрипты и потом оптимизировать общение с клиентами или улучшить его.

Я помню, что аналогичная задача когда-то была у меня в Seller Mate, и тогда это решилось очень просто: я помнил про Telethon. Через него программа заходит в телегу от твоего имени и может все то же, что ты в приложении: читать чаты, искать по ним, отвечать.

Потом я сидел с женой, и она запустила Claude Code с той же задачей. Клод ей предлагал сделать экспорт чатов и закинуть их, чтобы он проанализировал. Меня это удивило, потому что зачем так делать? Достаточно же просто подключить Telethon и вообще регулярно этим пользоваться, потому что, скорее всего, задача не одноразовая. И это буквально быстрее, чем руками скачивать 100, 200 переписок с клиентами.

В общем, я задумался: почему так происходит? А так происходит, потому что Claude Code изначально предлагает самое простое решение. Это значит, что если ты в какой-то области не обладаешь знаниями, скорее всего, он будет давать тебе самое простое решение, которое не факт, что самое лучшее. При том, что возможность использовать лучшие решения благодаря ИИ теперь есть у каждого. Так оказываешься в эхо-камере: он отражает тебя, твое мнение, твои способности, что плохо с точки зрения роста и развития.

Одна фраза меняет совет

Встал вопрос, можно ли решить эту проблему. Для начала надо было убедиться, что качество выдачи действительно зависит от того, как ты задаешь вопрос. Понятно, что это очевидно, но все равно хотелось убедиться. Поэтому я запустил отдельные чистые сессии, без памяти и настроек, где задавал вопросы разного уровня в одной тематике, и смотрел на выдачу.

Естественно, где человек задавал вопрос правильнее, Клод предлагал более сложные решения. И вывел формулу: если просить не просто решение, а набор решений, и еще попросить дать не самое простое, а лучшее, он работает совсем иначе.

Интересно, что «я не специалист» сам по себе ничего не меняет, но гасит эффект просьбы о лучшем: 11 из 15 вместо 15. Модель честно подстраивается под собеседника и упрощает.

Может ли новичок дотянуться до профи

Все равно стоял вопрос: если у тебя нет знаний в этой сфере, можешь ли ты достигнуть такого же результата, как профессионал? Я запустил новый эксперимент на 10 сложных темах (опреснитель для деревни, свой спутник, пассивный дом и другие) и строил лестницу вопросов, которая помогает новичку приблизиться к профессионалу.

Лестница выглядит так. Сначала спросить, какие вопросы по этой задаче задал бы профессионал. Потом ответить на них про свою ситуацию простыми словами, без терминов. И добавить свою догадку, даже наивную, например «думаю, больше аккумуляторов или генератор на зиму».

Оказалось, что через лестницу можно получить результат намного лучше, чем одним запросом «дай лучшее решение». До профи она не дотягивает, но закрывает больше половины разрыва. При этом план у лестницы лучший из всех вариантов, даже лучше, чем у вопросов профи. Последний шаг до профи только через знания: профессионал знает, между какими вариантами вообще выбирают.

Отдельно интересно, почему сами вопросы профи без твоих ответов мало что дают. Почти все они оказались про твою ситуацию: где деревня, сколько людей, какой бюджет. Ответить на них за тебя модель не может и честно пишет «вы не указали, беру типичный сценарий».

Что говорят компании и наука

Об этом говорят и сами компании. Anthropic измерил, что Клод умеет отвечать очень сложно, но делает это, когда сложный вопрос: уровень сложности запроса и ответа совпадает почти полностью (корреляция выше 0,92). В документации пишут прямо: хотите больше обычного, просите явно. У Google про Gemini то же самое.

Почему модели поддакивают

А эхо-камера вообще следствие обучения: людям больше нравятся ответы, где с ними соглашаются.

• В апреле 2025 года OpenAI откатил обновление ChatGPT: в обучение добавили сигнал из лайков пользователей, и модель начала всем льстить.
• Google DeepMind показал, что модель соглашается с заведомо неверным утверждением, если с ним согласен пользователь, хотя сама знает, что оно неверно.
• Anthropic разобрал около 37 тысяч разговоров, где люди просили у Клода жизненного совета. Если человек не спорил, Клод поддакивал в 9% разговоров, а если спорил - в 18%, вдвое чаще. В новых моделях это заметно снизили, но сам эффект показательный: чем сильнее давишь, тем охотнее модель соглашается.
• В исследовании, опубликованном в Science в 2026 году, ИИ одобрял поступки пользователей на 49% чаще, чем люди. Даже один разговор с поддакивающей моделью снижал готовность людей признать свою ошибку, а таким моделям больше доверяли.

Кому ИИ помогает, а кого подводит

• На узких задачах ИИ подтягивает слабых. В колл-центре новички с ИИ-подсказками стали решать обращения на 34% быстрее, опытные почти не выиграли. Консультанты BCG послабее выросли на 43%, сильные на 17%.
• Но там, где нужен выбор, разрыв растет. На задаче, которую ИИ решает плохо, те же консультанты с ИИ на 19 процентных пунктов реже приходили к правильному ответу, чем без него.
• Предприниматели в Кении получили ИИ-наставника. Слабые стали работать почти на 10% хуже, сильные, возможно, выиграли больше 15%. Вопросы и ответы у них были похожие. Разница была в том, какие советы они выбирали: слабые брали шаблонные вроде «снизить цены» и «дать рекламу».
• Опрос Microsoft: чем больше человек доверяет ИИ, тем меньше проверяет ответы, а уверенность в своих знаниях связана с более критичным взглядом.

Это ровно моя картина: новичок не видит, что ему дали простой или поддакивающий ответ, и доволен им.

Что делать

Поэтому мой вам совет:

1. Просите не решение, а варианты от простого до сильного и лучший, а не самый простой.
2. В незнакомой теме спросите, какие вопросы задал бы профессионал, и ответьте на них про свою ситуацию.
3. Добавьте свою догадку, даже наивную, модели есть с чем спорить.
4. Не пишите «я не разбираюсь», это снижает уровень ответа.

Если в какой-то момент вам кажется, что он тупой, исполняет что-то не так и вы получаете не лучший результат, есть очень высокая вероятность, что вы действительно не так спрашиваете. Страшнее это осознать, когда ты думаешь, что хорошо задаешь вопросы, а оказывается, что вообще не хорошо. И особенно это часто у тех, кто очень много им пользуется, но не вылезает из эхо-камеры.

Как я это проверял

Модель. Claude Code на модели Claude Opus 5.5, каждый прогон в чистой сессии: без памяти, без настроек, без дополнительных навыков и без доступа к интернету и файлам. То есть так, как ответил бы человек, который только поставил программу. Всего около 370 ответов.

Эксперимент 1, бытовые задачи. 5 задач, сформулированных как у обычного человека, например «хочу проанализировать переписки с клиентами в телеграмм». К каждой добавлял одну приписку или ничего, по 3 прогона на вариант. Для каждой задачи заранее, до прогонов, записал, какое решение считать сильным: например, для переписок это постоянный автоматический сбор, а не ручная выгрузка. Отдельная модель (Claude Sonnet) читала ответ и отмечала, стало ли сильное решение главным советом.

Эксперимент 2, сложные темы. 10 тем: солнечная станция для дома без сети, кубсат, культивированное мясо, распознавание речи для малого языка, опреснитель, своя языковая модель, раннее оповещение о землетрясениях, пассивный дом, мониторинг вырубок по спутнику, доставка лекарств дронами. К каждой написал вопросы пяти уровней, от полного нуля до суперпрофи, и варианты лестницы. По 2 прогона, 199 ответов. Каждый ответ вслепую, не видя вопроса, оценили две модели (Claude Sonnet и Claude Opus) по шкале глубины от 1 до 10, плюс план, риски и пользу для профессионала.

Насколько можно верить оценкам. Две модели-оценщика сошлись сильно: корреляция 0,91, в среднем расходятся на 0,4 балла. Интервалы на графике посчитаны бутстрэпом по 20 ответам в строке.

Ограничения.

• Оценщики тоже модели, хоть и две разные. Людей-экспертов я не привлекал.
• 2–3 прогона на вариант. Это наблюдение, а не строгое исследование, небольшие разницы (например, 6,5 и 6,6) лежат в пределах шума.
• «Глубина» частично меряет технический язык: ответ новичку честно пишется проще.
• Факты о ситуации за новичка писал я сам.
• Проверял только Claude. Другие модели могут вести себя иначе, хотя Google и OpenAI в своих руководствах пишут о том же.
• Один ответ (вопрос профи про культивированное мясо) модель стабильно возвращала пустым, его я исключил.

Источники

1. Anthropic Economic Index, «Economic primitives», 15.01.2026. anthropic.com
2. Anthropic, Prompting best practices. platform.claude.com
3. Google, Gemini API: prompt design strategies. ai.google.dev
4. OpenAI, «Expanding on what we missed with sycophancy», 02.05.2025. openai.com
5. Wei et al., «Simple synthetic data reduces sycophancy in large language models», Google DeepMind, 2023. arXiv:2308.03958
6. Anthropic, «How people use Claude for personal guidance», 30.04.2026. anthropic.com
7. Cheng, Lee, Khadpe, Yu, Han, Jurafsky, Science 391, 26.03.2026. doi:10.1126/science.aec8352
8. Brynjolfsson, Li, Raymond, «Generative AI at Work», NBER w31161 (QJE, 2025). nber.org
9. Dell'Acqua et al., «Navigating the Jagged Technological Frontier», HBS Working Paper 24-013, 2023. hbs.edu
10. Otis, Clarke, Delecourt, Holtz, Koning, «The Uneven Impact of Generative AI on Entrepreneurial Performance», HBS Working Paper 24-042 (цифры немного отличаются между версиями статьи). doi:10.2139/ssrn.4671369
11. Lee et al., «The Impact of Generative AI on Critical Thinking», Microsoft Research, CHI 2025. microsoft.com