ШІ створює ілюзію знання: чому з ChatGPT ми стаємо впевненішими, але не завжди розумнішими

ШІ може допомогти людині працювати швидше й ефективніше, але є побічний ефект: разом із відповідями він нерідко дає нам упевненість у знаннях, яких насправді немає. Анатолій Амелін, виконавчий директор і співзасновник «Українського інституту майбутнього», у своєму блозі у Facebook розмірковує, як штучний інтелект «демократизував» ефект Даннінга — Крюґера, чому навіть професіонали помиляються, покладаючись на ШІ, та яке просте правило допомагає відрізнити власне знання від «позиченого» у чатбота.

Знаєте про ефект Даннінга-Крюґера? Якщо просто – це коли люди з низьким рівнем знань сильно переоцінюють свої здібності. Але з'явився ШІ, і Даннінг-Крюґер отримав найкращий підсилювач в історії.

Людина без знань у темі кидає запит у модель, отримує гладку впевнену відповідь і часто вірить їй більше, ніж живому фахівцю. Перевіряти? Навіщо, там же все так гарно написано!

Найіронічніше, що науковці це перевірили, і з ШІ класичний Даннінг-Крюґер зникає. Не тому, що всі порозумнішали. Просто тепер переоцінюють себе всі, і слабкі, і сильні. А ті, хто вважає себе знавцями ШІ, помиляються в самооцінці ще більше.

Тобто ШІ не посилив ефект Даннінга-Крюґера. Він його демократизував!

Ще 2015 року в Єльському університеті помітили дивну річ. Людина, яка щойно щось погуглила, починає вище оцінювати свої знання навіть у темах, яких не шукала. Навіть якщо пошук нічого корисного не дав.

З чат-ботом ефект сильніший. Група, яка розбиралася в темах через ChatGPT, переоцінила своє розуміння найбільше, а пояснити тему своїми словами змогла гірше за тих, хто працював без ШІ!

ШІ дає не знання, а впевненість, що воно у вас є.

Хто такі користувачі ШІ?

Коли хтось каже «я працюю з ШІ», це може означати що завгодно: від «питаю замість Гугла» до «побудував систему, яка сама веде процеси». Між цими крайнощами прірва.

• в Україні 63% дорослих ШІ взагалі не користуються;
• серед тих, хто користується, переважають найпростіші сценарії. Майже половина повідомлень у ChatGPT – це запитання, ще 40% – прохання щось зробити, здебільшого написати чи відредагувати текст;
• агентами, які самі виконують багатокрокові задачі, у 2025 році користувалися 31% розробників. Нагадаю, це найпросунутіша в ШІ професія;
• усю або більшу частину роботи виконують із ШІ лише 2% працівників США.

Отже, більшість людей, які впевнено міркують про «можливості ШІ», бачили його на рівні пошуковика й редактора текстів.

Турецькі школярі з доступом до ChatGPT розв'язували вправи на 48% краще. На іспиті без нього вони написали на 17% гірше за тих, хто ШІ не мав зовсім. Найкумедніше, що модель давала правильну відповідь лише приблизно в половині випадків, а учні просто її переписували.

Досвідчені програмісти з ШІ витрачали на задачі на 19% більше часу. Після експерименту вони були певні, що прискорилися на 20%.

Якщо попросити модель переказати наукову статтю «точно», вона узагальнює ще сильніше, ніж без такого прохання.

Консультанти BCG намагалися вказати моделі на помилки. Модель їх не визнавала, а засипала людей новими аргументами. Дослідники Гарвардської школи бізнесу назвали це persuasion bombing.

Юрист у Нью-Йорку подав до суду шість справ, вигаданих ChatGPT. Засумнівавшись, він спитав у ChatGPT, чи справи справжні, і той упевнено підтвердив. Закінчилося санкцією в $5 000 для юристів та їхньої фірми. Відтоді світова база судових справ із вигаданими ШІ матеріалами перевищила 2 000. Наш Верховний Суд теж уже отримав касаційну скаргу з п'ятьма постановами ВС, яких не існує!

І щоб ніхто не думав, що це проблема аматорів: Deloitte повернула уряду Австралії частину гонорару за звіт вартістю $440 000, в якому знайшли неіснуючі посилання.

За глобальним опитуванням 48 тисяч людей у 47 країнах:

• 66% працівників хоча б інколи беруть відповідь ШІ без перевірки, а
• 56% уже помилялися в роботі через ШІ
• 42% працівників роблять це не зрідка, а іноді або частіше.

У моделі немає внутрішнього сигналу «я цього не знаю». Правду і вигадку вона подає однаково впевнено. А ще любить погоджуватися з користувачем: торік OpenAI навіть відкликала оновлення своєї моделі, бо вона стала надто лестивою.

Мій улюблений сюжет із практики. Клієнт не читає звіт, над яким команда живих експертів працювала тижнями, а просить ШІ «дати вердикт». Отримує спотворений переказ і список претензій, частину яких модель придумала сама. І щиро вважає, що звіт перевірено.

ШІ не робить людину розумнішою, зате робить її впевненішою. Досвідченого він справді підсилює, а тому, хто в темі не розбирається, дає лише видимість сили. У задачах поза межами можливостей моделі навіть консультанти BCG з ШІ на 19 відсоткових пунктів рідше знаходили правильне рішення, ніж колеги без нього.

Тож питання не в тому, яка модель краща. Питання в тому, чи здатні ви перевірити її відповідь.

Моралі не буде, буде порада)

1. Головне, читайте самі. Кілька сторінок висновків займають кілька хвилин, а помилка в рішенні коштує значно дорожче.
2. Використовуйте ШІ для пошуку, а не для вердикту. Запит «покажи, де сказано X, з цитатою» перевіряється за хвилину, а запит «оціни звіт» не перевіряється ніяк.
3. Цифри, дати й посилання звіряйте з першоджерелом.
4. Не перевіряйте ШІ тим самим ШІ. Іншою моделлю теж не варто: моделі помиляються схоже.
5. І простий тест. Закрийте чат і поясніть відповідь своїми словами. Не виходить? Тоді це не ваше знання, а позичене!

ШІ — потужний множник. Але множник працює лише тоді, коли є що множити!

Читайте також

ШІ, який завжди погоджується: чому це турбує науковців більше, ніж його галюцинації

ШІ допомагає вчитися чи відучує думати: що вперше показала PISA-2025

Титульне фото створене за допомогою ChatGPT

Приєднуйтесь до нашої сторінки і групи у Фейсбуці, спільнот у Viber та Telegram