Apple оголосила, що моделі штучного інтелекту насправді не мають здатності до мислення, а лише створюють вигляд розумової діяльності.

Вчені компанії Apple з'ясували, що потужні мовні моделі, на кшталт ChatGPT, не володіють здатністю до логічного мислення і можуть бути швидко заплутані, якщо в умови завдання внести незначні деталі.

У статті під заголовком "Вивчення обмежень математичного мислення в контексті великих мовних моделей" розглядається питання про можливості штучного інтелекту у сфері логічного мислення. Дослідження виявило, що великі мовні моделі (LLM) здатні виконувати елементарні математичні задачі, однак включення незначних даних часто призводить до помилок у рішеннях.

Наприклад, модель цілком може вирішити таке завдання: Олівер зібрав 44 ківі в п'ятницю. Потім він зібрав 58 ківі у суботу. У неділю він зібрав удвічі більше ківі, ніж у п'ятницю. Скільки ківі в Олівера? Однак, якщо при цьому в умову завдання додати фразу "у неділю 5 з цих ківі були трохи меншими від середнього розміру", модель швидше за все віднімає ці 5 ківі від загального числа, незважаючи на те, що розмір ківі не впливає на їх кількість.

Мехрдад Фараджтабар, один з авторів дослідження, зазначає, що подібні помилки свідчать про те, що LLM не осягають змісту завдання, а лише повторюють наявні шаблони з навчальних даних.

"Ми припускаємо, що це зниження [ефективності] пов'язане з тим фактом, що сучасні LLM не здатні до справжньої логічної міркування; натомість вони намагаються відтворити кроки міркування, які спостерігаються в їх навчальних даних", -- йдеться у статті.

Інший фахівець із OpenAI заперечив, що правильні результати можна отримати за допомогою техніки формулювання запитів (prompt engineering). Однак Фараджтабар зазначив, що для складних завдань може знадобитися експоненційно більше контекстних даних, щоб нейтралізувати відволікаючі фактори, які, наприклад, дитина легко проігнорувала б.

Чи означає це, що LLM не може розмірковувати? Можливо. Ніхто поки що не дає точної відповіді, тому що немає чіткого розуміння того, що відбувається. Можливо, LLM "розмірковують", але способом, який ми поки що не розпізнаємо або не можемо контролювати. У будь-якому випадку ця тема відкриває захоплюючі перспективи подальших досліджень.