Дослідники, що займаються розробкою штучного інтелекту, попереджають про "колапс моделі", оскільки ШІ починає навчатися на контенті, створеному ШІ, множачи помилки по експоненті.

Епоха генеративного ШІ настала: всього через шість місяців після появи на сцені ChatGPT від OpenAI, до половини співробітників деяких провідних світових компаній вже використовують цей тип технології в своїх робочих процесах, а багато інших компаній поспішають запропонувати нові продукти з вбудованим генеративним ШІ.

Але, як відомо тим, хто стежить за галуззю, що розвивається, і основними дослідженнями, дані, що використовуються для навчання великих мовних моделей (LLM) та інших трансформаційних моделей, що лежать в основі таких продуктів, як ChatGPT, Stable Diffusion і Midjourney, спочатку надходять з людських джерел - книг, статей, фотографій і так далі - які були створені без допомоги штучного інтелекту, пише VentureBeat.

Зараз, коли все більше людей використовують ШІ для виробництва і публікації контенту, виникає очевидне питання: що станеться, коли контент, створений ШІ, пошириться по Інтернету, і моделі ШІ почнуть навчатися на ньому, а не контенті, створюваному переважно людиною?

Група дослідників з Великобританії та Канади вивчила саме цю проблему і нещодавно опублікувала статтю про свою роботу в журналі arXiv. Те, що вони виявили, викликає занепокоєння за сучасні технології генеративного ШІ та їхнє майбутнє:

 Ми виявили, що використання контенту, створеного на основі моделей, в навчанні викликає незворотні дефекти в одержуваних моделях"

"Заповнення Інтернету нісенітницею"

Зокрема, розглядаючи розподіл ймовірностей для генеративних моделей ШІ "текст-текст" та "зображення-зображення", дослідники дійшли висновку, що "навчання на основі даних, отриманих іншими моделями, призводить до колапсу моделі - дегенеративного процесу, при якому з часом моделі забувають про справжню основу... цей процес неминучий навіть для випадків з майже ідеальними умовами для довгострокового навчання".

Один з провідних авторів роботи, Ілля Шумайлов, в електронному листі VentureBeat написав:
З часом помилки в згенерованих даних накопичуються і в кінцевому підсумку змушують моделі, що навчаються на генерованих даних, ще більше спотворювати реальність. Ми були здивовані, побачивши, як швидко відбувається колапс моделі: вони можуть швидко забути більшу частину вихідних даних, на яких вони спочатку вчилися".

Іншими словами: оскільки навчальна модель ШІ піддається більшій кількості даних, що генеруються ШІ, вона з часом погіршується, створюючи більше помилок у відповідях та вмісті, і набагато менше безпомилкового різноманіття.

Як написав інший автор статті, Росс Андерсон, професор інженерії безпеки Кембриджського університету та Единбурзького університету, у своєму блозі, обговорюючи статтю:
"Як ми затопили океани пластиковим сміттям і заповнили атмосферу вуглекислим газом, так ми збираємося наповнити Інтернет всякою нісенітницею. Це ускладнить навчання нових моделей шляхом парсінгу веб-сторінок, що дасть перевагу фірмам, які вже зробили це або контролюють доступ до людських інтерфейсів у масштабі. Насправді ми вже бачимо, як стартапи AI забивають Інтернет-архів для отримання даних для навчання".

Тед Чанг, відомий фантаст, автор новели "Історія твого життя", за мотивами якої був знятий фільм "Прибуття", нещодавно опублікував статтю, в якій стверджує, що копії копій за допомогою ШІ призведуть до погіршення якості. Він порівняв це з проблемою збільшення артефактів при повторному копіюванні зображення у форматі JPEG.

Інший спосіб уявити цю проблему - як у науково-фантастичному комедійному фільмі 1996 року "Множинність" з Майклом Кітоном у головній ролі, де скромна людина клонує себе, а потім клонує клонів, кожен з яких призводить до експоненціально зменшуючогося рівня інтелекту і збільшення дурості.

Як відбувається "крах моделі"

По суті, колапс моделі відбувається, коли дані, що генеруються моделями ШІ, в кінцевому підсумку забруднюють навчальний набір для наступних моделей.

"Оригінальні дані, створені людьми, представляють світ більш справедливо, тобто містять і неймовірні дані. Генеративні моделі, з іншого боку, мають тенденцію до надмірного розміщення популярних даних і часто неправильно розуміють/спотворюють менш популярні дані", - пояснює Шумайлов.

Він проілюстрував цю проблему гіпотетичним сценарієм, в якому модель машинного навчання навчається на наборі даних з фотографіями 100 кішок - 10 з них з блакитною шерстю, а 90 - з жовтою. Модель усвідомлює, що жовті кішки є більш поширеними, але також представляє блакитних кішок як жовтіших, ніж вони є насправді, повертаючи деякі результати щодо зелених кішок, коли її просять видати нові дані. З часом Початкова ознака блакитного хутра руйнується під час послідовних циклів навчання, перетворюючись із блакитного на зеленуватий і, зрештою, на жовтий. Це прогресуюче спотворення та остаточна втрата характеристик даних меншин є руйнуванням моделі. Щоб запобігти цьому, важливо забезпечити справедливе представництво груп меншин у наборах даних, як з точки зору кількості, так і з точки зору точного відображення відмінних рис. Це завдання складне через те, що моделям важко вчитися на рідкісних подіях.

Таке "забруднення" даних, що генеруються ШІ, призводить до того, що моделі отримують спотворене сприйняття реальності. Навіть коли дослідники навчали моделі не давати занадто багато повторюваних відповідей, вони виявили, що руйнування моделі все одно відбувається, оскільки моделі починають придумувати помилкові відповіді, щоб уникнути занадто частого повторення даних.

"Є багато інших аспектів, які призведуть до більш серйозних наслідків, таких як дискримінація за статтю, етнічною приналежністю чи іншими чутливими ознаками", - каже Шумайлов, особливо якщо генеративний ШІ з часом навчиться видавати у своїх відповідях, скажімо, одну расу, при цьому "забуваючи" про існування інших.

Важливо відзначити, що це явище відрізняється від "катастрофічного забування", коли моделі втрачають раніше засвоєну інформацію. Навпаки, колапс моделі передбачає неправильне тлумачення реальності моделями на основі їх закріплених переконань.

Дослідники, які створили цю роботу, виявили, що навіть якщо для навчання моделі в наступних поколіннях використовується 10% вихідних даних, отриманих від людини, "крах моделі все одно відбувається, просто не так швидко".