Ілон Маск заявив, що компанії, які займаються штучним інтелектом, вичерпали всі доступні людські дані для навчання своїх моделей. На думку Маска, технологічним фірмам доведеться звернутися до «синтетичних» даних, тобто матеріалів, створених самими AI-моделями, для розробки та вдосконалення нових систем. Цей процес вже набирає обертів у сфері швидкорозвиваючих технологій.
Про це розповідає ProIT
Вичерпання людських знань у навчанні AI
Під час інтерв’ю, яке транслювалося на його соціальній платформі X, Маск зазначив: «Кумулятивна сума людських знань була вичерпана в навчанні AI. Це сталося фактично минулого року». AI-моделі, такі як GPT-4, що живить ChatGPT, навчаються на величезних масивах даних з інтернету, де вони вчаться розпізнавати патерни, що дозволяє їм передбачати, наприклад, наступне слово в реченні.
Маск додав, що «єдиний спосіб» компенсувати нестачу джерел для навчання нових моделей – це перехід на синтетичні дані, створені AI. Відзначаючи вичерпання сховищ даних, він сказав: «Єдиний спосіб тоді доповнити це — це використання синтетичних даних, де … вона ніби напише есе або запропонує тезу, а потім оцінить себе і … пройде цей процес самонавчання».
Застосування синтетичних даних
Компанії, такі як Meta, яка володіє Facebook та Instagram, вже використовують синтетичні дані для вдосконалення своєї найбільшої AI-моделі Llama. Microsoft також скористалася AI-згенерованим контентом для моделі Phi-4. Google та OpenAI, компанія-розробник ChatGPT, також застосували синтетичні дані у своїй роботі над AI.
Одночасно Маск попередив, що звичка AI-моделей генерувати «галюцинації» – тобто неточні або безглузді результати – становить небезпеку для процесу створення синтетичних даних. У інтерв’ю з Марком Пеном, головою рекламної групи Stagwell, він зазначив, що галюцинації ускладнюють використання штучних матеріалів, адже «як ви дізнаєтеся, чи це … галюцинація відповіді, чи це справжня відповідь».
Якість даних та контроль над ними є однією з юридичних ділянок у бумі AI. Минулого року OpenAI визнала, що було б неможливо створити інструменти такі як ChatGPT без доступу до матеріалів, захищених авторським правом, тоді як представники творчих індустрій та видавці вимагають компенсації за використання їхнього контенту у процесі навчання моделей.
