Фахівці Apple у співпраці з Університетом штату Огайо розробили нову дифузійну мовну модель під назвою Few-Step Discrete Flow-Matching (FS-DFM), здатну генерувати текст у 128 разів швидше порівняно з сучасними аналогами.
Про це розповідає ProIT
Інноваційні особливості FS-DFM
FS-DFM створює повноцінні текстові фрагменти лише за вісім кроків уточнення. Для порівняння, іншим дифузійним ШІ-моделям для цього потрібно понад тисячу кроків. Завдяки унікальному підходу, система швидко адаптується до різних завдань генерації та забезпечує стабільну якість результату.
Головні етапи роботи FS-DFM включають:
- Навчання на багатьох ітераціях уточнення, щоб модель могла ефективно працювати в різних сценаріях.
- Застосування «учительської» моделі, яка допомагає значно покращувати якість тексту на кожному кроці і не виходити за межі логіки початкового тексту.
- Коригування кожної ітерації, що дозволяє досягати фінального результату за мінімальну кількість кроків та гарантувати стабільність роботи.
Показники ефективності та перспективи розвитку
Модель FS-DFM продемонструвала надзвичайно високі результати за двома ключовими критеріями:
- Перплексія: нижчий показник свідчить про природніше та точніше формулювання тексту.
- Ентропія: дозволяє визначити, наскільки впевнено модель підбирає слова, зберігаючи баланс між оригінальністю та передбачуваністю.
Навіть компактні версії FS-DFM, що містять 1,7, 1,3 та 0,17 млрд параметрів, стабільно демонструють кращу якість тексту та більш надійний рівень ентропії у порівнянні з потужнішими конкурентами Dream (7 млрд параметрів) та LLaDA (8 млрд параметрів).
«Розробники планують опублікувати код та контрольні точки моделі, щоб спростити відтворення результатів і подальші дослідження».
Цей крок має сприяти відкритості інновацій та пришвидшити розвиток технологій генерації тексту за допомогою штучного інтелекту.