Thinking Machines Lab, очолювана колишньою технічним директоркою OpenAI Мірою Мураті, офіційно презентувала свій дослідницький блог, розкривши деталі одного з ключових проєктів — створення моделей штучного інтелекту з відтворюваними відповідями. За даними лабораторії, досягнення послідовності у роботі великих мовних моделей (LLM) може суттєво змінити підходи до використання ШІ у бізнесі та науці.
Про це розповідає ProIT
Шляхи подолання непередбачуваності ШІ-моделей
У блозі під назвою «Defeating Nondeterminism in LLM Inference» дослідник лабораторії Горас Хе аналізує причини виникнення випадковості у відповідях ШІ. Він стверджує, що головна проблема — це спосіб взаємодії та об’єднання GPU-ядр, які виконують обчислення на графічних процесорах Nvidia у процесі інференсу (тобто генерації відповіді після введення запиту). За словами Хе, якщо контролювати цей технічний рівень точніше, можна домогтися більшої передбачуваності у роботі моделей штучного інтелекту.
«Ми віримо, що наука стає кращою, коли її результати відкриті для всіх. Блог Connectionism охоплюватиме різноманітні теми, від чисельних методів до архітектури моделей».
Розробка стабільних і відтворюваних відповідей важлива не лише для користувачів, але й для науковців та компаній, які покладаються на ШІ у критичних завданнях. Крім того, це може значно покращити процес навчання з підкріпленням (reinforcement learning, RL), коли моделі винагороджуються за правильні відповіді. Якщо відповіді постійно різняться, навчальні дані стають менш точними, що сповільнює розвиток технології.
Стратегія відкритості та плани Thinking Machines Lab
Thinking Machines Lab повідомила інвесторам, що використовуватиме навчання з підкріпленням для індивідуального налаштування моделей під потреби бізнесу. Мураті зазначила, що перший продукт лабораторії буде представлений протягом найближчих місяців і стане корисним для дослідників і стартапів, які працюють над власними ШІ-моделями. Водночас поки що невідомо, чи будуть у цьому продукті реалізовані принципи, описані у поточному дослідженні.
Лабораторія також анонсувала регулярну публікацію дослідницьких статей, програмного коду та іншої інформації, щоб зробити свої напрацювання максимально відкритими для спільноти та підвищити власну наукову культуру. Серія блогів під назвою Connectionism є першим кроком у цьому напрямку. Відомо, що OpenAI на початку також декларувала відкритість, однак з часом стала менш прозорою для громадськості.
Запуск дослідницького блогу дає можливість зазирнути у внутрішню кухню одного з найзакритіших стартапів Кремнієвої долини, який оцінюється у $12 мільярдів. Хоча компанія поки не розкриває всіх технологічних деталей, її підхід свідчить про готовність розв’язувати одні з найскладніших питань сучасного розвитку штучного інтелекту. Головним випробуванням для Thinking Machines Lab стане не лише вирішення проблем непередбачуваності, а й здатність перетворити свої дослідження у практичні продукти, що виправдають високу оцінку компанії.