Під час Open Source Week компанія DeepSeek представила свою паралельну файлову систему, відому як Fire-Flyer Fire System (3FS). Згідно з даними компанії, 3FS демонструє вражаючу швидкість читання, досягаючи 7,3 ТБ/с на кластерах даних, що працюють на її власних серверах з 2019 року.
Про це розповідає ProIT
Особливості 3FS
Файлова система 3FS, розроблена на базі Linux, спеціально адаптована для виконання операцій AI-HPC. Це дозволяє нодам GPU безперервно отримувати доступ до численних серверів зберігання даних під час навчання моделей LLM (великомасштабних мовних моделей). Ключовою характеристикою 3FS є пріоритет швидкості випадкового читання, що значно перевищує традиційні підходи до кешування.
Під час навчання моделей штучного інтелекту обчислювальні блоки потребують постійного доступу до випадкових навчальних даних, а зчитування таких даних є одноразовим процесом. Внаслідок цього кеш читання зазвичай не використовується 3FS. Більш того, використання кешу під час навчання LLM може виявитися шкідливим, оскільки повторне зчитування однакових даних може негативно вплинути на модель.
Порівняння з конкурентами
На попередніх етапах DeepSeek заявляла про продуктивність 3FS на рівні 6,6 ТБ/с, включаючи фонові навчальні завдання, що додали ще 1,4 ТБ/с до загальної пропускної здатності читання. Для порівняння, конкурентна файлова система Ceph вперше досягла швидкості читання лише 1,1 ТБ/с на початку 2024 року.
Всі зацікавлені можуть випробувати файлову систему Fire-Flyer та її можливості, завантаживши необхідні файли на сторінці DeepSeek в Github. Якщо 3FS справді демонструє таку продуктивність, вона має всі шанси стати популярною у середовищі розробників.