Исследователи из Китая и Канады представили инновационную концепцию сжатия данных на основе искусственного интеллекта под названием LMCompress. Этот алгоритм позволяет существенно уменьшить объемы данных без потерь, что особенно актуально в условиях быстрого обмена информацией между пользователями.
Об этом сообщает ProIT
Учитывая растущие потребности в эффективном хранении и передаче больших объемов данных, особенно на электронных носителях, эта технология становится чрезвычайно важной. Во время презентации концепции ведущий автор исследования, Мин Ли, отметил, что суть LMCompress заключается в понимании данных.
Принципы работы алгоритма
Как объясняет Мин Ли, если человек хорошо понимает материал, он может представить его в сжатой форме. Аналогично, алгоритм LMCompress использует мощные языковые модели искусственного интеллекта для более глубокого усвоения и обработки данных, что повышает эффективность их сжатия. Известный математик Клод Шеннон выдвинул подобную идею еще в 1948 году, считая, что правильное понимание данных позволяет их эффективнее передавать.
Мин Ли подчеркивает, что если большая языковая модель способна корректно анализировать данные, она может с точностью предсказать, какие данные следует передавать следующими. Этот подход позволяет достигать значительного улучшения сжатия данных без потери их качества. По результатам испытаний исследователи подтвердили, что благодаря использованию ИИ удается удвоить показатели сжатия для различных типов информации, включая тексты, видео и аудиофайлы.
Перспективы применения
Мин Ли также отметил, что алгоритм LMCompress имеет потенциал для дальнейшего усовершенствования и внедрения в реальной жизни. По его словам, исследование открывает новую эру в сжатии данных с помощью больших языковых моделей на базе искусственного интеллекта, которые могут стать стандартом во всех гаджетах, заменяя традиционные алгоритмы.
«LMCompress — это алгоритм сжатия, который использует большие модели (большая языковая модель для текстов, большая модель для изображений, видео и т.д.). Он сжимает тексты более чем вдвое лучше классических алгоритмов, изображения и аудио вдвое лучше, а видео чуть менее чем вдвое лучше. Поэтому во время передачи данных вы можете работать примерно вдвое быстрее», — подчеркивает Мин Ли.
В настоящее время результаты исследования опубликованы в известном журнале Nature Machine Intelligence, что подтверждает значимость этого достижения в научном сообществе.