Lumiere може анімувати нерухомі зображення чи їхні частини за допомогою ваших текстових підказок.
Технологія поки створює лише короткі відео (тривалістю до 5 секунд) — реалістичні або високоякісні не надто реалістичні, а також «клонує» стиль заданого зображення на незлічену кількість роликів (корисно для створення матеріалів певного бренду).
Так само Lumiere може прибрати та замінити колишнього зайву деталь з вашого улюбленого відео.
У статті New Atlas зазначається, що «просторово-часова архітектура U-netU-Net — згорткова нейромережа, призначена для сегментації зображень.» дозволяє Lumiere створити всю довжину відео одразу — на відміну від попередніх моделей, які часто створювали початковий і кінцевий кадр, а потім намагалися вгадати, що буде між ними.
Наразі це лише дослідницький проєкт, який позбавляє Google від необхідності агресивно обмежувати систему з огляду на авторське право, дезінформацію, зображення оголеного тіла, конфіденційності тощо — процес, який незмінно призводить до нижчої якості вихідних даних у генеративних моделях.