Apple разработала собственную нейросеть NeuMan для создания дипфейков

Американская компания Apple разработала собственную нейросеть NeuMan. Программа разработчиков из Купертино "учится" создавать дипфейки с помощью коротких видео. Исходный код опубликован на GitHub. Отмечается, что нейросеть способна создать собственный правдоподобный ролик с участием человека после просмотра видео длительностью не более 10 секунд. Алгоритм NeuMan способен создать трехмерную модель человека. В результате человек может выполнять разные другие действия на том же фоне, что и в оригинальном ролике. Например, на сгенерированных нейросетью роликах герой видео может начать бегать, сделать кувырок или подпрыгнуть. Однако в результате такой "обработки" у видео снижается качество, однако действия персонажа все еще выглядят правдоподобно. Для обучения нейросети используются две модели NeRF (Neural Radiance Fields for Unconstrained, умеет превращать фотографии в объемную анимацию). Первая модель вычисляет человека на фоне и формирует трехмерную модель, а вторая - определяет фон и "дополняет" его. Разработчики посчитали, что нейросеть будет использоваться для приложений в дополненной реальности. Ранее в соцсетях опубликовали дипфейк, в котором актер с лицом Киану Ривза в роли Данилы Багрова прогуливается по Санкт-Петербургу и отыгрывает сцены из первой части фильма "Брат".