A Meta revelou o Movie Gen, um modelo generativo de IA focado na mídia, projetado para ajudar e inspirar cineastas, independentemente da escala do projeto.
Um prompt de texto é transformado em um vídeo com som, mas qualquer usuário em potencial que fique intrigado precisará esperar algum tempo, pois não há lançamento público no horizonte.
Apesar disso, Meta afirmou na sexta-feira (4 de outubro) que está “compartilhando esta pesquisa porque acreditamos no poder desta tecnologia para ajudar as pessoas a se expressarem de novas maneiras e para fornecer oportunidades para pessoas que de outra forma não as teriam”.
A empresa disse que espera que um dia as pessoas possam “dar vida às suas visões artísticas” com acesso universal ao programa.
O Movie Gen da Meta não consiste em apenas um modelo avançado, pois combina um “elenco” de modelos fundamentais, sendo o mais poderoso o elemento de texto para vídeo. Na produção de vídeos de IA, o som é gerado para combinar com o cenário ou tema do vídeo.
Pode ser o som de um trem saindo da plataforma da estação ou uma forte chuva durante uma tempestade. Música também será adicionada se for considerado apropriado.
Meta Movie Gen está em cena! Nossa pesquisa inovadora de IA generativa para mídia permite:
-transformar texto em vídeo
-criação de vídeo personalizado
-edição de vídeo de precisão
-criação de áudioE embora seja apenas pesquisa hoje, mal podemos esperar para ver todas as maneiras pelas quais as pessoas melhoram… pic.twitter.com/I4Bq9if3eK
-Meta (@Meta) 4 de outubro de 2024
Como o Movie Gen da Meta foi treinado?
Diz-se que o Movie Gen e suas quatro ‘capacidades’ (geração de vídeo, geração de vídeo personalizada, edição precisa de vídeo e geração de áudio) foram treinados usando “uma combinação de conjuntos de dados licenciados e disponíveis publicamente”, com conteúdo de vídeo provavelmente obtido das plataformas Meta, como Facebook e Instagram.
Um obstáculo anterior para geradores de vídeo era a capacidade de edição. Isso foi abordado, até certo ponto, pela empresa de Mark Zuckerberg.
Movie Gen apresenta um método de edição baseado em texto que você pode usar para uma edição básica. Isso poderia ser “alterar o plano de fundo para um céu noturno de paisagem urbana”, mas fará apenas a alteração especificada.
O gerador de IA pode produzir até 16 segundos de conteúdo de vídeo, com impressionantes 16 quadros por segundo ou, alternativamente, você pode ter 10 segundos de vídeo a 24 quadros por segundo.
A saída de vídeo tem 768 pixels de largura, remontando aos tempos de 1024×768, mas isso é mais que suficiente para combinar com outros formatos HD.
Alguns podem estar esperando a geração de voz, mas há razões válidas pelas quais a Meta não deu esse passo. É muito difícil dominar a geração de fala e também é controverso, com o aumento do conteúdo deepfake.
O factor de risco aumenta no período que antecede as eleições presidenciais no final deste ano e no actual clima político.
A Meta expôs suas intenções com a publicação de sua pesquisa sobre geração de vídeo de IA e do que ela é atualmente capaz.
