ByteDance, a empresa por trás do TikTok, lançou uma nova ferramenta de inteligência artificial chamada MagicVideo-V2 que amplia significativamente os limites na geração de texto para vídeo.
MagicVideo-V2 aproveita IA de última geração para produzir conteúdo de vídeo de alta qualidade a partir de entradas de texto. Em avaliações humanas comparando vídeos criados pelo MagicVideo-V2 e outros geradores líderes de texto para vídeo, como Pika 1.0 e Stable Diffusion-XT, a nova ferramenta da ByteDance superou visivelmente os concorrentes.
De acordo com a página GitHub do projeto, ele combina um “modelo de texto para imagem, gerador de movimento de vídeo, módulo de incorporação de imagem de referência e módulo de interpolação de quadros em um pipeline de geração de vídeo ponta a ponta”.
O modelo MagicVideo-V2 começa criando uma imagem de 1024×1024 que representa o texto inserido. Essa imagem estática é então animada, aprimorada e refinada. Finalmente, o módulo de interpolação aumenta a animação para 94 quadros. Isso cria uma saída ricamente animada.
Essa é a ciência, mas em termos práticos, como o MagicVideo-V2 pode ser usado?
Em teoria, poderia agilizar a criação de vídeos para influenciadores e profissionais de marketing de mídia social, ajudar a aumentar drasticamente a produção de vídeos para organizações de mídia ou criar clipes animados para educação e entretenimento.
Houve grandes avanços na IA de geração de vídeo
A taxa de melhoria da IA generativa é elevada e não mostra sinais de abrandamento. Stability AI, a empresa por trás da Stable Diffusion, começou recentemente a experimentar a geração de modelos 3D e também lançou um modelo de preços de assinatura. Runway, uma startup de vídeo de IA em Nova York, lançou uma grande atualização em sua principal ferramenta de produção de filmes de IA em setembro do ano passado.
Com seu domínio do mercado de entretenimento de vídeo de formato curto através do TikTok e Douyin (uma plataforma chinesa de compartilhamento de vídeo), a ByteDance está em posição de maximizar o valor do MagicVideo-V2.
Em meados do ano passado, também lançou um gerador de música alimentado por IA chamado Ripple. A oportunidade para os usuários criarem vídeos incrivelmente complexos e adicionarem áudio gerado usando essas ferramentas coloca o TikTok à frente de seus concorrentes nas mídias sociais focadas em vídeo e será um desafio para outros acompanharem se suas inovações continuarem.
