LTX Video: como gerar e revisar vídeo a partir de áudio

Para gerar um vídeo a partir de áudio com o LTX-2.5 no ComfyUI, comece por um trecho sonoro autorizado e escolha o workflow local Audio-to-Video. Carregue o áudio, defina o início e a duração do trecho e escreva uma descrição visual. Nesse workflow, o segmento sonoro fica fixo enquanto o modelo gera o vídeo. A revisão consiste em comparar a faixa esperada com a saída e conferir se os movimentos visuais acompanham os momentos que importam para a cena.

O roteiro abaixo usa o grafo oficial de duas etapas como referência. Ele pressupõe um ambiente ComfyUI preparado e propõe um teste curto antes de qualquer produção. A gravação, os personagens e os marcadores de tempo do exemplo são fictícios. Use o procedimento para montar sua própria avaliação e medir o comportamento na máquina em que o workflow realmente vai rodar.

Defina o que o áudio deve orientar

Use esse workflow quando já existe uma faixa e a cena precisa acompanhar seu ritmo. Pode ser uma fala autorizada, um trecho musical ou um som de ambiente. Na prática, comece por dizer o que a imagem deve acompanhar. Em uma locução, pode ser a mudança de expressão numa pausa. Em uma cena de produto, pode ser uma ação visível num som específico. Em um clipe musical, o movimento pode acompanhar a energia de um trecho sem reproduzir cada batida literalmente.

O guia oficial de Audio-to-Video descreve o áudio como a entrada que orienta ritmo e movimento e permite uma imagem opcional para o quadro inicial. O prompt indica o assunto, o local, a câmera e o estilo. Se a sua primeira exigência é começar de uma imagem e avaliar sua transformação, o ponto de partida é outro. O guia de imagem para vídeo no ComfyUI usa o template Wan 2.2 com uma imagem inicial como referência principal.

Imagine um plano fictício para um treinamento: uma instrutora está à mesa e diz “Abra a tampa. Depois, gire a peça”. Entre as duas frases há uma pausa clara. Você quer avaliar se a cena sustenta o olhar e faz um gesto discreto depois da pausa. Antes de gerar, decida se o gesto exato é obrigatório ou se basta a transição de postura. Se o vídeo ensinar uma ação física com risco de erro, planeje comprovar a demonstração em material próprio antes de usá-la em produção.

A fonte oficial do modelo também publica exemplos de comunidade. O clipe vinculado neste artigo está no cartão IC-LoRA: Audio-Only, atribuído a FredBliss na página do LTX-2.5. O clipe tem cerca de cinco segundos, mostra uma pessoa à mesa e serve para observar expressão e gestos em um plano curto. O cartão descreve uma variante comunitária diferente. O clipe de galeria não é a gravação de um teste do grafo local com faixa fixa explicado neste guia.

Prepare um trecho que você consiga revisar

Escolha uma entrada em que os sinais sonoros que importam sejam distinguíveis. Para uma primeira avaliação de fala, prefira uma pessoa por vez, uma frase curta e uma pausa que dê para localizar. Música alta, vozes sobrepostas e ruído podem dificultar a identificação de onde o movimento deveria mudar. Se o projeto final depende dessas condições, inclua um teste específico depois do caso simples. Assim, você sabe em qual situação a revisão ficou mais difícil.

Use apenas gravação e imagem autorizadas para o trabalho. Separe uma cópia de teste com nome e versão identificáveis. Se a origem for longa, guarde o ponto de início e o tempo escolhido. Marque também os momentos que vão orientar a conferência, como a entrada da voz e uma pausa no meio. Você poderá comparar o mesmo marcador em várias saídas sem procurar de novo onde ele aparece na gravação.

No exemplo fictício, a faixa original tem mais tempo do que a cena precisa. A primeira frase começa depois de uma curta folga. A segunda vem após uma pausa. Ao selecionar o trecho, preserve margem suficiente antes da primeira palavra e evite cortar a última sílaba. O objetivo é avaliar um plano completo. Se você começa no meio da fala, um problema aparente de sincronização pode ter sido introduzido antes de a geração começar.

Descreva o objetivo do áudio em uma frase no registro da cena. “A pausa separa as duas instruções” é um critério mais útil que “precisa ficar natural”. Para música ou ambiente, identifique o evento em termos igualmente observáveis. Um impacto, uma mudança de intensidade ou uma entrada de instrumento dá à equipe um ponto para comparar. Quando o som serve apenas de atmosfera, uma avaliação da cadência geral pode ser mais adequada que perseguir um gesto num quadro específico.

Abra o grafo local correto no ComfyUI

A documentação do LTX orienta baixar o workflow Audio-to-Video e abrir o arquivo no ComfyUI. Confira o nome do grafo antes de carregar os modelos. A tabela oficial de compatibilidade identifica o arquivo LTX-2.5_A2V_Two_Stage_Distilled.json e as entradas esperadas: áudio, descrição visual e uma imagem inicial opcional. Isso ajuda a distinguir o workflow local de um template que gera áudio novo a partir de texto.

No painel Workflow Overview, confira nós e arquivos de modelo ausentes. O guia do workflow lista o transformer destilado, o codificador de texto, os VAEs de vídeo e áudio e o upscaler espacial. O aprimorador de prompt tem seu próprio arquivo quando utilizado. A documentação de integração com ComfyUI detalha a organização desses componentes. Use os arquivos e as variantes que o grafo realmente pede. Um nome parecido de outro workflow pode ocupar o mesmo tipo de campo e ainda ser incompatível.

Com os nós presentes, siga o caminho do arquivo até a saída. Localize LoadAudio, o recorte TrimAudioDuration, os estágios de geração e o nó que salva o vídeo. Essa leitura dá uma ordem para diagnosticar erros. Se o áudio não entrou, ainda não faz sentido ajustar refinamento. Se o erro aparece só quando o vídeo é decodificado, você já sabe que precisa investigar outra etapa.

A equipe também deve registrar se o workflow foi executado localmente ou em um serviço remoto. O guia aqui trata do grafo local do ComfyUI, com arquivos de modelo e infraestrutura sob sua responsabilidade. A experiência de um serviço hospedado pode ter recursos e controles diferentes. Verifique os requisitos, o espaço para os arquivos, as dependências do grafo e as permissões de uso antes de planejar um lote. O primeiro teste curto ajuda a descobrir se a configuração serve na prática.

Configure e rode a primeira versão

1. Selecione a faixa em LoadAudio. Confirme nome e versão. Escute o arquivo autorizado para localizar o início da fala ou o evento sonoro que vai orientar o teste.
2. Defina o recorte em TrimAudioDuration. Informe o ponto de início e a duração do trecho. O comprimento do vídeo segue esse segmento e pode ficar ligeiramente diferente após o ajuste à contagem de quadros.
3. Escolha o quadro inicial, se necessário. Se precisa abrir em uma imagem definida, carregue-a em LoadImage e habilite a entrada de imagem. Sem essa referência, descreva o início no prompt.
4. Escreva a cena visual. Registre assunto, ambiente, câmera e estilo. Mantenha a instrução simples para que a revisão indique o que precisa ser alterado.
5. Rode e guarde a saída. Clique em Run no ComfyUI. Preserve o MP4 associado à versão do grafo e ao recorte de áudio que foram usados.

Para a instrutora fictícia, uma descrição possível é: “Plano médio estável de uma instrutora diante de uma mesa clara. As mãos repousam perto de uma peça simples. Na pausa, ela muda o olhar para a peça e prepara um gesto discreto. Fundo uniforme e iluminação suave”. A faixa já contém as palavras. O texto identifica o que deve aparecer na imagem e o que você vai observar. Se a locução mudou, prepare outra faixa e trate a troca como um teste próprio.

Se usar uma imagem inicial, escolha uma que já mostre a composição pretendida. Um rosto encoberto ou mãos fora da área visível tornam a revisão desses detalhes mais difícil. Comece com uma cena simples e guarde a imagem junto da configuração. Para avaliar o efeito de retirar a imagem, use o mesmo áudio e a mesma descrição na segunda tentativa. Registre a ausência da imagem como a alteração que está sendo testada.

O guia oferece aprimoramento do prompt positivo. Caso use o recurso, registre essa escolha. Para comparar alterações pequenas na descrição, deixe o comportamento do aprimorador igual nas duas versões. Se uma opção produz uma expansão diferente, ela pode influenciar a imagem. Anote a configuração antes de concluir que um desvio veio apenas da frase que você editou.

Use uma duração curta e uma resolução compatível com o primeiro teste. A documentação explica que duração maior e resolução maior podem elevar a necessidade de memória. Aumente a exigência depois de confirmar que o caminho completo funciona. Registre separadamente o tempo de preparação, a geração e a decodificação quando o ambiente mostrar essas etapas. Uma falha antes de sair o MP4 pede uma análise diferente de um arquivo salvo que já pode ser revisado.

Entenda por onde passam áudio e vídeo

No grafo descrito pela LTX, o VAE de áudio codifica o recorte em uma representação que participa do condicionamento. O workflow mantém essa representação fixa durante as duas etapas. O primeiro estágio gera vídeo numa resolução de base. O segundo amplia espacialmente a saída em duas vezes e faz um refinamento curto. Essa divisão ajuda a localizar onde o fluxo usa a faixa e onde prepara a imagem final.

Na saída, o grafo separa os ramos e decodifica o vídeo. O guia explica que o SaveVideo anexa a faixa original recortada ao MP4, em vez de sintetizar uma nova voz. Isso descreve como o grafo usa o áudio. Para a sua revisão, abra o MP4 e confirme que a faixa ouvida corresponde ao recorte pretendido. A conferência inclui início, fim e pontos marcados, além de verificar se não houve diferença inesperada na exportação ou na montagem posterior.

O número de quadros é ajustado a um valor compatível com o workflow. O guia informa que a contagem segue um quadro mais um múltiplo de oito. Por isso, o tempo final pode diferir ligeiramente da duração escolhida no recorte. Em uma cena isolada, a diferença pode ser pequena. Quando você precisa encaixar um clipe entre cortes definidos, use a duração medida no MP4 e confira o encaixe na timeline antes de aprovar.

Separe a confirmação da faixa da avaliação de sincronia. Você pode ter a gravação correta e ainda ver uma expressão fora do momento esperado. Também pode obter gestos convincentes e descobrir que exportou um recorte diferente. Marque cada falha no campo correspondente. Trocar o prompt para corrigir um recorte errado pode desperdiçar uma rodada. Trocar o áudio para corrigir uma escolha de câmera pode invalidar a comparação com as versões anteriores.

Revise faixa, duração e sincronia no MP4

Veja o arquivo de ponta a ponta no reprodutor e no formato em que ele será usado. Comece escutando o trecho e confira se corresponde ao registro. Depois repita com atenção à imagem. No exemplo, observe se a primeira frase aparece inteira, se a pausa continua no mesmo ponto e se a mudança de olhar acontece numa parte útil da cena. Se a faixa tem música ou efeitos, compare o movimento nos momentos que você marcou antes de gerar.

• Faixa. Identifique se é o trecho autorizado e se o começo e o fim estão completos para a finalidade da cena.
• Tempo. Registre a duração real do MP4 e confira se ela cabe no intervalo previsto da montagem.
• Ritmo. Verifique se a ação visual respeita os marcos sonoros definidos. Anote o segundo aproximado de cada desvio.
• Continuidade. Observe mãos, rosto, enquadramento e cenário em pontos diferentes. A cena pode acompanhar a voz e ainda ter um defeito visual.
• Uso. Confirme se a saída serve como teste, referência interna ou peça final. Cada finalidade tem exigências próprias de validação.

Quando a boca está visível e a fala é importante para o resultado, confira se o movimento acompanha trechos curtos. Pare antes e depois de uma pausa. Se houver defasagem, identifique se começa cedo ou se se torna mais perceptível perto do fim. Uma observação como “o gesto chega antes da segunda frase” orienta a próxima tentativa melhor que “parece dessincronizado”. O workflow condiciona o vídeo ao áudio, e a aderência precisa ser julgada em cada saída.

Assista também em velocidade normal, sem parar nos quadros. A inspeção isolada ajuda a localizar deformações e detalhes, enquanto a reprodução contínua mostra se um movimento distrai ou confunde a fala. Em um treinamento, deixe outra pessoa identificar qual instrução a cena comunica. Se a imagem sugere outra ação, a saída pode precisar de revisão mesmo que o ritmo geral pareça adequado.

Use o mesmo marco em duas versões

Para comparar o ritmo, desenhe uma ficha com uma linha para cada marco sonoro. Na primeira linha, registre o início da voz e o que a imagem deve comunicar naquele ponto. Na segunda, anote a pausa e a posição do olhar ou das mãos. Na terceira, marque o fim da frase e o enquadramento disponível para o corte. Preencha as colunas das duas versões com o que foi observado. O mesmo marco deve significar a mesma coisa nas duas avaliações.

Se a cena não tem fala, adapte a ficha para o som que orienta a ação. Por exemplo, numa demonstração fictícia com o som de uma peça tocando a mesa, o momento do contato visual é mais importante que a quantidade de movimento entre os marcos. Avalie a coincidência percebida em velocidade normal e depois confira o ponto na timeline. Quando o critério for deliberadamente flexível, descreva o intervalo aceitável em vez de exigir correspondência em todos os quadros.

Confirme a duração por um critério separado. Anote o tempo selecionado no recorte e o tempo que a timeline mostra para o arquivo exportado. Verifique se a diferença desloca uma fala ou apenas altera a folga depois dela. Isso ajuda a decidir entre ajustar a montagem, trocar o trecho selecionado ou gerar outra versão. Evite compensar uma diferença de duração mexendo na faixa original antes de localizar onde o desvio apareceu.

Faça uma nova tentativa dirigida

A faixa começa no ponto errado. Volte ao TrimAudioDuration e confira o arquivo de entrada e o instante selecionado. Recorte de novo com o início que deseja preservar e nomeie a versão. Gere usando a mesma descrição e registre que o áudio mudou. Assim, a diferença de ritmo fica ligada a uma causa observável.

O enquadramento abre diferente. Avalie se a primeira imagem foi habilitada e qual arquivo entrou. Se a abertura precisa de uma posição específica, use uma imagem autorizada com essa composição. Se a imagem não é necessária, torne o primeiro plano mais claro no prompt. Compare as versões com a mesma faixa para separar a escolha visual da mudança sonora.

O movimento chega fora do ponto útil. Simplifique a ação descrita. Na cena fictícia, você pode testar apenas a mudança de olhar na pausa, deixando as mãos em posição estável. Se a montagem exige um gesto preciso, trate a geração como material para revisar e editar. O teste deve mostrar se a mudança melhorou a leitura da instrução, em vez de apenas produzir outra imagem atraente.

O workflow falha por memória. Identifique a etapa e anote os parâmetros. Comece por reduzir a duração do recorte ou a resolução para verificar se o fluxo termina. O guia descreve decodificação em blocos para aliviar a memória nessa etapa e orienta mexer nesses controles quando o problema está na decodificação. Evite alterar vários componentes e configurações ao mesmo tempo. Se uma variante oficial for usada, registre que ela mudou a base de comparação.

A saída está incompleta ou a faixa não corresponde ao esperado. Confira qual MP4 foi aberto e de qual execução ele veio. Siga o ramo até SaveVideo e compare o arquivo exportado com o recorte de entrada. Se a diferença foi introduzida depois, na montagem, revise essa etapa separadamente. O primeiro objetivo é saber onde o problema apareceu antes de gerar outra cena.

Quando duas saídas têm defeitos diferentes, defina qual requisito tem precedência. Para uma cena instrucional, um gesto que comunica a ação errada pode invalidar o clipe. Para um estudo de ritmo, o mesmo gesto pode ser secundário, desde que a faixa e as transições estejam legíveis. Registre o critério antes de escolher a versão e use o guia de referências e planejamento de cenas para organizar o que cada plano precisa mostrar.

Registre a versão que pode seguir para montagem

Guarde o MP4 revisado com a referência autorizada, o ponto de início e a duração do recorte, o JSON do workflow e uma nota de avaliação. Inclua a imagem inicial quando for usada e registre o prompt, a resolução e os componentes selecionados. Se o áudio for restrito, indique o local em que a equipe autorizada pode acessá-lo. Assim, a próxima pessoa consegue saber qual material deu origem à cena sem procurar em arquivos soltos.

Para uma sequência maior, compare os finais e inícios dos clipes antes de unir as cenas. Use a duração real de cada exportação, confira se uma frase foi cortada e escute a transição na timeline. Um clipe aprovado sozinho pode precisar de ajuste quando encosta no seguinte. O guia de criação e revisão de projetos de vídeo traz outra forma de organizar decisões por cena e por versão.

Um registro fictício pode dizer: “Cena A03, versão 02. Faixa e pausa conferidas. Mudança de olhar adequada ao roteiro. Mãos precisam de nova inspeção no corte final. Aprovado para teste de montagem”. A nota explica o alcance da aprovação e qual etapa ainda falta. Se precisar refazer, use a mesma referência e ajuste primeiro o ponto identificado. Isso economiza tempo e torna possível explicar o que foi corrigido.

Se outra pessoa repetir a geração, compare primeiro os insumos. O arquivo de áudio, a imagem, o recorte e o texto precisam corresponder à versão registrada. Quando o ambiente ou os modelos mudarem, guarde a configuração nova ao lado da anterior. Um teste futuro pode responder se aquela configuração continua adequada sem apagar o motivo da aprovação inicial.

Para uma entrega com áudio já aprovado, decida quem tem permissão para alterar o recorte. Uma revisão visual pode pedir mais folga de imagem sem autorizar cortar a gravação. Se isso acontecer, volte ao registro e confirme se a mudança cabe na montagem. Essa decisão evita que o vídeo aprovado deixe de corresponder à faixa que a equipe pretendia usar.

Perguntas frequentes sobre LTX Video a partir de áudio

Qual workflow do LTX-2.5 devo usar para partir de um áudio?

Use o grafo oficial Audio-to-Video de duas etapas do ComfyUI, identificado na documentação como LTX-2.5_A2V_Two_Stage_Distilled.json. Ele recebe áudio e descrição visual. A imagem inicial é opcional.

O workflow recria a voz no vídeo?

O guia descreve um fluxo que mantém o áudio fixo como condicionamento e anexa ao MP4 a faixa original recortada. Abra a saída para verificar se o trecho corresponde ao escolhido.

Por que a duração do vídeo pode diferir um pouco do áudio recortado?

A contagem de quadros segue o formato exigido pelo workflow. O guia indica um quadro mais um múltiplo de oito. Meça a duração do arquivo real antes de encaixá-lo na montagem.

O vídeo de galeria usa o workflow do guia?

A página oficial vincula o clipe ao exemplo comunitário IC-LoRA: Audio-Only. Ele ilustra uma cena curta para observação visual. O guia explica o grafo local Audio-to-Video de duas etapas com faixa fixa.

Como revisar se os movimentos acompanham o áudio?

Marque a entrada de fala, pausas e outros eventos no trecho de referência. Compare a faixa e o movimento no começo, no meio e no fim. Registre o instante de um desvio e ajuste uma variável por tentativa.