LM Studio: como testar e comparar modelos locais

No LM Studio, o primeiro teste útil começa com um modelo local carregado e uma tarefa que você sabe corrigir. Baixe um modelo compatível pela aba Discover, selecione o arquivo em Chat e rode uma solicitação com dados fictícios. Depois, repita a mesma solicitação em uma conversa nova, mudando apenas o modelo ou a configuração que deseja avaliar. A comparação deve mostrar o que a resposta acertou, quanto trabalho exigiu para ser corrigida e como o computador se comportou.

Este guia usa o aplicativo desktop e propõe um roteiro de avaliação. O exemplo de solicitações internas é fictício. A capacidade de baixar um arquivo, carregar o modelo e obter uma resposta aceitável depende do ambiente, dos requisitos do aplicativo e do tamanho da tarefa. A documentação orienta os passos do produto. Os resultados de qualidade e desempenho precisam ser medidos na máquina que fará o trabalho.

Escolha uma tarefa que você sabe corrigir

Para começar, use uma tarefa pequena e com resposta verificável. Imagine que uma equipe precisa organizar solicitações recebidas por escrito. Cada mensagem deve virar uma linha com categoria, prazo explícito e trecho de evidência. Se a mensagem não informa o prazo, o campo deve ficar como “não informado”. A atividade é curta, pode ser revisada por outra pessoa e revela se o modelo sabe distinguir uma afirmação daquilo que ficou em aberto.

Escreva o critério de aceitação antes de testar. Neste exemplo, a resposta precisa manter a ordem das mensagens, respeitar as categorias disponíveis e evitar datas inventadas. Um resumo fluente que confunde a categoria ou preenche uma data inexistente falha na tarefa. Separe o que é requisito do que é preferência. Usar uma lista em vez de uma tabela pode ser aceitável num rascunho. Para importar o resultado em outro sistema, a estrutura pode ser obrigatória.

Separe também a função do aplicativo da função do modelo. O LM Studio oferece os meios para buscar, carregar e conversar com modelos compatíveis. O modelo selecionado é o que gera a resposta. Se uma variante funciona melhor para classificar mensagens, isso não transforma o aplicativo em um classificador com resultado garantido. Para entender essa distinção, consulte o guia sobre o que é um modelo de linguagem.

Para avaliar uma tarefa em português, escreva os casos em português e com as expressões que seu trabalho usa. “Até sexta”, “assim que possível” e “depois que a equipe aprovar” exigem tratamento diferente. Uma frase pode indicar urgência sem fornecer uma data de calendário. Defina o que “prazo explícito” significa para o teste. Você pode aceitar “sexta-feira” como texto, mas pedir que o modelo deixe a data numérica em aberto quando o dia de referência não estiver informado.

Baixe um modelo compatível pela aba Discover

O guia inicial do LM Studio orienta conferir os requisitos do computador, instalar o aplicativo e obter um modelo antes de abrir o primeiro chat. Na aba Discover, procure por nome ou pelo identificador do repositório, conforme a documentação de download de modelos. Confira o publicador, a descrição, a variante e as condições de uso na página do modelo. O nome de uma família sozinho não identifica o arquivo que você está baixando.

Um mesmo modelo pode aparecer com opções de quantização diferentes. A quantização reduz a representação numérica usada nos pesos e pode diminuir o tamanho do arquivo, com possíveis diferenças na qualidade. Se a lista oferece variantes com sufixos diferentes, registre o nome completo e a versão escolhida. Para comparar o efeito da quantização, mantenha a família e a versão equivalentes e anote exatamente quais arquivos mudaram. Para comparar duas famílias, trate também suas diferenças de treinamento e de configuração como parte da escolha.

Separe espaço de armazenamento e memória de execução. O arquivo ocupa espaço no disco. Para responder, o aplicativo precisa carregar pesos e manter outras estruturas durante a inferência. Um arquivo caber no disco não prova que o modelo cabe na memória, e um modelo carregar não prova que o contexto desejado vai funcionar na mesma configuração. Verifique a informação apresentada pelo aplicativo e prepare um teste curto antes de baixar várias variantes.

Não escolha um modelo só porque uma avaliação geral o colocou no topo. Leia a descrição e compare com sua tarefa. Para classificar textos curtos, pode fazer sentido começar por um modelo menor e medir o erro real. Para trabalhar com documentos longos, a capacidade de lidar com o material inteiro passa a importar mais. Use o guia de modelos com pesos disponíveis para ampliar a seleção e confirme a licença de cada variante na fonte correspondente.

Se a equipe decidir avaliar famílias distintas, artigos como os guias de Llama e Mistral AI dão contexto sobre esses ecossistemas. Eles não determinam qual variante está disponível ou qual vai responder melhor no seu computador. Antes de baixar, confira o identificador e a versão diretamente na aba Discover e no repositório oficial do arquivo escolhido.

Carregue o modelo e confirme a primeira resposta

Após o download, vá para Chat, abra o seletor de modelos e escolha o arquivo baixado. O guia inicial descreve essa sequência e explica que carregar o modelo normalmente envolve alocar memória para os pesos e outros parâmetros. Se o aplicativo oferecer parâmetros de carregamento, mantenha valores compatíveis com o ambiente e anote o que foi selecionado. Assim, a segunda tentativa pode repetir a preparação em condições semelhantes.

1. Abra uma conversa nova, sem anexos ou mensagens anteriores.
2. Confira o nome do modelo selecionado e se o carregamento foi concluído.
3. Envie uma solicitação curta com conteúdo fictício, por exemplo, “Responda somente com a palavra pronto”.
4. Confirme se a resposta aparece e se o computador permanece em condição de executar o próximo teste.
5. Anote a variante e qualquer alteração feita para concluir o carregamento.

A primeira resposta confirma que a conversa funciona naquele momento. Ela ainda não mede a capacidade de extrair informações do exemplo de trabalho. Se a resposta simples demora ou fica incompleta, registre o sintoma. Confira se o modelo terminou de carregar, se o aplicativo apresenta erro e se outros processos competem pelos recursos. A análise fica mais precisa quando você distingue a etapa de carregamento da etapa de geração.

Se a carga não terminar, comece pelo que é observável. Registre o nome do arquivo e a configuração selecionada. Confira as indicações do aplicativo e as exigências do modelo. Depois, avalie se uma variante menor ou um teste com contexto mais curto atende à primeira pergunta. Evite usar um segundo modelo ao mesmo tempo apenas para ver se ele funciona. Primeiro, descubra se cada alternativa consegue carregar e responder sozinha.

Prepare duas tentativas com o mesmo pedido

Use uma tarefa que caiba em um único prompt. Guarde o texto em um arquivo e cole exatamente o mesmo conteúdo em cada conversa. No exemplo fictício, você pode usar este roteiro:

Classifique cada mensagem como cadastro, entrega ou cobrança. Escreva três campos por linha: categoria, prazo e evidência. Repita o prazo como aparece na mensagem. Quando a mensagem não informar prazo, escreva “não informado”. Use como evidência um trecho literal do texto e mantenha a ordem.

1. “Preciso alterar o endereço de cadastro até sexta-feira.”
2. “O pacote não chegou. Podem informar o status?”
3. “Mandem a segunda via da fatura até amanhã.”

O gabarito esperado usa cadastro e “sexta-feira” para a primeira mensagem, entrega e “não informado” para a segunda, cobrança e “amanhã” para a terceira. Ele preserva prazos relativos como texto. O modelo não precisa adivinhar a data correspondente a “amanhã”. Se a resposta traz uma data numérica sem base, o resultado falha mesmo quando a categoria está correta. Confira também se a evidência citada realmente aparece na mensagem.

Para comparar dois modelos, mantenha o prompt, o formato de saída, a quantidade de casos e os critérios de revisão. Use conversas novas para evitar que uma delas tenha dicas que a outra nunca recebeu. Se existirem instruções do sistema, templates ou parâmetros diferentes, registre-os. Duas famílias podem usar formatos internos próprios. Nesse caso, descreva a comparação como duas configurações de uso, incluindo as diferenças conhecidas.

Para comparar configurações do mesmo modelo, escolha uma variável que você consegue explicar. Pode ser a extensão do contexto ou uma variante de quantização, desde que você documente o que permanece igual. Se mudar várias coisas ao mesmo tempo, a diferença na resposta deixa de apontar para uma causa. Faça uma pergunta por vez: “Esta variante preserva o prazo?” ou “Com esta configuração o modelo conclui a mesma tarefa na máquina usada pela equipe?”.

Inclua ao menos um caso em que a informação está ausente e um em que duas frases parecem se contradizer. Exemplo fictício: “O pacote não chegou. A cobrança está correta. Quero localizar a entrega.” O gabarito pode considerar entrega como categoria porque o pedido principal é de localização. Esse caso testa se o modelo atende ao objetivo da mensagem em vez de classificar pela primeira palavra parecida com uma categoria.

Use conversas separadas ou Split View

Você pode fazer as duas tentativas em sequência. Carregue a alternativa A, envie o prompt, guarde a resposta e depois repita com a alternativa B em uma conversa nova. Esse método serve quando a máquina não comporta duas cargas simultâneas ou quando você quer isolar melhor o desempenho de cada execução. Marque a ordem em que rodou. Se estiver comparando tempo, anote se o modelo já estava carregado no início.

Quando a interface oferecer Split View, abra dois chats lado a lado para conferir o texto. A documentação de solicitações paralelas mostra o envio para dois chats em vista dividida. O anúncio oficial do LM Studio 0.4.0 distingue a vista dividida do processamento paralelo por agrupamento de solicitações ao mesmo modelo. O vídeo oficial mostra dois chats lado a lado, com interface em inglês. Nele, o mesmo modelo recebe perguntas diferentes sobre pizza. Para comparar duas alternativas neste guia, repita exatamente o mesmo pedido nas duas conversas. A execução de duas configurações ao mesmo tempo depende do ambiente e da forma como os modelos são carregados.

Para revisar qualidade, o que importa é poder associar cada resposta ao modelo e à configuração correspondentes. Uma tabela com colunas A e B funciona mesmo se você rodou uma de cada vez. Use a vista dividida para leitura lado a lado quando ela estiver disponível. Se quiser avaliar desempenho, repita o método em condições equivalentes. Duas gerações concorrentes podem compartilhar recursos e mudar o tempo observado em comparação com a execução sequencial.

Se o objetivo é decidir o modelo padrão de uma rotina, registre a configuração testada no próprio nome da tentativa. “A, variante 01, contexto definido” é mais útil que “modelo rápido”. Anote o tempo de carregamento separado do tempo até a primeira parte da resposta e do tempo total. Uma alternativa pode carregar mais lentamente e responder melhor depois da carga. Para um uso eventual, a preparação pode pesar mais. Para uma rotina com várias chamadas, outra medida pode ser mais relevante.

Avalie conteúdo e desempenho em separado

Comece pela correção do conteúdo. Marque para cada mensagem se a categoria está correta, se o prazo foi preservado e se a evidência está no texto. Se houver uma invenção, descreva qual informação foi acrescentada. A resposta pode acertar dois campos e errar o terceiro. Registre o erro no campo correspondente em vez de resumir tudo como “bom” ou “ruim”. Isso mostra o tipo de revisão que o trabalho ainda exigirá.

• Fidelidade. A resposta usou apenas o que estava no texto? Verifique datas, nomes e conclusões que não foram fornecidos.
• Formato. Ela respeitou a ordem e os campos? Uma informação correta fora da estrutura pode exigir ajuste se houver integração posterior.
• Casos incompletos. O modelo reconheceu que o prazo não foi informado? Trate respostas inventadas nesses casos como falhas distintas.
• Recursos. Registre se o modelo carregou, respondeu até o fim e manteve um uso aceitável no computador em que a equipe trabalha.
• Retrabalho. Anote quantos campos precisaram ser corrigidos e quanto esforço de revisão foi necessário para usar a resposta.

Uma ficha simples pode ter uma linha por caso e por alternativa. Preencha o que foi observado, incluindo falha de carga e resposta interrompida. Evite transformar ausência de resposta em nota de qualidade. “A não carregou com a configuração usada” descreve a execução. “A respondeu com o prazo inventado” descreve conteúdo. As duas conclusões pedem ajustes diferentes e devem aparecer em campos diferentes.

O conjunto fictício proposto serve como ponto de partida. Três ou quatro mensagens ajudam a localizar erros óbvios, mas não autorizam escolher um modelo para toda a empresa. Se uma alternativa parece melhor, repita com casos que representam a variedade real do processo e que já foram preparados para teste. Inclua textos curtos, mensagens ambíguas e exemplos com campos ausentes. Faça a revisão humana com o mesmo critério em todas as alternativas.

Para decidir com mais clareza, registre primeiro os requisitos inegociáveis. Por exemplo, “nenhuma data inventada nos casos de validação” e “respostas no formato pedido”. Só depois compare velocidade e conveniência. Se as duas alternativas falham no mesmo ponto, a primeira melhoria pode ser revisar o prompt ou a regra do processo. A equipe ainda pode optar por manter revisão manual para casos ambíguos.

Registre o que mudaria sua decisão

Ao fechar a comparação, faça uma pergunta concreta para quem usa o resultado: “Em que caso esta configuração poupa trabalho sem perder a informação que precisamos?”. Uma alternativa que preserva a evidência literal pode ser adequada para a triagem, mesmo se tiver uma resposta mais curta. Outra que organiza melhor o texto, mas completa prazos ausentes por conta própria, talvez exija uma revisão que não cabe na rotina. Escreva a decisão com a condição observada e guarde o caso que motivou a escolha.

Repita um caso que foi corrigido em conversa nova. Se o primeiro acerto apareceu apenas depois de você dar a resposta esperada no mesmo chat, registre esse contexto. Para uma rotina que recebe cada mensagem isoladamente, esse acerto após a correção responde a uma pergunta diferente. Compare resultados da primeira tentativa com resultados de revisão assistida em campos separados.

Investigue a primeira falha antes de trocar tudo

O modelo não aparece no seletor. Confira se o download terminou e se o arquivo foi reconhecido pelo aplicativo. Compare a variante escolhida com a documentação e registre a indicação apresentada na tela. Resolver a localização ou a compatibilidade do arquivo vem antes de testar prompts e qualidade.

O modelo carrega, mas a resposta termina cedo. Confira se houve erro, limite de saída ou interrupção. Reduza o primeiro teste para uma mensagem e mantenha o mesmo formato de resposta. Se o caso curto funcionar, aumente aos poucos o número de mensagens para descobrir em que condição o comportamento muda. Anote o tamanho do exemplo junto com a configuração.

A resposta é rápida e contém detalhes inventados. Inclua no gabarito o campo que falhou. Se a instrução já pede “não informado”, confira se o modelo ignora a regra apenas em alguns casos ou em todos. Para uma nova tentativa, destaque a regra de campos ausentes e preserve as mensagens. Depois compare se o erro desapareceu sem prejudicar outros critérios.

A configuração fica lenta quando o contexto cresce. Registre o tamanho da entrada, a configuração e o tempo da tentativa. Repita primeiro um caso menor para separar preparação da máquina e efeito do contexto. Se o trabalho exige textos longos, um teste curto pode comprovar o funcionamento inicial e ainda deixar essa exigência pendente. Faça a avaliação com a extensão que de fato pretende usar.

As alternativas empatam no pequeno conjunto. Separe casos em que costuma haver retrabalho. Pode ser uma mensagem com informação espalhada em vários parágrafos ou uma solicitação com dois prazos diferentes. Escreva a resposta esperada antes de rodar. Se o empate continuar, documente que as duas configurações atenderam aos casos testados e use requisitos operacionais para decidir a próxima etapa.

Registre os limites da operação local

A documentação de operação offline informa que o chat com um modelo já baixado pode funcionar localmente. Busca e download de modelos, obtenção de runtimes e verificações de atualização podem precisar de rede. Para o teste descrito aqui, mantenha o escopo no chat local, sem integrações, servidores expostos ou serviços externos. Confirme onde o modelo foi carregado e quais opções foram habilitadas antes de usar qualquer dado de trabalho.

O primeiro roteiro usa mensagens inventadas. Em uma avaliação com dados reais, a equipe ainda precisa decidir quem pode acessar os arquivos de entrada, onde a conversa e a saída ficarão armazenadas e como registrar a revisão. A natureza local do processamento documentado não responde por outras ferramentas, exportações ou acessos ao computador. Trate essas decisões como parte do processo antes de ampliar o teste.

Guarde um registro compacto: data, máquina, versão do aplicativo, nome exato do modelo, configurações, prompt, gabarito, respostas e conclusão. Acrescente o que não foi avaliado. Por exemplo, “funcionou para três mensagens curtas, contexto longo pendente” é uma conclusão verificável. Para comparar depois de uma atualização, repita os casos mais importantes com os mesmos critérios e preserve os resultados anteriores.

Quando outra pessoa retomar, ela deve conseguir carregar a configuração ou identificar o que mudou antes de repetir o teste. Entregue também uma instrução para lidar com campos desconhecidos. Se a resposta for usada em um processo operacional, indique quem revisa e quando um caso deve sair do fluxo automático. O resultado útil do teste é uma decisão com condições claras para o uso.

Perguntas frequentes sobre comparar modelos no LM Studio

Onde encontro e carrego um modelo no LM Studio?

Procure e baixe uma variante compatível em Discover. Depois, abra Chat, use o seletor de modelos e escolha o arquivo baixado. Confira se terminou de carregar antes de enviar o primeiro prompt.

Preciso abrir dois modelos ao mesmo tempo?

Você pode testar em sequência, com conversas novas e o mesmo prompt. Registre as respostas para revisar lado a lado. O processamento simultâneo depende dos recursos e da configuração de execução.

Como saber qual modelo funciona melhor para a tarefa?

Monte um gabarito, mantenha os mesmos casos e marque erros de conteúdo, formato e informação inventada. Registre desempenho e esforço de revisão em separado. A conclusão vale para a tarefa e o conjunto avaliados.

O LM Studio funciona offline?

A documentação informa que o chat com modelos já baixados pode funcionar sem internet. A busca e o download de modelos ou runtimes precisam de rede. Para avaliar o fluxo local, confira o ambiente e as integrações habilitadas.

O tamanho do arquivo diz se o modelo cabe na máquina?

O arquivo indica espaço em disco. O carregamento e a geração também usam memória e dependem da variante, do contexto e dos ajustes. Comece com uma tentativa pequena e registre o comportamento observado.