Nvidia lança IA que escolhe o melhor modelo para cada tarefa

É um modelo aberto com 30 bilhões de parâmetros em arquitetura mixture-of-experts. Ele foi construído para tarefas especializadas dentro de sistemas maiores, como revisão de código, uso de ferramentas, monitoramento de alertas e atendimento.

Em vez de tentar substituir todos os modelos, o Lightning atua como uma peça de uma equipe. Um modelo avançado pode planejar o fluxo, enquanto opções menores executam etapas repetitivas com menor latência e consumo.

Switchyard é uma biblioteca de código aberto para roteamento de modelos. Ela analisa a necessidade de cada solicitação e encaminha o trabalho para a opção considerada mais adequada entre modelos próprios, da Nvidia ou de outros fornecedores.

Os desenvolvedores podem ajustar o roteador conforme prioridades de qualidade, tempo de resposta e custo. A integração foi pensada para reduzir a necessidade de reescrever o aplicativo quando novos modelos entram no conjunto.

Modelos possuem pontos fortes diferentes. Alguns são melhores em código, outros em raciocínio, respostas rápidas ou execução local com maior privacidade. Usar sempre a alternativa mais poderosa pode aumentar o custo sem melhorar tarefas simples.

Por outro lado, enviar tudo a um modelo pequeno pode reduzir a qualidade. O roteamento tenta equilibrar essas duas situações, reservando capacidade avançada para os passos que realmente precisam dela.

Nos testes divulgados pela empresa, o Nemotron 3.5 Lightning alcança saída até quatro vezes mais rápida e reduz em 30% o tempo de conclusão de tarefas agênticas em comparação com modelos de sua classe.

A Nvidia também afirma que o Switchyard manteve desempenho próximo ao de modelos de fronteira com custo de tarefa perto de um terço de usar apenas uma opção avançada. São resultados internos e de parceiros, não uma garantia para qualquer aplicação.

O Lightning pode ser executado em computadores com RTX, sistemas DGX, dispositivos Jetson, estações de trabalho, data centers e nuvem. A implantação local pode ajudar quando há alto volume ou necessidade de manter dados dentro da organização.

Rodar localmente ainda depende de hardware, memória, configuração e do tamanho do fluxo. A possibilidade não significa que qualquer computador pessoal terá o mesmo desempenho de uma infraestrutura dedicada.

O Nemotron 3.5 Lightning foi publicado no Hugging Face, ModelScope, OpenRouter e na plataforma da Nvidia, além de parceiros de nuvem e inferência. A empresa também divulgou parte dos dados e técnicas de treinamento permitidos pelas licenças.

O NeMo Switchyard está disponível no GitHub e deverá chegar a outras plataformas. A adoção dependerá da facilidade de integração e de quanto o roteador consegue economizar sem comprometer precisão em tarefas reais.