A decisão real: arquitetura, não uma disputa entre modelos
Escolher entre uma cadeia composta por reconhecimento automático de fala (ASR), um modelo de texto e síntese de voz e um modelo de voz full-duplex não significa colocar frente a frente dois modelos intercambiáveis. A comparação envolve sistemas com componentes, interfaces e modos de interação diferentes. A primeira arquitetura separa as tarefas; a segunda pode receber e gerar áudio dentro de uma interação de voz integrada. A decisão deve se basear no comportamento da solução completa em uma conversa concreta.
Uma cadeia modular pode combinar DeepSeek V4.1 Flash como mecanismo de geração de respostas, um serviço de ASR para converter a fala recebida em texto e Eleven v3 para gerar voz a partir da resposta textual. Também precisa de uma camada de coordenação: gerir turnos, manter o contexto, decidir quando enviar cada solicitação e encaminhar chamadas para ferramentas. Se qualquer uma dessas peças atrasar ou falhar, a experiência será afetada, mesmo que os demais componentes funcionem bem.
Como alternativas full-duplex, é possível avaliar GPT-Live 1 e Gemini 3.8 Live, desde que a equipe tenha acesso às interfaces pertinentes e defina as versões avaliadas. A documentação da OpenAI apresenta GPT-Live 1 como full-duplex, enquanto o Google descreve Gemini 3.8 Live como um modelo voltado para áudio em tempo real. Essas descrições justificam incluí-los como candidatos, mas não provam que sejam melhores para um caso de uso específico.
A hipótese a testar não é que uma arquitetura vença por definição. A opção modular pode oferecer mais controle sobre a seleção e a substituição de componentes; uma solução integrada pode evitar algumas transições entre serviços. O resultado depende da tarefa, da implementação, da rede, do idioma, das condições de acesso e dos critérios usados para avaliar uma conversa aceita.
O que cada componente oferece
DeepSeek V4.1 Flash desempenha o papel de mecanismo de geração de respostas textuais na cadeia modular. A documentação da API descreve uma interface de chat que aceita transmissão de texto e chamadas a ferramentas. Em uma aplicação, o modelo pode receber o texto transcrito, o contexto e as instruções, e retornar uma resposta ou uma solicitação estruturada para que o sistema execute uma ferramenta. A aplicação precisa gerir esse fluxo: uma chamada a uma ferramenta não é, por si só, a ferramenta executada nem uma conversa de voz concluída.
O registro de alterações da DeepSeek anunciou V4.1 Flash e o identificador `deepseek-flash`, além de mencionar o roteamento temporário de alguns aliases anteriores. Por isso, um teste reproduzível deve registrar o identificador enviado, a data, o ambiente e qualquer configuração relevante. Não se deve presumir que um alias mantenha uma identidade estável sem verificar qual serviço o atendeu na data da avaliação.
O fato de a documentação descrever compreensão visual nativa para DeepSeek V4.1 Flash não demonstra que o modelo aceite ou produza áudio de conversa. O guia de visão aborda a modalidade de imagem. Na arquitetura proposta, o áudio recebido precisa passar por um ASR, a menos que outra via compatível esteja documentada e seja avaliada. Apresentar a capacidade visual como prova de suporte a áudio seria confundir modalidades.
Eleven v3 tem outra função: é um modelo de texto para fala. Recebe texto e gera voz; não substitui o mecanismo que decide o que responder nem o reconhecedor que interpreta o que o usuário diz. A documentação do fornecedor também alerta que o modelo descrito não é indicado para conversas em tempo real. Portanto, antes de comparar, é preciso verificar qual produto e interface específicos serão usados e não presumir que seu comportamento permita a mesma interação incremental de uma interface de voz full-duplex.
Uma arquitetura full-duplex tampouco deve ser tratada como uma caixa-preta mágica. A equipe precisa definir o modelo e a interface, entender como as ferramentas são geridas e registrar as condições do serviço. GPT-Live 1 é descrito como full-duplex e prevê a delegação a um agente de backend e a ferramentas; Gemini 3.8 Live é documentado como uma opção de áudio para áudio, com recursos de interação em tempo real. As funções exatas disponíveis podem depender da interface e das condições vigentes, que devem ser verificadas ao preparar o teste.
Funções que não devem ser confundidas
A tabela descreve os papéis que devem ser avaliados, não uma avaliação de qualidade nem uma garantia de disponibilidade.
| Parte do sistema | Função na cadeia modular | Pergunta de avaliação |
|---|---|---|
| ASR | Converte a fala recebida em texto para o mecanismo de geração de respostas. | Transcreve corretamente nomes, números, sotaques e fala com ruído? |
| DeepSeek V4.1 Flash | Gera a resposta textual e pode participar de fluxos de chamadas a ferramentas. | Responde corretamente e respeita as instruções e o formato? |
| Eleven v3 | Sintetiza em voz o texto gerado. | A voz é inteligível e adequada, e pronuncia nomes e números corretamente? |
| Gerenciador de turnos | Coordena a entrada, o estado da conversa, as interrupções e o envio de solicitações. | Evita sobreposições e reage a tempo quando o usuário muda de turno? |
| Modelo full-duplex | Candidato integrado para uma interação de áudio em tempo real. | Que latência, qualidade, comportamento de turnos e condições de acesso oferece a configuração específica? |
Configurações a definir antes dos testes
A comparação deve começar com duas configurações documentadas, não com nomes de produtos. A primeira é a cadeia modular: captura de áudio, ASR, gerenciador de turnos, DeepSeek V4.1 Flash, execução opcional de ferramentas e Eleven v3 para a resposta falada. A segunda é uma configuração full-duplex escolhida entre os candidatos disponíveis. Se forem incluídos dois modelos full-duplex, cada um conta como uma configuração separada e deve ter sua própria ficha.
Registre os identificadores dos modelos, a interface, a região ou as condições de acesso quando forem pertinentes, os parâmetros ajustáveis, a data do teste e as versões do software cliente. Na cadeia modular, registre também o fornecedor e a versão do ASR, a política de divisão do texto em fragmentos, as regras de cancelamento e o modo de síntese. No sistema full-duplex, documente como os dados são enviados e recebidos, como as ferramentas são habilitadas e quais restrições se aplicam. Se um detalhe não estiver confirmado pela documentação ou pela configuração observada, marque-o como desconhecido em vez de preencher a lacuna com uma suposição.
Mantenha o mesmo conjunto de tarefas e as mesmas instruções funcionais. O áudio de entrada deve ser o mesmo arquivo ou a mesma gravação em cada execução, com níveis e condições controlados. Não obrigue um sistema a produzir um formato que sua interface não aceita: descreva as diferenças e avalie o fluxo que realmente seria implementado. Isso evita transformar o teste em uma corrida artificial entre implementações incompatíveis.
Preparação reproduzível
Registre cada elemento antes de iniciar as medições. Se uma versão, interface ou tarifa mudar durante o trabalho, trate a mudança como uma nova configuração.
- 01Defina as tarefas, as instruções e os critérios de resposta aceitável.
- 02Identifique modelos, interfaces, fornecedores e versões de todos os componentes.
- 03Especifique o hardware, o sistema cliente, a conexão, a região do serviço se conhecida e as condições de concorrência.
- 04Defina regras equivalentes para ferramentas, limites de resposta, novas tentativas e cancelamentos.
- 05Execute um teste-piloto para verificar se as marcações de tempo, o áudio, as transcrições e os erros são registrados.
- 06Congele a configuração e repita as mesmas tarefas em cada sistema.
Um protocolo comum para conversas, interrupções e ferramentas
O conjunto de testes deve incluir tarefas breves e conversas com vários turnos. Combine perguntas com respostas conhecidas, instruções com restrições, solicitações que exigem uma ferramenta e pedidos ambíguos que deveriam levar a um esclarecimento. Inclua nomes próprios, quantidades, datas e números pronunciados em voz alta. Esses elementos revelam erros que podem passar despercebidos em um teste limitado a respostas fluentes.
Inclua diferentes condições de fala: vários sotaques relevantes para o público previsto, ritmos distintos, pausas, autocorreções e níveis realistas de ruído. Não presuma que uma lista de sotaques represente todos os falantes. Descreva quem participou, como o áudio foi obtido e quais são as limitações da amostra. Para avaliar a robustez, repita com o mesmo áudio em condições comparáveis, e não com uma frase diferente para cada fornecedor.
Teste as interrupções de forma explícita. Por exemplo, peça uma resposta longa e, enquanto ela estiver sendo reproduzida, interrompa com uma correção ou uma pergunta diferente. Registre se o sistema para de falar, quanto tempo leva para fazê-lo, se conserva a nova instrução e se recupera o contexto adequadamente. A capacidade de respeitar uma interrupção não pode ser deduzida de uma medição isolada de geração de texto ou de síntese.
Para as ferramentas, use uma tarefa com resultado verificável e uma versão controlada do serviço ou dos dados. Meça se o modelo decide corretamente que precisa da ferramenta, se envia argumentos válidos, se o sistema executa a operação prevista e se a resposta final reflete o resultado. Separe as falhas do modelo dos erros do backend; caso contrário, uma falha externa pode ser atribuída incorretamente à geração.
Repita o teste vezes suficientes para observar a variabilidade. Informe a mediana e os percentis de latência, além do número de execuções e das condições. Não apresente uma única execução como resultado geral. Um teste em pequena escala tampouco garante o comportamento sob carga, em outra região ou em outro idioma; essas limitações devem acompanhar as conclusões.
Medir a experiência de ponta a ponta
Defina com precisão o tempo até o primeiro áudio audível (TTFA): por exemplo, desde o fim da fala do usuário até o primeiro fragmento de resposta que uma pessoa consiga ouvir. Se a experiência permitir que o usuário fale enquanto o sistema escuta, registre também o início da captura e as marcações de tempo associadas à interrupção. O critério deve ser idêntico e mensurável em todas as configurações; documente como o primeiro áudio é detectado e como os relógios são sincronizados.
Meça também o tempo até a resposta final e, quando pertinente, a duração das pausas e dos turnos sobrepostos. A latência de um modelo não equivale à latência do fluxo completo. Em uma cadeia, podem se acumular o reconhecimento, a geração de texto, a coordenação e a síntese; a rede, os buffers e a execução de ferramentas também influenciam o resultado. A documentação da ElevenLabs distingue a latência de inferência do TTFA e explica o efeito cumulativo em uma cadeia ASR–LLM–TTS. Essa distinção reforça a necessidade de medir o sistema em uso, em vez de extrapolar o tempo total a partir de uma cifra parcial.
Registre quando uma chamada a uma ferramenta começa, quando termina e quanto tempo leva para chegar uma resposta audível que incorpore o resultado. Anote separadamente erros de conexão, limites do serviço, novas tentativas, respostas vazias e cancelamentos. Para a taxa de interrupções respeitadas, defina antes o que conta como sucesso: parar o áudio, reconhecer o novo turno e responder à instrução corrigida podem ser critérios diferentes.
A avaliação dos resultados precisa de uma rubrica separada das métricas temporais. Verifique a exatidão factual, o cumprimento das instruções, a inteligibilidade e a pronúncia de nomes e números. Avalie a naturalidade da voz às cegas sempre que possível: quem avalia a voz não deve saber qual configuração a produziu. Não misture naturalidade com correção; uma voz convincente pode pronunciar com clareza uma resposta errada.
Métricas mínimas e definições operacionais
Definir os critérios antes da coleta de dados evita que cada arquitetura seja avaliada de uma maneira diferente.
| Métrica | Definição de trabalho | O que deve acompanhá-la |
|---|---|---|
| TTFA | Tempo entre o fim da fala do usuário e o primeiro áudio audível da resposta. | Método de detecção, sincronização e percentis. |
| Resposta final | Tempo até a conclusão da resposta necessária para a tarefa. | Critério de conclusão e tratamento de respostas interrompidas. |
| Interrupções respeitadas | Proporção de interrupções em que o sistema interrompe ou corrige o turno de forma adequada. | Rubrica que diferencie parar, conservar a correção e responder a ela. |
| Exatidão | Proporção de respostas que satisfazem uma resposta-chave ou uma rubrica predefinida. | Avaliação de fatos, instruções e resultados de ferramentas. |
| Inteligibilidade e pronúncia | Compreensão do áudio e pronúncia correta de elementos críticos, como nomes ou números. | Avaliadores, idioma e condições de escuta. |
| Conversa concluída | Tarefa que chega a um resultado aceitável segundo critérios definidos previamente. | Taxa de falhas, novas tentativas e exclusões. |
Custos, complexidade e pontos de falha
O custo relevante não é o preço de uma única API, mas o custo para produzir uma conversa aceita. Na cadeia modular, contabilize ASR, geração da resposta, síntese de voz, ferramentas, infraestrutura atribuível e novas tentativas. Inclua execuções malsucedidas e tarefas que não foram concluídas; omiti-las faz o custo por sucesso parecer menor. Para cada oferta, verifique a tarifa aplicável, as unidades cobradas, as condições de acesso e a data. Não é possível inferir um custo comparável sem esses dados.
A modularidade cria mais limites entre componentes que precisam ser instrumentados. Uma transcrição incorreta pode levar a uma resposta errada; uma resposta correta pode ser pronunciada de forma inadequada; uma interrupção pode chegar tarde demais ao sintetizador; uma ferramenta pode terminar depois de o cliente ter cancelado o turno. Esses são modos de falha que devem ser testados, não resultados que devam ser automaticamente atribuídos a um fornecedor.
Uma opção full-duplex também exige trabalho de integração e operação. A equipe deve verificar acesso, cotas, regiões, interfaces, ferramentas, observabilidade e tratamento de erros. A descrição de um produto não determina, por si só, o custo efetivo nem a capacidade disponível para um lançamento. A disponibilidade para o público-alvo deve ser verificada na data de publicação e registrada junto com as limitações.
O custo operacional também inclui o tempo necessário para diagnosticar falhas, atualizar componentes e manter as métricas. Em princípio, uma cadeia facilita substituir uma peça sem trocar todas as outras, mas exige gerir compatibilidades e estados entre as peças. Uma configuração integrada pode reduzir alguns pontos de coordenação, mas não elimina a necessidade de testes, registros e controles de qualidade. São considerações de projeto que precisam ser validadas no ambiente real.
Cálculo do custo por conversa aceita
Use a mesma unidade de análise para todos os candidatos e mantenha os valores discriminados para que o total possa ser auditado.
- 01Defina, antes de executar o teste, que resultado conta como conversa aceita.
- 02Registre as unidades consumidas e os custos verificados de cada componente e ferramenta.
- 03Inclua novas tentativas, tarefas incompletas e erros que gerem consumo cobrável.
- 04Divida o custo total atribuível pelo número de conversas aceitas.
- 05Informe também as falhas, o tamanho da amostra, a data das tarifas e as condições de acesso.
Como interpretar os resultados sem proclamar um vencedor de antemão
Se a cadeia modular alcançar uma voz preferida na avaliação cega, mas demorar mais para responder e respeitar menos interrupções, a decisão dependerá do peso que esses fatores têm no produto. Se ela resolver melhor as tarefas que exigem ferramentas, será preciso verificar se a vantagem persiste quando se incluem a latência e os erros do backend. Se um modelo full-duplex obtiver tempos melhores no teste, esse resultado não se estende automaticamente a outra rede, idioma, região ou carga.
Considere a modularidade quando a equipe precisar controlar qual modelo responde, qual voz sintetiza e como as ferramentas são executadas, e estiver disposta a instrumentar e manter a coordenação. Considere uma opção full-duplex quando a interação de voz integrada for prioritária e a configuração disponível atender aos requisitos de acesso, qualidade e operação. São hipóteses para orientar a decisão, não garantias de que uma arquitetura seja superior.
Publique as configurações exatas, o roteiro de avaliação, as definições das métricas, os dados de custo e as exclusões. Inclua a variabilidade e os resultados negativos. Uma comparação útil permite repetir o teste e entender qual componente explica uma diferença; uma pontuação global sem discriminação não revela se o problema foi a transcrição, a resposta, a voz, os turnos, as ferramentas ou a rede.
Com a documentação disponível, é possível definir o papel de cada serviço e elaborar uma avaliação justa. Isso, porém, não basta para determinar antecipadamente qual configuração oferecerá menor latência total, maior qualidade ou menor custo em uma implementação específica. Essas conclusões exigem medições com versões identificadas, tarifas verificadas e tarefas representativas do uso previsto.
Questões em aberto
- O identificador vigente de DeepSeek V4.1 Flash e o comportamento exato dos aliases devem ser verificados ao concluir o teste; o registro de alterações menciona roteamentos temporários de aliases.
- Não são apresentados dados experimentais comparáveis de latência, qualidade das respostas, naturalidade, custo ou taxa de sucesso para as arquiteturas descritas.
- A documentação fornecida não estabelece que DeepSeek V4.1 Flash aceite áudio de conversação; a capacidade visual documentada se refere a imagens.
- É preciso verificar qual interface e quais condições vigentes permitem usar Eleven v3, bem como sua adequação às necessidades específicas de streaming e interação.
- A disponibilidade, as cotas, as regiões e as condições de acesso dos candidatos full-duplex podem mudar e devem ser confirmadas na data da avaliação.
- A escolha do ASR, o conjunto de dados, os idiomas, a rede, a carga e a definição de conversa aceita podem alterar os resultados.
Continue a explorar
Fontes consultadas
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção