Claude Sonnet 5 y Cohere Embed 4 en RAG multimodal: cómo separar un fallo de recuperación de uno de respuesta
Imagen generada por el Equipo Editorial de Inferama
01

No es una comparación directa entre dos modelos

Claude Sonnet 5 y Cohere Embed 4 no resuelven la misma tarea dentro de una arquitectura de generación aumentada por recuperación, o RAG. El primero puede ocupar la capa de generación: recibe una instrucción y evidencia recuperada, y produce una respuesta. El segundo puede ocupar la capa de representación y recuperación: transforma entradas en vectores para localizar contenido relacionado antes de que el generador responda. Presentarlos como si uno fuera una alternativa del otro oculta la causa de los resultados y puede llevar a atribuir mal los efectos de un cambio de arquitectura.

La pregunta operativa no es cuál de los dos es «mejor», sino qué combinación de recuperador y generador ofrece evidencia localizada y respuestas fundamentadas para un corpus, unas consultas y unas restricciones concretas. Una respuesta fluida no demuestra que el índice haya encontrado la fuente correcta. Del mismo modo, que aparezca el pasaje adecuado entre los resultados no demuestra que el modelo generativo lo haya interpretado, citado y limitado correctamente.

La documentación primaria de Cohere describe Embed Multimodal v4 como una opción de embeddings unificados con dimensiones Matryoshka de 256, 512, 1024 y 1536, contexto anunciado de 128k y recuperación entre texto, imagen y modalidades mixtas. Estas especificaciones sirven para definir variables que conviene registrar, pero no demuestran una ventaja en un corpus empresarial concreto. El identificador y los parámetros efectivos de cada modelo deben confirmarse en la documentación del canal de acceso utilizado.

La evaluación debe tratar el sistema como una cadena de decisiones observables: conversión del documento, segmentación, indexación, recuperación, composición del contexto, generación, validación y presentación. Si solo se mide la respuesta final, un equipo no puede saber si una equivocación procede de una página ausente, de un fragmento demasiado pequeño, de una consulta mal vectorizada, de contexto truncado o de una afirmación generada sin respaldo.

Capas, resultados observables y errores que no deben confundirse

CapaSalida que debe conservarseFallo observableDecisión habitual
Conversión y fragmentadoPágina, región, texto extraído y metadatosLa evidencia desaparece o pierde estructuraRevisar parser, OCR y segmentación
Embedding e índiceVector, modalidad, dimensión y versión del índiceLa evidencia existe pero no aparece en los resultadosRevisar representación, filtro, embedding o recuperación
GeneraciónContexto exacto, instrucción y respuestaLa evidencia se recuperó pero se ignora o distorsionaRevisar modelo, prompt y límite de salida
ValidaciónAfirmación, cita y veredicto de respaldoLa cita no sustenta lo dichoAñadir comprobación y revisión humana
02

Qué aporta cada capa y qué no demuestran sus especificaciones

Cohere presenta Embed Multimodal v4 como una familia de embeddings multimodales unificados. Su documentación indica recuperación entre texto e imagen y entre texto y modalidades mixtas, además de un contexto anunciado de hasta 128k y dimensiones Matryoshka de 256, 512, 1024 y 1536. En un RAG de PDF con texto, tablas e imágenes, esas características justifican probar representaciones coherentes de distintos tipos de evidencia. No demuestran que una dimensión concreta, ni siquiera un embedding multimodal, mejore cualquier colección documental.

La dimensión elegida es una variable experimental, no un detalle de implementación. Afecta al almacenamiento, a la latencia de búsqueda y posiblemente al comportamiento de vecindad del índice. También importa cómo se representa una página: como texto extraído, imagen, región de tabla, combinación de esos objetos o varias unidades vinculadas por metadatos. Una prueba reproducible debe conservar esa decisión en todas las ramas que no evalúan explícitamente la indexación.

Claude Sonnet 5 debe evaluarse como consumidor de evidencia, no como sustituto silencioso de la recuperación. Una respuesta correcta cuando la evidencia no apareció en el contexto puede deberse al conocimiento previo del modelo, a una coincidencia afortunada o a un defecto en el registro del pipeline. En una aplicación que exige respuestas basadas solo en el corpus, ese caso no acredita la recuperación: debe etiquetarse como respuesta no atribuible al conjunto documental o excluirse de la métrica de respuesta fundamentada.

Los modelos generativos también pueden fallar aunque reciban los pasajes correctos. Pueden omitir una condición de una tabla, fusionar dos fuentes incompatibles, interpretar una cifra fuera de su ámbito o incluir una cita que apunta a una fuente relacionada pero no sustenta la afirmación. Por ello, las citas son objetos evaluables, no adornos de interfaz.

03

Construir un corpus que permita diagnosticar, no solo puntuar

El corpus de evaluación debe congelarse antes de comparar configuraciones. Incluya PDF nativos y escaneados, páginas principalmente textuales, tablas con encabezados y notas al pie, imágenes con información relevante y documentos que combinen esos elementos. El objetivo no es reproducir todas las variantes de la documentación empresarial, sino declarar con precisión cuáles se han incluido y evitar que una mejora aparente dependa de documentos añadidos o corregidos a mitad de la prueba.

Cada consulta necesita una respuesta de referencia y, sobre todo, una definición de evidencia suficiente. Esa evidencia puede ser una página, una región de tabla, varios pasajes distribuidos o una combinación de texto e imagen. Registre identificadores estables de documento, versión, página, región y fragmento. Cuando la evidencia esté distribuida, el juicio de recuperación debe exigir el conjunto necesario, no solo uno de sus componentes.

Conviene estratificar las consultas por patrón probatorio. Las de evidencia única revelan si el recuperador encuentra un hecho localizado. Las consultas multifuente muestran si entrega las piezas necesarias sin perder su relación. Las contradictorias prueban si el sistema conserva procedencia y contradicción en vez de seleccionar arbitrariamente una fuente. Las consultas sin evidencia verifican que el asistente se abstenga en lugar de completar la respuesta con conocimiento externo o una inferencia injustificada.

Reserve una partición final que no se utilice para ajustar tamaño de fragmento, solapamiento, dimensiones, número de resultados, instrucciones o reglas de validación. Si se toma una decisión tras observar la partición de prueba, esa partición deja de ser una medición independiente. Publique junto con los resultados el tamaño de la muestra, su distribución por estrato y el protocolo de anotación.

Procedimiento para congelar la evaluación

  1. 01Versione el corpus, las anotaciones y la lista de consultas; asigne identificadores inmutables.
  2. 02Ejecute conversión, OCR y segmentación una vez por configuración de representación y guarde sus artefactos.
  3. 03Declare los parámetros de índice, búsqueda, contexto, prompt y validación antes de evaluar.
  4. 04Registre cada recuperación y el contexto exacto asociado a cada respuesta.
  5. 05Bloquee los ajustes sobre la partición final y analícela una sola vez.
04

Fijar las condiciones antes de ejecutar la matriz factorial

La comparación exige un pipeline base explícito. Mantenga fijos el parser u OCR, la política de resolución de páginas, el fragmentado, el solapamiento, los metadatos, la base vectorial, los filtros, el método de búsqueda, el número de resultados recuperados, el reranking —si existe—, la composición del contexto, el prompt, la política de citas, el máximo de salida y los reintentos. Si alguno de estos elementos cambia entre ramas, el efecto no puede atribuirse limpiamente a Cohere Embed 4 ni a Claude Sonnet 5.

Registre el canal de acceso, la fecha y hora de consulta, la región cuando corresponda, la versión del SDK o API, el identificador efectivo del modelo y los parámetros enviados. Para la capa de embeddings, anote dimensión y modalidad de cada objeto, junto con los parámetros de entrada que realmente acepte el endpoint utilizado; no presuponga nombres de campos o valores sin confirmarlos en su documentación vigente. Para Claude Sonnet 5, conserve la solicitud efectiva, la respuesta sin postprocesar y el contexto que la acompañó.

Defina un baseline útil y reproducible. Puede ser un embedding ya adoptado por el equipo y un generador existente, pero debe permanecer inmutable durante el experimento. No presente el baseline como referencia universal: es solo el punto de comparación para ese sistema. Si se incorpora reranking, debe mantenerse igual en las cuatro ramas o evaluarse como un factor adicional, porque podría enmascarar o amplificar diferencias de recuperación.

La unidad de análisis debe ser la consulta, pero los resultados también deben agruparse por tipo de documento y patrón de evidencia. Un promedio general puede ocultar que un cambio ayuda a localizar páginas visuales y empeora preguntas textuales breves, o que mejora el recall pero incrementa la cantidad de contexto irrelevante entregado al generador.

Lectura de la matriz factorial

RecuperaciónGeneraciónUso analítico
BaselineBaselinePunto de referencia del sistema actual
Cohere Embed 4BaselineEfecto de cambiar representación y recuperación
BaselineClaude Sonnet 5Efecto de cambiar la generación sobre la misma evidencia
Cohere Embed 4Claude Sonnet 5Resultado de la combinación e interacción entre capas
05

La matriz factorial: cuatro configuraciones y una pregunta de atribución

Ejecute cuatro ramas sobre las mismas consultas. La primera utiliza el recuperador y generador de referencia. La segunda sustituye solo la capa de embeddings por Cohere Embed 4, manteniendo el generador base. La tercera conserva la recuperación base y utiliza solo Claude Sonnet 5 para generar. La cuarta combina Cohere Embed 4 y Claude Sonnet 5. Si el sistema ya usa uno de ellos como referencia, redefina las ramas para que cada factor siga teniendo una condición de control claramente identificada.

Esta matriz permite estimar cambios condicionales, no establecer una jerarquía absoluta entre proveedores. La diferencia entre la primera y la segunda rama se interpreta como cambio asociado a la recuperación bajo el generador base. La diferencia entre la primera y la tercera refleja el cambio de generación con evidencia recuperada por el baseline. La cuarta muestra el comportamiento de la combinación, incluida una posible interacción: el generador puede aprovechar mejor una evidencia distinta, o el cambio de recuperación puede no trasladarse a respuestas mejores.

Ejecute varias repeticiones si la generación no es determinista y conserve semillas o parámetros de muestreo cuando estén disponibles. Para tareas de exactitud y abstención, una configuración de generación conservadora reduce la varianza y facilita la auditoría. La comparación de coste debe incluir indexación amortizada, embedding de consultas, recuperación, generación, validación y reintentos; informar solo el coste de generación trasladaría gasto de una capa a otra sin reflejar la operación real.

06

Medir evidencia y respuesta como resultados distintos

Para la recuperación, mida el recall de evidencia: la proporción de consultas para las que la evidencia suficiente aparece entre los resultados entregados al generador. Complételo con precisión de recuperación o proporción de resultados relevantes, porque aumentar indiscriminadamente el número de fragmentos puede elevar el recall y empeorar el contexto. En preguntas con evidencia distribuida, mida la recuperación completa del conjunto anotado y no solo la presencia de una fuente parcial.

Para la respuesta, evalúe la fidelidad factual frente a los documentos, la cobertura de los puntos que exige la consulta, la exactitud de la abstención cuando no hay evidencia y la validez del formato cuando la aplicación pide una estructura, como JSON. La cobertura no equivale a fidelidad: una respuesta puede mencionar todos los temas y contener una cifra equivocada. La fidelidad tampoco equivale a utilidad: una respuesta estrictamente respaldada puede omitir una condición necesaria.

Añada una métrica de citas respaldadas a nivel de cada afirmación verificable. Un revisor, idealmente sin conocer la configuración, debe decidir si la cita o referencia de procedencia sustenta exactamente la afirmación asociada. Puede utilizarse un evaluador automatizado con una rúbrica auditada, pero debe contrastarse con revisión humana de una muestra y conservar sus desacuerdos. RAGBench propone un enfoque de evaluación explicable pertinente para descomponer resultados en vez de reducirlos a una sola puntuación.

Informe latencia p50 y p95 por respuesta, no solo promedios. Separe el tiempo de indexación del tiempo de consulta, aunque incorpore el primero como coste amortizado en una métrica económica. Una medida útil para decisiones de producto es el coste y la latencia por respuesta fundamentada correcta, siempre que se publique la definición de «correcta» y el denominador incluya las abstenciones adecuadas.

Árbol de diagnóstico por consulta

  1. 01¿Existe evidencia suficiente en el corpus congelado? Si no, evalúe abstención, no recuperación.
  2. 02¿Llegó la evidencia a los resultados recuperados? Si no, investigue conversión, segmentación, embedding, índice y filtros.
  3. 03¿Llegó la evidencia al contexto efectivo del generador? Si no, investigue top-k, reranking y truncado.
  4. 04¿Coincide la respuesta con la evidencia y la respalda cada cita? Si no, investigue generación, composición del contexto y validación.
  5. 05¿Fue correcta la respuesta sin evidencia en contexto? Etiquétela como no atribuible a RAG fundamentado.
07

Diagnosticar los patrones de error

Cuando la evidencia anotada no aparece entre los resultados, el incidente corresponde inicialmente a la recuperación o a una etapa anterior de conversión e indexación. Revise si el texto o la imagen estaban disponibles tras el parser, si la unidad indexada conservó el contexto de la tabla, si los metadatos filtraron el documento y si la consulta utilizó la modalidad y el tipo de entrada declarados. Cambiar el generador no corrige la ausencia de evidencia en el contexto.

Cuando la evidencia suficiente sí aparece y la respuesta es errónea, el incidente corresponde al uso de evidencia, salvo que la composición del contexto haya truncado el pasaje relevante antes de enviarlo. Compare el texto entregado con la afirmación final: así se revelan omisiones, mezclas de fuentes, inferencias excesivas y contradicciones ignoradas. En estos casos puede ser razonable investigar la instrucción, la estructura del contexto, el límite de salida o el modelo generativo.

La cita decorativa es un patrón separado: la respuesta incorpora una referencia real, pero esta no sustenta la proposición concreta. Puede ocurrir cuando el documento contiene términos relacionados o cuando se cita una tabla a nivel de página, aunque la cifra proceda de otra fila. Etiquetar el problema como una simple respuesta incorrecta impide saber si el fallo está en la generación de citas, en la granularidad de la procedencia o en la validación posterior.

La abstención injustificada requiere el diagnóstico opuesto. Si había evidencia suficiente recuperada y el sistema respondió que no podía contestar, pueden haber fallado la instrucción de uso del contexto, el orden de los resultados o la legibilidad del contenido extraído. Si no había evidencia, la abstención es correcta aunque resulte menos satisfactoria para el usuario. Un sistema fiable debe distinguir ambos casos y explicar sus límites sin inventar una respuesta.

08

Tomar decisiones sin extrapolar más allá del experimento

Cambie la capa de recuperación cuando el principal déficit sea la ausencia de evidencia relevante, en particular en subconjuntos donde texto, imágenes o páginas mixtas deban encontrarse entre sí. Antes de concluir que el embedding es la causa, descarte errores de OCR, fragmentado y metadatos. Una tabla separada de sus encabezados, por ejemplo, puede fallar con cualquier embedding porque la unidad indexada perdió la semántica necesaria.

Cambie o ajuste la capa generativa cuando la evidencia llegue de forma suficiente y estable, pero la respuesta la utilice mal. Incluso entonces, no suponga que el nombre del modelo explica todo el cambio: pruebe instrucciones de cita, formatos de contexto y reglas de abstención con la partición de desarrollo y confirme los resultados en la partición final. Claude Sonnet 5 debe compararse mediante solicitudes equivalentes y registros completos, no con ejemplos seleccionados.

Considere reranking si el recall inicial es razonable pero los primeros resultados contienen demasiado ruido o relegan evidencia decisiva. Considere revisión humana para respuestas de alto impacto, contradicciones documentales, tablas complejas o casos en los que la validación automática no alcance suficiente acuerdo con los revisores. Estas medidas no eliminan la necesidad de medir cada capa; añaden variables que también deben auditarse.

Publique junto con los resultados una ficha del experimento: definición y versión del corpus, esquema de anotación, distribución de consultas, configuraciones efectivas, artefactos de recuperación, criterios del evaluador, acuerdo entre evaluadores, intervalos o incertidumbre estadística, latencia, coste y errores representativos. No publique solo una tasa agregada ni ejemplos de demostración. RAGBench y los trabajos sobre calidad de recuperación en RAG respaldan la utilidad de observar por separado el acceso a la evidencia y la respuesta.

Los resultados no se generalizan automáticamente a todos los repositorios empresariales. La proporción de PDF escaneados, los idiomas, la calidad del OCR, la densidad de tablas, los permisos, la actualización documental y la tolerancia al coste pueden cambiar la decisión. La conclusión defendible es local: bajo condiciones documentadas, una configuración recuperó mejor cierta evidencia o produjo respuestas más fieles. Esa precisión es más útil que atribuir capacidades generales a modelos que cumplen funciones distintas.

09

Continúa explorando

Fuentes consultadas

03

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.

Proponer una corrección