Cómo medimos: ACM-1 en lenguaje sencillo

El escenario es la unidad

Un escenario es una situación de compra: un perfil de comprador, un caso de uso y dos o tres prioridades ordenadas, con a lo sumo un requisito firme factible y sin tramos de presupuesto. Cada escenario se plantea con varias formulaciones, con el orden de las opciones rotado y etiquetas aleatorias.

Los resultados se calculan por escenario: repetir el mismo escenario nunca cuenta como evidencia nueva.

A los modelos se les pregunta en inglés: los escenarios y las instrucciones se escriben en inglés. El sitio está disponible en inglés, ruso y español, y los resultados se muestran en su idioma mediante etiquetas traducidas para códigos fijos. Medir el idioma de la consulta como factor no forma parte de las ediciones actuales.

El panel de jueces y quién cuenta

Los jueces son modelos de IA consultados mediante API: la API del propio proveedor o una pasarela de API con el proveedor fijado. Cada resultado indica el modelo de API y su versión, cómo se consultó, las condiciones y la fecha, nunca una aplicación de chat para consumidores.

Antes de cada ejecución se fija la regla de inclusión: un juez debe dar suficientes respuestas válidas en los escenarios planificados. Los jueces que no la cumplen aparecen con sus motivos y nunca entran en el promedio. Las filas con pocos datos no se publican, pero también se enumeran.

Por defecto, el consenso da el mismo peso a cada familia de modelos y se presenta como medida normativa; los resultados por juez son la medida principal.

Intervalos y «demasiado reñido para decidir»

Con elección forzada, los jueces deben elegir una de las opciones mostradas (no hay opción de abstenerse en batallas ni tableros, y las respuestas no válidas se contabilizan), y cada cuota de elección se publica con su intervalo de confianza. Un juez, una necesidad del comprador o el consenso se inclinan por una marca solo si todo su intervalo queda por encima o por debajo del 50 %. Si no, el resultado es demasiado reñido para decidir. Una estimación puntual por sí sola nunca cuenta como victoria. Los intervalos de las batallas, y los de las ediciones de tableros registradas después de adoptar esta regla, se amplían ligeramente para seguir siendo precisos con pocos escenarios; las ediciones anteriores conservan los intervalos con que se publicaron.

Los intervalos de cada juez y los del consenso se calculan con métodos distintos, porque el consenso combina jueces. Cada página de resultados indica ambos métodos. En las batallas y en las ediciones nuevas de tableros, ambos intervalos se amplían ligeramente cuando hay pocos escenarios (una calibración t de Student).

Etiquetas de precisión: simulada o medida

La precisión de un resultado depende del número de escenarios. Hasta que las ejecuciones reales la midan, las cifras de precisión se marcan como «simuladas»: provienen de simulaciones con respuestas conocidas. Solo después un resultado se marca como «medido».

Prerregistro

Antes de cada ejecución se fijan los escenarios, el plan de análisis y la regla de inclusión, y su hash se publica con cada resultado. Un cambio solo se aplica a ejecuciones futuras, nunca a cifras ya publicadas.

Instantáneas firmadas

Cada resultado publicado es una instantánea inmutable firmada con una clave Ed25519. Este sitio se genera solo a partir de instantáneas cuya firma ha verificado; si una instantánea falla cualquier comprobación, la generación se detiene, así que nunca se muestra nada sin verificar.

Cómo verificar una instantánea

1. Descargar la instantánea desde el enlace «Verificar este resultado» de una página de batalla.
2. Canonicalizar su campo payload con RFC 8785 (JCS) y comprobar que el SHA-256 del resultado coincide con payload_sha256.
3. Verificar la firma JWS separada (RFC 7515, EdDSA) sobre la cabecera protegida y el payload canónico, con la clave pública indicada en kid.
4. Buscar la clave en la lista de claves públicas. Una instantánea firmada con una clave de prueba no demuestra nada: esas claves solo firman datos de ejemplo.Claves públicas (JSON)

La lista, las batallas y las funciones en pausa

Estas funciones usan los mismos intervalos y etiquetas que cada batalla. La Lista de marcas de la IA y las Batallas de marcas están activas en las ediciones públicas; el feed de batallas, los votos de visitantes, el test, las batallas rápidas y el Consejo están actualmente en pausa o se muestran solo con datos de ejemplo.

El feed de batallas (en pausa)

Actualmente en pausa con datos de ejemplo. Cada tarjeta muestra el intervalo del consenso de la IA en una batalla y, para comparar, lo que eligieron los visitantes. Con datos de ejemplo, los visitantes son simulados. La brecha es la cuota de la IA menos la de los visitantes con un intervalo MOVER, y solo se llama brecha cuando ese intervalo excluye 0. Sus elecciones, su racha y su contador se quedan en su dispositivo.

La lista de marcas de la IA

Las marcas se ordenan por su cuota de elección del modelo de IA de consenso en preselecciones aleatorias de cuatro, con intervalos. En los tableros con fichas, cada marca se muestra con la configuración del catálogo que mejor responde a las prioridades ordenadas del escenario usando solo especificaciones no monetarias (price_not_shown), selladas en el prerregistro antes de cualquier llamada; las cuotas miden la competitividad de la configuración más adecuada, no un promedio de todas las versiones o ventas. En los tableros de marcas para categorías sin catálogo de especificaciones (brand_names_only), los modelos ven cuatro nombres de marca sin fichas de producto, y ambos tipos de tablero nunca se mezclan. Una posición es solo el orden de visualización de las estimaciones; las afirmaciones son los niveles y los intervalos de puestos simultáneos. Un movimiento supera el ruido solo cuando el intervalo MOVER del cambio de cuota excluye 0.

¿Qué IA compra como usted? (en pausa)

Actualmente en pausa con datos de ejemplo. Sus elecciones se comparan con cada modelo mediante un acuerdo ponderado por la certeza: en cada elección, un modelo pesa más donde su propia inclinación es más segura. El intervalo de cada coincidencia es la envolvente de los intervalos de las preguntas con pesos fijos, no una afirmación de confianza conjunta. Con suficientes elecciones, los modelos empatados con el más cercano salen de una prueba bootstrap conjunta sobre sus elecciones. El resultado se calcula en su navegador.

Tipos de comprador (en pausa, borrador): el resultado empieza por un tipo que lleva el nombre de una familia de modelos. Es la familia de los modelos que la prueba conjunta no distingue de su modelo más cercano o, con un empate amplio, las familias que la misma prueba no puede separar. El tipo de cada familia toma su nombre de las personalidades documentadas de sus jueces, y solo se nombra un modelo cuando la prueba nombra exactamente uno.

Batallas rápidas (en pausa)

Actualmente en pausa. Una batalla rápida es una estimación que pide un visitante, con un panel más barato y menos escenarios. Se guarda durante un tiempo, nunca se indexa ni se lista y nunca entra en una cifra principal.

El Boletín del comprador de IA (en pausa)

La batería de honestidad del Boletín del comprador de IA está actualmente en pausa y no forma parte de las ediciones públicas activas. Cuando está activa, evalúa cada modelo de API identificado con ofertas sintéticas y pares gemelos de respuesta conocida: si elige una oferta estrictamente dominante con tamaños de lista k = 2, 4 y 8, si el orden de las posiciones desplaza sus elecciones, con qué frecuencia rotar las opciones o reformular el enunciado cambia su respuesta más allá del ruido de repetición, si la etiqueta de marca altera la elección con especificaciones idénticas y si respeta las restricciones firmes del comprador o se abstiene cuando ninguna oferta encaja. Cada métrica se publica por juez con su intervalo por escenario y su referencia de azar o cero, sin calificaciones con letras.

Cómo se ordenan los resultados

En la Lista de marcas de la IA, en una batalla y en una batalla rápida, las marcas se ordenan por un solo parámetro medido: la cuota de elección del modelo de IA de consenso que los modelos de API identificados dieron a cada marca en listas cortas aleatorizadas. Cada cuota tiene un intervalo, y una posición es solo el orden de las estimaciones; lo que afirmamos son los niveles y los intervalos, como se explica arriba. En la página del Consejo (actualmente en pausa con reproducción de muestra), las ofertas se ordenan por precio, de menor a mayor, y cada fila muestra qué modelos eligieron esa oferta. Ningún pago ni relación comercial con nosotros cambia ninguno de estos órdenes ni decide qué opciones aparecen.