Coca-Cola против Pepsi
Безалкогольные напитки60 сценариев
Панель, равные веса
- claude-haiku-5.5anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter
- deepseek-v4.1-flashdeepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter
- gemini-3.8-flashgoogle/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter
- glm-5.3-flashz-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter
- gpt-6-lunaopenai/gpt-6-luna @ gpt-6-luna via OpenRouter
- grok-4.7x-ai/grok-4.7 @ grok-4.7 via OpenRouter
- kimi-k3.1-promoonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter
- llama-4-maverick-17b-128e-instructmeta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter
- mistral-small-2603mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter
- qwen3.8-flashqwen/qwen3.8-flash @ qwen3.8-flash via OpenRouter
Консенсус ИИ
Быстрая панельЯвно9 из 10 API-моделей выбрали Coca-Cola; интервал панели склоняется к Coca-Cola и не включает 50 %.
Coca-Cola70 %
Pepsi30 %
- Доверительный интервал для Coca-Cola: 62–77 %
Консенсус95-процентный интервал 62–77 %
Консенсус ИИ-моделей склоняется к Coca-Cola
Каждая модель
Доля Coca-ColaПеревес …
| Судья (API-модель) | Доля Coca-Cola | Доверительный интервал | Перевес | График интервала |
|---|---|---|---|---|
| claude-haiku-5.5 | 57 % | 47–66 % | Явного предпочтения нет | |
| deepseek-v4.1-flash | 67 % | 55–77 % | Перевес Coca-Cola | |
| gemini-3.8-flash | 83 % | 72–92 % | Перевес Coca-Cola | |
| glm-5.3-flash | 69 % | 58–78 % | Перевес Coca-Cola | |
| gpt-6-luna | 67 % | 58–75 % | Перевес Coca-Cola | |
| grok-4.7 | 83 % | 73–92 % | Перевес Coca-Cola | |
| kimi-k3.1-pro | 72 % | 63–81 % | Перевес Coca-Cola | |
| llama-4-maverick-17b-128e-instruct | 61,7 % | 50,5–72,0 % | Перевес Coca-Cola | |
| mistral-small-2603 | 75 % | 66–84 % | Перевес Coca-Cola | |
| qwen3.8-flash | 64 % | 54–74 % | Перевес Coca-Cola |
Повторить броском шаровСимуляция
Симуляция: пути сценариев придуманы так, чтобы воспроизвести опубликованные доли по судьям; это не измеренные строки.
Консенсус ИИ-моделей склоняется к Coca-Cola
Опубликованный 95-процентный доверительный интервал для Coca-Cola: 62–77 %. Нажмите «Бросить», чтобы увидеть, куда падают смоделированные сценарии.
Как это читать
Каждый шар — смоделированный сценарий покупки. Каждый ряд штырьков — ИИ-модель, которая толкает шар к выбранному ею бренду.
Один бросок — одна выборка. Бросьте ещё раз, и куча сдвинется; оранжевая полоса показывает, где оказывается баланс в 95 % бросков.
Лидер называется, только когда полоса не задевает середину. Пути смоделированы по опубликованным долям судей: ни одна модель не видела эти сценарии.
- Другие потребности
Нажмите, чтобы бросить. Удерживайте, чтобы бросать дальше.
Цифры за машиной
50f5b9b71a84JSONПоделиться
Поделиться результатом
Опубликовать
- X (откроется в новой вкладке)
- Threads (откроется в новой вкладке)
- Bluesky (откроется в новой вкладке)
- Reddit (откроется в новой вкладке)
- LinkedIn (откроется в новой вкладке)
- Facebook (откроется в новой вкладке)
- WhatsApp (откроется в новой вкладке)
- Telegram (откроется в новой вкладке)
- Эл. почта
Скачать картинку
Встроить
Встраивание бесплатно. Показывается последний выпуск; строку источника и ссылку не убирайте.
Как это читать
- В каждом сценарии моделям предлагают оба бренда; соотношение показывает, как часто выбирают каждый. Главная цифра — консенсус панели с равными весами моделей.
- Полоса — 95-процентный интервал доли левого бренда. Модель склоняется к бренду, только если весь её интервал лежит по одну сторону от 50%.
- 95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах). В консенсусе каждое семейство моделей имеет равный вес. Основная мера — результаты по каждому судье ниже.
- Мнение одной модели — это один судья, а не консенсус.
- Автомат с шариками — симуляция: его траектории воспроизводят опубликованные доли по моделям.
- Срезы по потребностям скрыты, если сценариев меньше 30.
- На каждой странице — последний выпуск. Даты есть в загружаемом JSON.
- Быстрая панель: быстрые или компактные актуальные модели каждого разработчика, а не полная панель флагманов.
Подробности и источники
Рассчитанные, но не опубликованные результаты Для этой битвы опубликованы только общий консенсус и результаты по судьям: в каждой потребности покупателя меньше 30 сценариев — заранее заданного минимума для строки потребности. Кто учтён и почему
Кто учтён
Правило, по которому судьи учитываются, зафиксировано до запуска. Судьи, которые ему соответствуют, учтены с весами ниже; остальные перечислены с причинами.
- Запланировано 60 сценариев покупки.
- Ни один из них не исключён.
Веса в консенсусе 10 учтённых судей
| Судья (API-модель) | Семейство моделей | Вес в консенсусе |
|---|---|---|
anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter | anthropic | 10,0 % |
deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter | deepseek | 10,0 % |
google/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter | google | 10,0 % |
z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter | z-ai | 10,0 % |
openai/gpt-6-luna @ gpt-6-luna via OpenRouter | openai | 10,0 % |
x-ai/grok-4.7 @ grok-4.7 via OpenRouter | xai | 10,0 % |
moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter | moonshot | 10,0 % |
meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter | meta | 10,0 % |
mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter | mistral | 10,0 % |
qwen/qwen3.8-flash @ qwen3.8-flash via OpenRouter | qwen | 10,0 % |
Неучтённые судьи
Все судьи из списка соответствуют правилу.
Рассчитанные, но не опубликованные результаты
Число сценариев (n) по каждой потребности рассчитано детерминированно из предрегистрированного плана.
- Потребность покупателя: Кофеин для бодрости днём
- n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
- Потребность покупателя: Классический вкус колы
- n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
- Потребность покупателя: Разнообразие фруктовых вкусов
- n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
- Потребность покупателя: Любимые имбирный эль и рутбир
- n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
- Потребность покупателя: Освежающий лимон-лайм
- n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
- Потребность покупателя: Современная газировка с меньшим количеством сахара
- n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
- Потребность покупателя: Запас для вечеринок и пикников
- n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
- Потребность покупателя: Привычный напиток из автомата в ресторане
- n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
- Потребность покупателя: Недорогая газировка на каждый день
- n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
- Потребность покупателя: Без сахара, но с полным вкусом
- n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Методология
Каждый судья — ИИ-модель, которую вызывают через API; в разделе «Об этом результате» указано, какая это модель и как её вызывали. В каждом сценарии покупки судья выбирает между двумя брендами. Единица анализа — сценарий.
Результаты основаны на 60 сценариях покупки.
Судья склоняется к бренду, только если его доверительный интервал не включает 50 %. Одна точечная оценка никогда не считается победой.
Показатели точности на этой странице измерены.
- Точность
- Измерена
- Консенсус, потребности и языки
- 95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах)
- По каждому судье
- 95-процентные доверительные интервалы (объединение интервалов кластерного бутстрепа по сценариям и Уилсона, расширенное для малых выборок в битвах и новых чартах)
- Языки сценариев
- английский
Предупреждения о данных
- Только названия брендов: модели видели каждый вариант как название бренда, без фактов о товарах, и отвечали по собственным знаниям.
Об этом результате
Что измерено, как и когда, и как это проверить.
- Методология
ACM-1.0- ИИ-модели (API)
anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter, через OpenRouter (провайдеры закреплены)deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter, через OpenRouter (провайдеры закреплены)google/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter, через OpenRouter (провайдеры закреплены)z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter, через OpenRouter (провайдеры закреплены)openai/gpt-6-luna @ gpt-6-luna via OpenRouter, через OpenRouter (провайдеры закреплены)x-ai/grok-4.7 @ grok-4.7 via OpenRouter, через OpenRouter (провайдеры закреплены)moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter, через OpenRouter (провайдеры закреплены)meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter, через OpenRouter (провайдеры закреплены)mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter, через OpenRouter (провайдеры закреплены)qwen/qwen3.8-flash @ qwen3.8-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
- Условия
- Каждую модель вызывали указанным рядом с ней способом, и она выбирала между двумя брендами в 60 сценариях покупки. Языки сценариев: английский.
- Учтённые судьи
По предварительно зарегистрированному правилу включения учтены результаты 10 из 10 судей. В расчёт вошли данные 60 из 60 запланированных сценариев.
- Предварительная регистрация (SHA-256)
84540b9ae4dbda8e87f7857b3822d6047ad89537157cbb8d10e1be766d50bd42- Что фиксирует предварительная регистрация
- Подписанный снимок данных
Проверить этот результат: скачать подписанный снимок данных (JSON)
- Ключ подписи (kid)
FnG9tqyrr6Y0YUh6teXhpERjAKUSfzL78m4WdnEZ9Jg- Рабочий ключ
- SHA-256 содержимого (payload)
50f5b9b71a8419bbec45872a7fc0da511626fea13d21ad4e641d0b6a2777b12d
Места в рейтинге, включение и влияние на результаты никогда не продаются.