Pickbench
Связаться

McDonald's против Burger King

Сети бургерных фастфуда60 сценариев

Панель, равные веса

  • claude-haiku-5.5anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter
  • deepseek-v4.1-flashdeepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter
  • gemini-3.8-flashgoogle/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter
  • glm-5.3-flashz-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter
  • gpt-6-lunaopenai/gpt-6-luna @ gpt-6-luna via OpenRouter
  • grok-4.7x-ai/grok-4.7 @ grok-4.7 via OpenRouter
  • kimi-k3.1-promoonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter
  • llama-4-maverick-17b-128e-instructmeta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter
  • mistral-small-2603mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter
Быстрая панель

Явно9 из 9 API-моделей выбрали McDonald's; интервал панели склоняется к McDonald's и не включает 50 %.

McDonald's81 %

Burger King19 %

Консенсус71–88 %

Консенсус ИИ-моделей склоняется к ⁨McDonald's⁩

Каждая модель

Доля McDonald'sПеревес …

claude-haiku-5.570 %59–79 %McDonald's
deepseek-v4.1-flash81 %72–89 %McDonald's
gemini-3.8-flash81 %69–91 %McDonald's
glm-5.3-flash90 %79–97 %McDonald's
gpt-6-luna79 %69–89 %McDonald's
grok-4.790 %79–97 %McDonald's
kimi-k3.1-pro80 %70–89 %McDonald's
llama-4-maverick-17b-128e-instruct81 %71–89 %McDonald's
mistral-small-260373 %63–82 %McDonald's

Голосование

Какой бренд выбрали бы вы?

Сначала проголосуйте: результат ИИ появится после голоса или пропуска.

Ваше нажатие остаётся в этом браузере: ничего не отправляется.

Голоса посетителей показаны рядом с результатами ИИ только для сравнения и никогда не смешиваются с цифрами ИИ.

Как считаются голоса

Повторить броском шаровСимуляция
McDonald's
Burger King

Симуляция: пути сценариев придуманы так, чтобы воспроизвести опубликованные доли по судьям; это не измеренные строки.

Консенсус ИИ-моделей склоняется к McDonald's

Опубликованный 95-процентный доверительный интервал для McDonald's: 71–88 %. Нажмите «Бросить», чтобы увидеть, куда падают смоделированные сценарии.

Как это читать

Каждый шар — смоделированный сценарий покупки. Каждый ряд штырьков — ИИ-модель, которая толкает шар к выбранному ею бренду.

Один бросок — одна выборка. Бросьте ещё раз, и куча сдвинется; оранжевая полоса показывает, где оказывается баланс в 95 % бросков.

Лидер называется, только когда полоса не задевает середину. Пути смоделированы по опубликованным долям судей: ни одна модель не видела эти сценарии.

Нажмите, чтобы бросить. Удерживайте, чтобы бросать дальше.

Цифры за машиной
Подписанный снимок данных8730980c7b99JSON
Поделиться

Поделиться результатом

Опубликовать

Скачать картинку

Встроить

Встраивание бесплатно. Показывается последний выпуск; строку источника и ссылку не убирайте.

Статичная карточка (SVG)

Как это читать
  • В каждом сценарии моделям предлагают оба бренда; соотношение показывает, как часто выбирают каждый. Главная цифра — консенсус панели с равными весами моделей.
  • Полоса — 95-процентный интервал доли левого бренда. Модель склоняется к бренду, только если весь её интервал лежит по одну сторону от 50%.
  • 95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах). В консенсусе каждое семейство моделей имеет равный вес. Основная мера — результаты по каждому судье ниже.
  • Мнение одной модели — это один судья, а не консенсус.
  • Автомат с шариками — симуляция: его траектории воспроизводят опубликованные доли по моделям.
  • Срезы по потребностям скрыты, если сценариев меньше 30.
  • На каждой странице — последний выпуск. Даты есть в загружаемом JSON.
  • Быстрая панель: быстрые или компактные актуальные модели каждого разработчика, а не полная панель флагманов.
Подробности и источники

Рассчитанные, но не опубликованные результаты Для этой битвы опубликованы только общий консенсус и результаты по судьям: в каждой потребности покупателя меньше 30 сценариев — заранее заданного минимума для строки потребности. Кто учтён и почему

Кто учтён

Правило, по которому судьи учитываются, зафиксировано до запуска. Судьи, которые ему соответствуют, учтены с весами ниже; остальные перечислены с причинами.

  • Запланировано 60 сценариев покупки.
  • Ни один из них не исключён.
Веса в консенсусе 9 учтённых судей
Вес каждого учтённого судьи в консенсусе
Судья (API-модель)Семейство моделейВес в консенсусе
anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouteranthropic11,1 %
deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouterdeepseek11,1 %
google/gemini-3.8-flash @ gemini-3.8-flash via OpenRoutergoogle11,1 %
z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouterz-ai11,1 %
openai/gpt-6-luna @ gpt-6-luna via OpenRouteropenai11,1 %
x-ai/grok-4.7 @ grok-4.7 via OpenRouterxai11,1 %
moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRoutermoonshot11,1 %
meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRoutermeta11,1 %
mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRoutermistral11,1 %

Неучтённые судьи

jdg-live-qwen3-8-flash-or-v1
Слишком мало корректных ответов (ниже заранее заданного минимума)

Рассчитанные, но не опубликованные результаты

Число сценариев (n) по каждой потребности рассчитано детерминированно из предрегистрированного плана.

Потребность покупателя: Самый вкусный бургер
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Завтрак по дороге
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Доставка домой
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Семейный ужин вне дома
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Картошка фри и гарниры
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Перекус поздно ночью
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Быстрый обед
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Остановка в дороге
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Коктейли и десерты
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Выгодные комбо
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума

Методология

Каждый судья — ИИ-модель, которую вызывают через API; в разделе «Об этом результате» указано, какая это модель и как её вызывали. В каждом сценарии покупки судья выбирает между двумя брендами. Единица анализа — сценарий.

Результаты основаны на 60 сценариях покупки.

Судья склоняется к бренду, только если его доверительный интервал не включает 50 %. Одна точечная оценка никогда не считается победой.

Показатели точности на этой странице измерены.

Точность
Измерена
Консенсус, потребности и языки
95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах)
По каждому судье
95-процентные доверительные интервалы (объединение интервалов кластерного бутстрепа по сценариям и Уилсона, расширенное для малых выборок в битвах и новых чартах)
Языки сценариев
английский

Предупреждения о данных

  • Только названия брендов: модели видели каждый вариант как название бренда, без фактов о товарах, и отвечали по собственным знаниям.

Об этом результате

Что измерено, как и когда, и как это проверить.

Методология
ACM-1.0
ИИ-модели (API)
  • anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • google/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • openai/gpt-6-luna @ gpt-6-luna via OpenRouter, через OpenRouter (провайдеры закреплены)
  • x-ai/grok-4.7 @ grok-4.7 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter, через OpenRouter (провайдеры закреплены)
  • meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter, через OpenRouter (провайдеры закреплены)
  • mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter, через OpenRouter (провайдеры закреплены)
Условия
Каждую модель вызывали указанным рядом с ней способом, и она выбирала между двумя брендами в 60 сценариях покупки. Языки сценариев: английский.
Учтённые судьи

По предварительно зарегистрированному правилу включения учтены результаты 9 из 10 судей. В расчёт вошли данные 60 из 60 запланированных сценариев.

Кто учтён и почему

Предварительная регистрация (SHA-256)
a73f1ece7fb7cf31d93ba205674acf318b63898b00ea2e2a3e8e22a059159e5c
Что фиксирует предварительная регистрация
Подписанный снимок данных

Проверить этот результат: скачать подписанный снимок данных (JSON)

Ключ подписи (kid)
FnG9tqyrr6Y0YUh6teXhpERjAKUSfzL78m4WdnEZ9Jg
Рабочий ключ
SHA-256 содержимого (payload)
8730980c7b99b1ee93a004041b4d3b9e706ba5af3f111c6875a90ea1fa1cdeb9

Как проверить снимок данных

Места в рейтинге, включение и влияние на результаты никогда не продаются.