Pickbench
Связаться

Marriott против Hilton

Гостиничные сети48 сценариев

Панель, равные веса

  • claude-haiku-5.5anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter
  • deepseek-v4.1-flashdeepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter
  • gemini-3.8-flashgoogle/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter
  • glm-5.3-flashz-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter
  • gpt-6-lunaopenai/gpt-6-luna @ gpt-6-luna via OpenRouter
  • grok-4.7x-ai/grok-4.7 @ grok-4.7 via OpenRouter
  • kimi-k3.1-promoonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter
  • llama-4-maverick-17b-128e-instructmeta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter
  • mistral-small-2603mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter
  • qwen3.8-flashqwen/qwen3.8-flash @ qwen3.8-flash via OpenRouter
Быстрая панель

Слишком близкоИнтервал панели включает 50 %: в целом панель из 10 API-моделей не выбирает между Marriott и Hilton.

Marriott55 %

Hilton45 %

Консенсус46–64 %

Явного лидера нет: доверительный интервал включает 50 %

Каждая модель

Доля MarriottПеревес …

claude-haiku-5.565 %54–76 %Marriott
deepseek-v4.1-flash47 %37–57 %Явного предпочтения нет
gemini-3.8-flash51 %36–66 %Явного предпочтения нет
glm-5.3-flash66 %57–74 %Marriott
gpt-6-luna49 %41–57 %Явного предпочтения нет
grok-4.748 %34–63 %Явного предпочтения нет
kimi-k3.1-pro66 %54–77 %Marriott
llama-4-maverick-17b-128e-instruct57 %49–64 %Явного предпочтения нет
mistral-small-260354 %42–66 %Явного предпочтения нет
qwen3.8-flash50 %38–62 %Явного предпочтения нет

Голосование

Какой бренд выбрали бы вы?

Сначала проголосуйте: результат ИИ появится после голоса или пропуска.

Ваше нажатие остаётся в этом браузере: ничего не отправляется.

Голоса посетителей показаны рядом с результатами ИИ только для сравнения и никогда не смешиваются с цифрами ИИ.

Как считаются голоса

Повторить броском шаровСимуляция
Marriott
Hilton

Симуляция: пути сценариев придуманы так, чтобы воспроизвести опубликованные доли по судьям; это не измеренные строки.

Явного лидера нет: доверительный интервал включает 50 %

Опубликованный 95-процентный доверительный интервал для Marriott: 46–64 %. Нажмите «Бросить», чтобы увидеть, куда падают смоделированные сценарии.

Как это читать

Каждый шар — смоделированный сценарий покупки. Каждый ряд штырьков — ИИ-модель, которая толкает шар к выбранному ею бренду.

Один бросок — одна выборка. Бросьте ещё раз, и куча сдвинется; оранжевая полоса показывает, где оказывается баланс в 95 % бросков.

Лидер называется, только когда полоса не задевает середину. Пути смоделированы по опубликованным долям судей: ни одна модель не видела эти сценарии.

Нажмите, чтобы бросить. Удерживайте, чтобы бросать дальше.

Цифры за машиной
Подписанный снимок данныхfa54d8539853JSON
Поделиться

Поделиться результатом

Опубликовать

Скачать картинку

Встроить

Встраивание бесплатно. Показывается последний выпуск; строку источника и ссылку не убирайте.

Статичная карточка (SVG)

Как это читать
  • В каждом сценарии моделям предлагают оба бренда; соотношение показывает, как часто выбирают каждый. Главная цифра — консенсус панели с равными весами моделей.
  • Полоса — 95-процентный интервал доли левого бренда. Модель склоняется к бренду, только если весь её интервал лежит по одну сторону от 50%.
  • 95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах). В консенсусе каждое семейство моделей имеет равный вес. Основная мера — результаты по каждому судье ниже.
  • Мнение одной модели — это один судья, а не консенсус.
  • Автомат с шариками — симуляция: его траектории воспроизводят опубликованные доли по моделям.
  • Срезы по потребностям скрыты, если сценариев меньше 30.
  • На каждой странице — последний выпуск. Даты есть в загружаемом JSON.
  • Быстрая панель: быстрые или компактные актуальные модели каждого разработчика, а не полная панель флагманов.
Подробности и источники

Рассчитанные, но не опубликованные результаты Для этой битвы опубликованы только общий консенсус и результаты по судьям: в каждой потребности покупателя меньше 30 сценариев — заранее заданного минимума для строки потребности. Кто учтён и почему

Кто учтён

Правило, по которому судьи учитываются, зафиксировано до запуска. Судьи, которые ему соответствуют, учтены с весами ниже; остальные перечислены с причинами.

  • Запланировано 48 сценариев покупки.
  • Ни один из них не исключён.
Веса в консенсусе 10 учтённых судей
Вес каждого учтённого судьи в консенсусе
Судья (API-модель)Семейство моделейВес в консенсусе
anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouteranthropic10,0 %
deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouterdeepseek10,0 %
google/gemini-3.8-flash @ gemini-3.8-flash via OpenRoutergoogle10,0 %
z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouterz-ai10,0 %
openai/gpt-6-luna @ gpt-6-luna via OpenRouteropenai10,0 %
x-ai/grok-4.7 @ grok-4.7 via OpenRouterxai10,0 %
moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRoutermoonshot10,0 %
meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRoutermeta10,0 %
mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRoutermistral10,0 %
qwen/qwen3.8-flash @ qwen3.8-flash via OpenRouterqwen10,0 %

Неучтённые судьи

Все судьи из списка соответствуют правилу.

Рассчитанные, но не опубликованные результаты

Число сценариев (n) по каждой потребности рассчитано детерминированно из предрегистрированного плана.

Потребность покупателя: Конференции и групповые мероприятия
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Командировки и программа лояльности
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Семейная остановка с бесплатным завтраком
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Ночёвка у трассы
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Проживание на несколько недель с кухней
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Поездка с крупной собакой
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Небольшие города и национальные парки
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Выходные в честь годовщины в хорошем отеле
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума

Методология

Каждый судья — ИИ-модель, которую вызывают через API; в разделе «Об этом результате» указано, какая это модель и как её вызывали. В каждом сценарии покупки судья выбирает между двумя брендами. Единица анализа — сценарий.

Результаты основаны на 48 сценариях покупки.

Судья склоняется к бренду, только если его доверительный интервал не включает 50 %. Одна точечная оценка никогда не считается победой.

Показатели точности на этой странице измерены.

Точность
Измерена
Консенсус, потребности и языки
95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах)
По каждому судье
95-процентные доверительные интервалы (объединение интервалов кластерного бутстрепа по сценариям и Уилсона, расширенное для малых выборок в битвах и новых чартах)
Языки сценариев
английский

Предупреждения о данных

  • Только названия брендов: модели видели каждый вариант как название бренда, без фактов о товарах, и отвечали по собственным знаниям.

Об этом результате

Что измерено, как и когда, и как это проверить.

Методология
ACM-1.0
ИИ-модели (API)
  • anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • google/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • openai/gpt-6-luna @ gpt-6-luna via OpenRouter, через OpenRouter (провайдеры закреплены)
  • x-ai/grok-4.7 @ grok-4.7 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter, через OpenRouter (провайдеры закреплены)
  • meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter, через OpenRouter (провайдеры закреплены)
  • mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • qwen/qwen3.8-flash @ qwen3.8-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
Условия
Каждую модель вызывали указанным рядом с ней способом, и она выбирала между двумя брендами в 48 сценариях покупки. Языки сценариев: английский.
Учтённые судьи

По предварительно зарегистрированному правилу включения учтены результаты 10 из 10 судей. В расчёт вошли данные 48 из 48 запланированных сценариев.

Кто учтён и почему

Предварительная регистрация (SHA-256)
936dd798bb9fb6401a8ffe6b4ed5c6655a435aa8bf58be1b9050f1b011217d92
Что фиксирует предварительная регистрация
Подписанный снимок данных

Проверить этот результат: скачать подписанный снимок данных (JSON)

Ключ подписи (kid)
FnG9tqyrr6Y0YUh6teXhpERjAKUSfzL78m4WdnEZ9Jg
Рабочий ключ
SHA-256 содержимого (payload)
fa54d8539853f517b70e00da7f0b5a8379644e01a0f594e89f297f98fe64659c

Как проверить снимок данных

Места в рейтинге, включение и влияние на результаты никогда не продаются.