Pickbench
Связаться

Dyson против Shark

Беспроводные вертикальные пылесосы60 сценариев

Панель, равные веса

  • deepseek-v4.1-flashdeepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter
  • gemini-3.8-flashgoogle/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter
  • glm-5.3-flashz-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter
  • gpt-6-lunaopenai/gpt-6-luna @ gpt-6-luna via OpenRouter
  • grok-4.7x-ai/grok-4.7 @ grok-4.7 via OpenRouter
  • kimi-k3.1-promoonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter
  • llama-4-maverick-17b-128e-instructmeta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter
  • mistral-small-2603mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter
  • qwen3.8-flashqwen/qwen3.8-flash @ qwen3.8-flash via OpenRouter
Быстрая панель

Слишком близкоИнтервал панели включает 50 %: в целом панель из 9 API-моделей не выбирает между Dyson и Shark.

Dyson47 %

Shark53 %

Консенсус39–56 %

Явного лидера нет: доверительный интервал включает 50 %

Каждая модель

Доля DysonПеревес …

deepseek-v4.1-flash38 %27–49 %Shark
gemini-3.8-flash58 %46–70 %Явного предпочтения нет
glm-5.3-flash36 %26–47 %Shark
gpt-6-luna51 %41–61 %Явного предпочтения нет
grok-4.740 %29–53 %Явного предпочтения нет
kimi-k3.1-pro44 %32–57 %Явного предпочтения нет
llama-4-maverick-17b-128e-instruct63 %53–72 %Dyson
mistral-small-260343 %35–51 %Явного предпочтения нет
qwen3.8-flash53 %42–64 %Явного предпочтения нет

Голосование

Какой бренд выбрали бы вы?

Сначала проголосуйте: результат ИИ появится после голоса или пропуска.

Ваше нажатие остаётся в этом браузере: ничего не отправляется.

Голоса посетителей показаны рядом с результатами ИИ только для сравнения и никогда не смешиваются с цифрами ИИ.

Как считаются голоса

Повторить броском шаровСимуляция
Dyson
Shark

Симуляция: пути сценариев придуманы так, чтобы воспроизвести опубликованные доли по судьям; это не измеренные строки.

Явного лидера нет: доверительный интервал включает 50 %

Опубликованный 95-процентный доверительный интервал для Dyson: 39–56 %. Нажмите «Бросить», чтобы увидеть, куда падают смоделированные сценарии.

Как это читать

Каждый шар — смоделированный сценарий покупки. Каждый ряд штырьков — ИИ-модель, которая толкает шар к выбранному ею бренду.

Один бросок — одна выборка. Бросьте ещё раз, и куча сдвинется; оранжевая полоса показывает, где оказывается баланс в 95 % бросков.

Лидер называется, только когда полоса не задевает середину. Пути смоделированы по опубликованным долям судей: ни одна модель не видела эти сценарии.

Нажмите, чтобы бросить. Удерживайте, чтобы бросать дальше.

Цифры за машиной
Подписанный снимок данныхd34e2cd12926JSON
Поделиться

Поделиться результатом

Опубликовать

Скачать картинку

Встроить

Встраивание бесплатно. Показывается последний выпуск; строку источника и ссылку не убирайте.

Статичная карточка (SVG)

Как это читать
  • В каждом сценарии моделям предлагают оба бренда; соотношение показывает, как часто выбирают каждый. Главная цифра — консенсус панели с равными весами моделей.
  • Полоса — 95-процентный интервал доли левого бренда. Модель склоняется к бренду, только если весь её интервал лежит по одну сторону от 50%.
  • 95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах). В консенсусе каждое семейство моделей имеет равный вес. Основная мера — результаты по каждому судье ниже.
  • Мнение одной модели — это один судья, а не консенсус.
  • Автомат с шариками — симуляция: его траектории воспроизводят опубликованные доли по моделям.
  • Срезы по потребностям скрыты, если сценариев меньше 30.
  • На каждой странице — последний выпуск. Даты есть в загружаемом JSON.
  • Быстрая панель: быстрые или компактные актуальные модели каждого разработчика, а не полная панель флагманов.
Подробности и источники

Рассчитанные, но не опубликованные результаты Для этой битвы опубликованы только общий консенсус и результаты по судьям: в каждой потребности покупателя меньше 30 сценариев — заранее заданного минимума для строки потребности. Кто учтён и почему

Кто учтён

Правило, по которому судьи учитываются, зафиксировано до запуска. Судьи, которые ему соответствуют, учтены с весами ниже; остальные перечислены с причинами.

  • Запланировано 60 сценариев покупки.
  • Ни один из них не исключён.
Веса в консенсусе 9 учтённых судей
Вес каждого учтённого судьи в консенсусе
Судья (API-модель)Семейство моделейВес в консенсусе
deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouterdeepseek11,1 %
google/gemini-3.8-flash @ gemini-3.8-flash via OpenRoutergoogle11,1 %
z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouterz-ai11,1 %
openai/gpt-6-luna @ gpt-6-luna via OpenRouteropenai11,1 %
x-ai/grok-4.7 @ grok-4.7 via OpenRouterxai11,1 %
moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRoutermoonshot11,1 %
meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRoutermeta11,1 %
mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRoutermistral11,1 %
qwen/qwen3.8-flash @ qwen3.8-flash via OpenRouterqwen11,1 %

Неучтённые судьи

jdg-live-claude-haiku-5-5-or-v1
Слишком мало корректных ответов (ниже заранее заданного минимума)

Рассчитанные, но не опубликованные результаты

Число сценариев (n) по каждой потребности рассчитано детерминированно из предрегистрированного плана.

Потребность покупателя: Бюджетный вариант для квартиры или общежития
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Компактное хранение и зарядка
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Глубокая чистка ковров
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Мелкая пыль на паркете и плитке
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Лёгкий для лестниц и уборки наверху
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Сбор шерсти без наматывания на щётку
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Тихая ежедневная уборка
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Герметичная фильтрация и чистое опустошение
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Уборка под мебелью с подсветкой
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Заряда на весь дом и сменные батареи
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума

Методология

Каждый судья — ИИ-модель, которую вызывают через API; в разделе «Об этом результате» указано, какая это модель и как её вызывали. В каждом сценарии покупки судья выбирает между двумя брендами. Единица анализа — сценарий.

Результаты основаны на 60 сценариях покупки.

Судья склоняется к бренду, только если его доверительный интервал не включает 50 %. Одна точечная оценка никогда не считается победой.

Показатели точности на этой странице измерены.

Точность
Измерена
Консенсус, потребности и языки
95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах)
По каждому судье
95-процентные доверительные интервалы (объединение интервалов кластерного бутстрепа по сценариям и Уилсона, расширенное для малых выборок в битвах и новых чартах)
Языки сценариев
английский

Предупреждения о данных

  • Только названия брендов: модели видели каждый вариант как название бренда, без фактов о товарах, и отвечали по собственным знаниям.

Об этом результате

Что измерено, как и когда, и как это проверить.

Методология
ACM-1.0
ИИ-модели (API)
  • deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • google/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • openai/gpt-6-luna @ gpt-6-luna via OpenRouter, через OpenRouter (провайдеры закреплены)
  • x-ai/grok-4.7 @ grok-4.7 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter, через OpenRouter (провайдеры закреплены)
  • meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter, через OpenRouter (провайдеры закреплены)
  • mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • qwen/qwen3.8-flash @ qwen3.8-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
Условия
Каждую модель вызывали указанным рядом с ней способом, и она выбирала между двумя брендами в 60 сценариях покупки. Языки сценариев: английский.
Учтённые судьи

По предварительно зарегистрированному правилу включения учтены результаты 9 из 10 судей. В расчёт вошли данные 60 из 60 запланированных сценариев.

Кто учтён и почему

Предварительная регистрация (SHA-256)
c00aa4d22740c5e575886effacff7e5b85cd7cdc0e0f87c92d723f87e629005a
Что фиксирует предварительная регистрация
Подписанный снимок данных

Проверить этот результат: скачать подписанный снимок данных (JSON)

Ключ подписи (kid)
FnG9tqyrr6Y0YUh6teXhpERjAKUSfzL78m4WdnEZ9Jg
Рабочий ключ
SHA-256 содержимого (payload)
d34e2cd129268f2b75894363e4ba071e1ef4bf66442dd6199d6d44e05b25d4ff

Как проверить снимок данных

Места в рейтинге, включение и влияние на результаты никогда не продаются.