Pickbench
Связаться

Sony против Canon

Беззеркальные камеры60 сценариев

Панель, равные веса

  • claude-haiku-5.5anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter
  • deepseek-v4.1-flashdeepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter
  • gemini-3.8-flashgoogle/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter
  • glm-5.3-flashz-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter
  • gpt-6-lunaopenai/gpt-6-luna @ gpt-6-luna via OpenRouter
  • grok-4.7x-ai/grok-4.7 @ grok-4.7 via OpenRouter
  • kimi-k3.1-promoonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter
  • llama-4-maverick-17b-128e-instructmeta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter
  • mistral-small-2603mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter
  • qwen3.8-flashqwen/qwen3.8-flash @ qwen3.8-flash via OpenRouter

Консенсус ИИ

Быстрая панель

ВероятноИнтервал панели склоняется к Sony и не включает 50 %, но по отдельности Sony выбрали только 4 из 10 API-моделей.

Sony60,6 %

Canon39,4 %

  • Доверительный интервал для Sony: 50,3–70,7 %

Консенсус95-процентный интервал 50,3–70,7 %

Консенсус ИИ-моделей склоняется к ⁨Sony⁩

Каждая модель

Доля SonyПеревес …

Условная доля выбора Sony по каждому судье (среди сценариев, где судья выбрал бренд), с доверительными интервалами. 95-процентные доверительные интервалы (объединение интервалов кластерного бутстрепа по сценариям и Уилсона, расширенное для малых выборок в битвах и новых чартах)
Судья (API-модель)Доля SonyДоверительный интервалПеревесГрафик интервала
claude-haiku-5.570 %59–80 %Перевес Sony
deepseek-v4.1-flash62,4 %50,6–73,3 %Перевес Sony
gemini-3.8-flash58 %44–70 %Явного предпочтения нет
glm-5.3-flash60 %47–72 %Явного предпочтения нет
gpt-6-luna60 %48–72 %Явного предпочтения нет
grok-4.759 %46–72 %Явного предпочтения нет
kimi-k3.1-pro58 %45–71 %Явного предпочтения нет
llama-4-maverick-17b-128e-instruct76 %70–82 %Перевес Sony
mistral-small-260333 %22–46 %Перевес Canon
qwen3.8-flash69 %56–80 %Перевес Sony

Голосование

Какой бренд выбрали бы вы?

Сначала проголосуйте: результат ИИ появится после голоса или пропуска.

Ваше нажатие остаётся в этом браузере: ничего не отправляется.

Голоса посетителей показаны рядом с результатами ИИ только для сравнения и никогда не смешиваются с цифрами ИИ.

Как считаются голоса

Повторить броском шаровСимуляция
Sony
Canon

Симуляция: пути сценариев придуманы так, чтобы воспроизвести опубликованные доли по судьям; это не измеренные строки.

Консенсус ИИ-моделей склоняется к Sony

Опубликованный 95-процентный доверительный интервал для Sony: 50,3–70,7 %. Нажмите «Бросить», чтобы увидеть, куда падают смоделированные сценарии.

Как это читать

Каждый шар — смоделированный сценарий покупки. Каждый ряд штырьков — ИИ-модель, которая толкает шар к выбранному ею бренду.

Один бросок — одна выборка. Бросьте ещё раз, и куча сдвинется; оранжевая полоса показывает, где оказывается баланс в 95 % бросков.

Лидер называется, только когда полоса не задевает середину. Пути смоделированы по опубликованным долям судей: ни одна модель не видела эти сценарии.

Нажмите, чтобы бросить. Удерживайте, чтобы бросать дальше.

Цифры за машиной
Подписанный снимок данныхc98d8bbb3bb1JSON
Встроить

Встраивание бесплатно. Показывается последний выпуск; строку источника и ссылку не убирайте.

Статичная карточка (SVG)

Как это читать
  • В каждом сценарии моделям предлагают оба бренда; соотношение показывает, как часто выбирают каждый. Главная цифра — консенсус панели с равными весами моделей.
  • Полоса — 95-процентный интервал доли левого бренда. Модель склоняется к бренду, только если весь её интервал лежит по одну сторону от 50%.
  • 95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах). В консенсусе каждое семейство моделей имеет равный вес. Основная мера — результаты по каждому судье ниже.
  • Мнение одной модели — это один судья, а не консенсус.
  • Автомат с шариками — симуляция: его траектории воспроизводят опубликованные доли по моделям.
  • Срезы по потребностям скрыты, если сценариев меньше 30.
  • На каждой странице — последний выпуск. Даты есть в загружаемом JSON.
  • Быстрая панель: быстрые или компактные актуальные модели каждого разработчика, а не полная панель флагманов.
Подробности и источники

Рассчитанные, но не опубликованные результаты Для этой битвы опубликованы только общий консенсус и результаты по судьям: в каждой потребности покупателя меньше 30 сценариев — заранее заданного минимума для строки потребности. Кто учтён и почему

Кто учтён

Правило, по которому судьи учитываются, зафиксировано до запуска. Судьи, которые ему соответствуют, учтены с весами ниже; остальные перечислены с причинами.

  • Запланировано 60 сценариев покупки.
  • Ни один из них не исключён.
Веса в консенсусе 10 учтённых судей
Вес каждого учтённого судьи в консенсусе
Судья (API-модель)Семейство моделейВес в консенсусе
anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouteranthropic10,0 %
deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouterdeepseek10,0 %
google/gemini-3.8-flash @ gemini-3.8-flash via OpenRoutergoogle10,0 %
z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouterz-ai10,0 %
openai/gpt-6-luna @ gpt-6-luna via OpenRouteropenai10,0 %
x-ai/grok-4.7 @ grok-4.7 via OpenRouterxai10,0 %
moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRoutermoonshot10,0 %
meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRoutermeta10,0 %
mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRoutermistral10,0 %
qwen/qwen3.8-flash @ qwen3.8-flash via OpenRouterqwen10,0 %

Неучтённые судьи

Все судьи из списка соответствуют правилу.

Рассчитанные, но не опубликованные результаты

Число сценариев (n) по каждой потребности рассчитано детерминированно из предрегистрированного плана.

Потребность покупателя: Съёмка спорта и дикой природы
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Гибридная видеосъёмка для авторов
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Детализация пейзажа и студийной съёмки
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Слабый свет, вечер и помещения
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Экосистема объективов и гибкость байонета
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Портреты и мероприятия: тон кожи и боке
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Шаг вперёд после смартфона без больших трат
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Физические кнопки и понятная эргономика
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Компактность для поездок и улицы
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Защита от непогоды для активного отдыха
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума

Методология

Каждый судья — ИИ-модель, которую вызывают через API; в разделе «Об этом результате» указано, какая это модель и как её вызывали. В каждом сценарии покупки судья выбирает между двумя брендами. Единица анализа — сценарий.

Результаты основаны на 60 сценариях покупки.

Судья склоняется к бренду, только если его доверительный интервал не включает 50 %. Одна точечная оценка никогда не считается победой.

Показатели точности на этой странице измерены.

Точность
Измерена
Консенсус, потребности и языки
95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах)
По каждому судье
95-процентные доверительные интервалы (объединение интервалов кластерного бутстрепа по сценариям и Уилсона, расширенное для малых выборок в битвах и новых чартах)
Языки сценариев
английский

Предупреждения о данных

  • Только названия брендов: модели видели каждый вариант как название бренда, без фактов о товарах, и отвечали по собственным знаниям.

Об этом результате

Что измерено, как и когда, и как это проверить.

Методология
ACM-1.0
ИИ-модели (API)
  • anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • google/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • openai/gpt-6-luna @ gpt-6-luna via OpenRouter, через OpenRouter (провайдеры закреплены)
  • x-ai/grok-4.7 @ grok-4.7 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter, через OpenRouter (провайдеры закреплены)
  • meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter, через OpenRouter (провайдеры закреплены)
  • mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • qwen/qwen3.8-flash @ qwen3.8-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
Условия
Каждую модель вызывали указанным рядом с ней способом, и она выбирала между двумя брендами в 60 сценариях покупки. Языки сценариев: английский.
Учтённые судьи

По предварительно зарегистрированному правилу включения учтены результаты 10 из 10 судей. В расчёт вошли данные 60 из 60 запланированных сценариев.

Кто учтён и почему

Предварительная регистрация (SHA-256)
34dee3d1dda6c3f3c7f458011865c224ef453b87b4d951f76bb3be8bd5e87ba5
Что фиксирует предварительная регистрация
Подписанный снимок данных

Проверить этот результат: скачать подписанный снимок данных (JSON)

Ключ подписи (kid)
FnG9tqyrr6Y0YUh6teXhpERjAKUSfzL78m4WdnEZ9Jg
Рабочий ключ
SHA-256 содержимого (payload)
c98d8bbb3bb1da4c5f50cc47933e7a7f5f83ec7f9666c72c35447ceefcf0240b

Как проверить снимок данных

Места в рейтинге, включение и влияние на результаты никогда не продаются.