Pickbench
Связаться

Samsung против LG

Смарт-телевизоры48 сценариев

Панель, равные веса

  • claude-haiku-5.5anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter
  • deepseek-v4.1-flashdeepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter
  • gemini-3.8-flashgoogle/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter
  • glm-5.3-flashz-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter
  • gpt-6-lunaopenai/gpt-6-luna @ gpt-6-luna via OpenRouter
  • grok-4.7x-ai/grok-4.7 @ grok-4.7 via OpenRouter
  • kimi-k3.1-promoonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter
  • llama-4-maverick-17b-128e-instructmeta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter
  • mistral-small-2603mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter
  • qwen3.8-flashqwen/qwen3.8-flash @ qwen3.8-flash via OpenRouter
Быстрая панель

Слишком близкоИнтервал панели включает 50 %: в целом панель из 10 API-моделей не выбирает между Samsung и LG.

Samsung51 %

LG49 %

Консенсус42–60 %

Явного лидера нет: доверительный интервал включает 50 %

Каждая модель

Доля SamsungПеревес …

claude-haiku-5.552 %40–63 %Явного предпочтения нет
deepseek-v4.1-flash56 %44–68 %Явного предпочтения нет
gemini-3.8-flash51 %38–64 %Явного предпочтения нет
glm-5.3-flash57 %46–69 %Явного предпочтения нет
gpt-6-luna48 %40–56 %Явного предпочтения нет
grok-4.764,6 %50,4–77,6 %Samsung
kimi-k3.1-pro56 %43–69 %Явного предпочтения нет
llama-4-maverick-17b-128e-instruct39 %28–51 %Явного предпочтения нет
mistral-small-260321 %12–32 %LG
qwen3.8-flash65 %54–77 %Samsung

Голосование

Какой бренд выбрали бы вы?

Сначала проголосуйте: результат ИИ появится после голоса или пропуска.

Ваше нажатие остаётся в этом браузере: ничего не отправляется.

Голоса посетителей показаны рядом с результатами ИИ только для сравнения и никогда не смешиваются с цифрами ИИ.

Как считаются голоса

Повторить броском шаровСимуляция
Samsung
LG

Симуляция: пути сценариев придуманы так, чтобы воспроизвести опубликованные доли по судьям; это не измеренные строки.

Явного лидера нет: доверительный интервал включает 50 %

Опубликованный 95-процентный доверительный интервал для Samsung: 42–60 %. Нажмите «Бросить», чтобы увидеть, куда падают смоделированные сценарии.

Как это читать

Каждый шар — смоделированный сценарий покупки. Каждый ряд штырьков — ИИ-модель, которая толкает шар к выбранному ею бренду.

Один бросок — одна выборка. Бросьте ещё раз, и куча сдвинется; оранжевая полоса показывает, где оказывается баланс в 95 % бросков.

Лидер называется, только когда полоса не задевает середину. Пути смоделированы по опубликованным долям судей: ни одна модель не видела эти сценарии.

Нажмите, чтобы бросить. Удерживайте, чтобы бросать дальше.

Цифры за машиной
Подписанный снимок данных297f44a32682JSON
Поделиться

Поделиться результатом

Опубликовать

Скачать картинку

Встроить

Встраивание бесплатно. Показывается последний выпуск; строку источника и ссылку не убирайте.

Статичная карточка (SVG)

Как это читать
  • В каждом сценарии моделям предлагают оба бренда; соотношение показывает, как часто выбирают каждый. Главная цифра — консенсус панели с равными весами моделей.
  • Полоса — 95-процентный интервал доли левого бренда. Модель склоняется к бренду, только если весь её интервал лежит по одну сторону от 50%.
  • 95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах). В консенсусе каждое семейство моделей имеет равный вес. Основная мера — результаты по каждому судье ниже.
  • Мнение одной модели — это один судья, а не консенсус.
  • Автомат с шариками — симуляция: его траектории воспроизводят опубликованные доли по моделям.
  • Срезы по потребностям скрыты, если сценариев меньше 30.
  • На каждой странице — последний выпуск. Даты есть в загружаемом JSON.
  • Быстрая панель: быстрые или компактные актуальные модели каждого разработчика, а не полная панель флагманов.
Подробности и источники

Рассчитанные, но не опубликованные результаты Для этой битвы опубликованы только общий консенсус и результаты по судьям: в каждой потребности покупателя меньше 30 сценариев — заранее заданного минимума для строки потребности. Кто учтён и почему

Кто учтён

Правило, по которому судьи учитываются, зафиксировано до запуска. Судьи, которые ему соответствуют, учтены с весами ниже; остальные перечислены с причинами.

  • Запланировано 48 сценариев покупки.
  • Ни один из них не исключён.
Веса в консенсусе 10 учтённых судей
Вес каждого учтённого судьи в консенсусе
Судья (API-модель)Семейство моделейВес в консенсусе
anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouteranthropic10,0 %
deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouterdeepseek10,0 %
google/gemini-3.8-flash @ gemini-3.8-flash via OpenRoutergoogle10,0 %
z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouterz-ai10,0 %
openai/gpt-6-luna @ gpt-6-luna via OpenRouteropenai10,0 %
x-ai/grok-4.7 @ grok-4.7 via OpenRouterxai10,0 %
moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRoutermoonshot10,0 %
meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRoutermeta10,0 %
mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRoutermistral10,0 %
qwen/qwen3.8-flash @ qwen3.8-flash via OpenRouterqwen10,0 %

Неучтённые судьи

Все судьи из списка соответствуют правилу.

Рассчитанные, но не опубликованные результаты

Число сценариев (n) по каждой потребности рассчитано детерминированно из предрегистрированного плана.

Потребность покупателя: Большой экран по разумной цене для гостиной
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Спорт в светлой гостиной
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Телевизор для светлой веранды или кухни
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Недорогой телевизор для спальни или общежития
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Игры на консоли и ПК
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Кино в тёмной комнате
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Простой стриминг для всей семьи
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума
Потребность покупателя: Дизайн для стены и умный дом
n = 6 сценариев (меньше 30) — Сценариев меньше заранее заданного минимума

Методология

Каждый судья — ИИ-модель, которую вызывают через API; в разделе «Об этом результате» указано, какая это модель и как её вызывали. В каждом сценарии покупки судья выбирает между двумя брендами. Единица анализа — сценарий.

Результаты основаны на 48 сценариях покупки.

Судья склоняется к бренду, только если его доверительный интервал не включает 50 %. Одна точечная оценка никогда не считается победой.

Показатели точности на этой странице измерены.

Точность
Измерена
Консенсус, потребности и языки
95-процентные доверительные интервалы (комбинация интервалов отдельных судей методом MOVER, расширенная для малых выборок в битвах и новых чартах)
По каждому судье
95-процентные доверительные интервалы (объединение интервалов кластерного бутстрепа по сценариям и Уилсона, расширенное для малых выборок в битвах и новых чартах)
Языки сценариев
английский

Предупреждения о данных

  • Только названия брендов: модели видели каждый вариант как название бренда, без фактов о товарах, и отвечали по собственным знаниям.

Об этом результате

Что измерено, как и когда, и как это проверить.

Методология
ACM-1.0
ИИ-модели (API)
  • anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • google/gemini-3.8-flash @ gemini-3.8-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • z-ai/glm-5.3-flash @ glm-5.3-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
  • openai/gpt-6-luna @ gpt-6-luna via OpenRouter, через OpenRouter (провайдеры закреплены)
  • x-ai/grok-4.7 @ grok-4.7 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter, через OpenRouter (провайдеры закреплены)
  • meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter, через OpenRouter (провайдеры закреплены)
  • mistralai/mistral-small-2603 @ mistral-small-2603 via OpenRouter, через OpenRouter (провайдеры закреплены)
  • qwen/qwen3.8-flash @ qwen3.8-flash via OpenRouter, через OpenRouter (провайдеры закреплены)
Условия
Каждую модель вызывали указанным рядом с ней способом, и она выбирала между двумя брендами в 48 сценариях покупки. Языки сценариев: английский.
Учтённые судьи

По предварительно зарегистрированному правилу включения учтены результаты 10 из 10 судей. В расчёт вошли данные 48 из 48 запланированных сценариев.

Кто учтён и почему

Предварительная регистрация (SHA-256)
f1da42c2b1147f506d22b5b0c54293051ffc02e366f1d705c1c3118927fd3d92
Что фиксирует предварительная регистрация
Подписанный снимок данных

Проверить этот результат: скачать подписанный снимок данных (JSON)

Ключ подписи (kid)
FnG9tqyrr6Y0YUh6teXhpERjAKUSfzL78m4WdnEZ9Jg
Рабочий ключ
SHA-256 содержимого (payload)
297f44a326825f0e8269b57ceaf1863168406ebae0ab3c4d7d48eb14885a9eab

Как проверить снимок данных

Места в рейтинге, включение и влияние на результаты никогда не продаются.