Pickbench
Связаться

Безалкогольные напитки

Какой бренд выбирают 10 ИИ-моделей, с интервалами.

60 сценариевТолько названия брендов

Панель, равные веса

  • anthropic/claude-opus-5.5 @ claude-opus-5.5 via OpenRouter (10 %)
  • openai/gpt-6.1-sol @ gpt-6.1-sol via OpenRouter (10 %)
  • google/gemini-4-argon @ gemini-4-argon via OpenRouter (10 %)
  • deepseek/deepseek-v4-pro @ deepseek-v4-pro via OpenRouter (10 %)
  • mistralai/mistral-large-4-0 @ mistral-large-4-0 via OpenRouter (10 %)
  • meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter (10 %)
  • moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter (10 %)
  • z-ai/glm-5.3 @ glm-5.3 via OpenRouter (10 %)
  • qwen/qwen3.8-max-prime @ qwen3.8-max-prime via OpenRouter (10 %)
  • x-ai/grok-4.7 @ grok-4.7 via OpenRouter (10 %)

Слишком близкоЕдинственного фаворита нет: Coca-Cola, Dr Pepper, Mountain Dew, OLIPOP, Pepsi и Sprite делят верхний уровень у API-моделей этой панели (10).

Доля выбора · 95-процентный интервал
0255075100

Уровень 1

  1. Coca-Cola51 %95-процентный интервал 38–63 %возможное место 1–6
  2. Pepsi39 %95-процентный интервал 27–52 %возможное место 1–12
  3. Dr Pepper35 %95-процентный интервал 25–46 %возможное место 1–12
  4. Sprite31 %95-процентный интервал 20–42 %возможное место 1–12
  5. Mountain Dew26 %95-процентный интервал 16–37 %возможное место 1–12
  6. OLIPOP22 %95-процентный интервал 12–33 %возможное место 1–12

Уровень 2

  1. A&W20 %95-процентный интервал 12–30 %возможное место 2–12
  2. poppi17 %95-процентный интервал 9–27 %возможное место 2–12
  3. 7UP15 %95-процентный интервал 7–25 %возможное место 2–12
  4. Canada Dry15 %95-процентный интервал 7–26 %возможное место 2–12
  5. Sunkist15 %95-процентный интервал 7–25 %возможное место 2–12
  6. Fanta15 %95-процентный интервал 7–25 %возможное место 2–12
Как это читать
  • Доля выбора: как часто модели выбирают бренд, когда он есть в шорт-листе на 4. Случайный выбор — 25 %, пунктирная линия.
  • Полоса — 95-процентный интервал, яркая отметка — оценка. Перекрывающиеся полосы не задают строгий порядок.
  • Уровни публикуются: в уровень входят бренды, которые нельзя отличить от его лидера. Один уровень не значит «равны».
  • Место — это правдоподобный диапазон мест, а не строгая позиция.
  • Проведите по графику, чтобы выбрать долю и увидеть, в какие интервалы она попадает.
  • Только названия брендов: модели видели каждый вариант как название бренда, без фактов о товарах, и отвечали по собственным знаниям.
  • Панель флагманов: по одной актуальной флагманской модели от каждого крупного разработчика и самые используемые модели.
  • На каждой странице — последний выпуск. Даты есть в загружаемом JSON.

Модели и условия

В каждом выпуске бренды категории предлагаются панели ИИ-моделей, вызываемых через их API, в случайных шорт-листах на 4 (случайный выбор — 25 %). Каждый вариант был только названием бренда, без фактов о товарах, цен и любых коммерческих данных, поэтому доля бренда показывает, какой бренд модели рекомендуют по собственным знаниям для потребностей покупателей из сценариев. Доли даны с 95-процентными интервалами; уровни и интервалы мест — одновременные, на том же уровне.

  • anthropic/claude-opus-5.5 @ claude-opus-5.5 via OpenRouter (10 %)
  • openai/gpt-6.1-sol @ gpt-6.1-sol via OpenRouter (10 %)
  • google/gemini-4-argon @ gemini-4-argon via OpenRouter (10 %)
  • deepseek/deepseek-v4-pro @ deepseek-v4-pro via OpenRouter (10 %)
  • mistralai/mistral-large-4-0 @ mistral-large-4-0 via OpenRouter (10 %)
  • meta-llama/llama-4-maverick-17b-128e-instruct @ llama-4-maverick-17b-128e-instruct via OpenRouter (10 %)
  • moonshotai/kimi-k3.1-pro @ kimi-k3.1-pro via OpenRouter (10 %)
  • z-ai/glm-5.3 @ glm-5.3 via OpenRouter (10 %)
  • qwen/qwen3.8-max-prime @ qwen3.8-max-prime via OpenRouter (10 %)
  • x-ai/grok-4.7 @ grok-4.7 via OpenRouter (10 %)

Условия: закрытые вызовы API через OpenRouter (провайдеры закреплены); веб-поиск, заземление, инструменты и поиск данных отключены; принудительный выбор; перефразировок на сценарий — 2, язык: английский.

Методология: ACM-1.0-chart-draft (черновые правила движения, значимости и событий ждут проверки).

Все чарты