Pickbench
Связаться

Сервисы доставки продуктов

Какой бренд выбирают 4 ИИ-модели, с интервалами.

42 сценарияБетаТолько названия брендов

Быстрая панель · Панель, равные веса

  • anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter (25 %)
  • openai/gpt-6-luna @ gpt-6-luna via OpenRouter (25 %)
  • mistralai/mistral-large-4-0 @ mistral-large-4-0 via OpenRouter (25 %)
  • deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter (25 %)

Слишком близкоЕдинственного фаворита нет: FreshDirect, Instacart, Kroger и Walmart делят верхний уровень у API-моделей этой панели (4).

Доля выбора · 95-процентный интервал
0255075100

Уровень 1

  1. Instacart62 %95-процентный интервал > 50 %–74 %возможное место 1–4
  2. FreshDirect44 %95-процентный интервал 30–58 %возможное место 1–5
  3. Kroger36 %95-процентный интервал 24–48 %возможное место 1–7
  4. Walmart34 %95-процентный интервал 22–48 %возможное место 1–9

Уровень 2

  1. Amazon Fresh26 %95-процентный интервал 17–37 %возможное место 2–9
  2. Shipt17 %95-процентный интервал 8–28 %возможное место 3–9
  3. Albertsons15 %95-процентный интервал 7–24 %возможное место 3–9
  4. DoorDash8 %95-процентный интервал 2–17 %возможное место 4–10
  5. Gopuff8 %95-процентный интервал 2–19 %возможное место 4–10

Уровень 3

  1. Uber Eats0 %95-процентный интервал 0–10 %возможное место 8–10
Как это читать
  • Доля выбора: как часто модели выбирают бренд, когда он есть в шорт-листе на 4. Случайный выбор — 25 %, пунктирная линия.
  • Полоса — 95-процентный интервал, яркая отметка — оценка. Перекрывающиеся полосы не задают строгий порядок.
  • Уровни публикуются: в уровень входят бренды, которые нельзя отличить от его лидера. Один уровень не значит «равны».
  • Место — это правдоподобный диапазон мест, а не строгая позиция.
  • Проведите по графику, чтобы выбрать долю и увидеть, в какие интервалы она попадает.
  • Только названия брендов: модели видели каждый вариант как название бренда, без фактов о товарах, и отвечали по собственным знаниям.
  • Быстрая панель: быстрые или компактные актуальные модели каждого разработчика, а не полная панель флагманов.
  • Бета: интервалы ещё не откалиброваны для малых выборок.
  • На каждой странице — последний выпуск. Даты есть в загружаемом JSON.

Модели и условия

В каждом выпуске бренды категории предлагаются панели ИИ-моделей, вызываемых через их API, в случайных шорт-листах на 4 (случайный выбор — 25 %). Каждый вариант был только названием бренда, без фактов о товарах, цен и любых коммерческих данных, поэтому доля бренда показывает, какой бренд модели рекомендуют по собственным знаниям для потребностей покупателей из сценариев. Доли даны с 95-процентными интервалами; уровни и интервалы мест — одновременные, на том же уровне.

  • anthropic/claude-haiku-5.5 @ claude-haiku-5.5 via OpenRouter (25 %)
  • openai/gpt-6-luna @ gpt-6-luna via OpenRouter (25 %)
  • mistralai/mistral-large-4-0 @ mistral-large-4-0 via OpenRouter (25 %)
  • deepseek/deepseek-v4.1-flash @ deepseek-v4.1-flash via OpenRouter (25 %)

Условия: закрытые вызовы API через OpenRouter (провайдеры закреплены); веб-поиск, заземление, инструменты и поиск данных отключены; принудительный выбор; перефразировок на сценарий — 2, язык: английский.

Методология: ACM-1.0-chart-draft (черновые правила движения, значимости и событий ждут проверки).

Все чарты