Pickbench
Связаться

Pick Drift

Один вопрос, три попытки: меняет ли ИИ-модель свой выбор?

Температура по умолчанию у разработчика

примерно 12–30 %

Температура 0, задана нами

примерно 6–15 %

Настройки по моделям ↓

Все модели по настройкам

Температура по умолчанию у разработчика

Усилие рассуждения: низкое · лимит токенов ответа: 160

  1. Claude Opus 5.511,5 %9,2–13,9 %
    Подробнеепримерно 1 из 9 · Две попытки расходятся 7,9 % (6,4–9,5 %)
  2. Claude Sonnet 5.516,7 %14,1–19,6 %
    Подробнеепримерно 1 из 6 · Две попытки расходятся 11,2 % (9,5–13,1 %)
  3. Gemini 3.8 Flash14,1 %11,7–16,7 %
    Подробнеепримерно 1 из 7 · Две попытки расходятся 9,6 % (8,0–11,3 %)
  4. GPT-6.1 Sol21,1 %18,4–24,2 %
    Подробнеепримерно 1 из 5 · Две попытки расходятся 14,5 % (12,6–16,6 %)

Усилие рассуждения: нет · лимит токенов ответа: 64

  1. Claude Haiku 5.518,7 %15,9–21,7 %
    Подробнеепримерно 1 из 5 · Две попытки расходятся 13,1 % (11,1–15,2 %)
  2. GPT-6 Luna30,3 %27,1–33,7 %
    Подробнеепримерно 1 из 3 · Две попытки расходятся 21,2 % (18,9–23,5 %)

Температура 0, задана нами

Усилие рассуждения: низкое · лимит токенов ответа: 160

  1. Gemini 4 Argon14,8 %12,3–17,3 %
    Подробнеепримерно 1 из 7 · Две попытки расходятся 10,1 % (8,4–11,8 %)

Усилие рассуждения: нет · лимит токенов ответа: 64

  1. DeepSeek V4 Pro9,3 %7,2–11,6 %
    Подробнеепримерно 1 из 11 · Две попытки расходятся 6,3 % (4,9–7,8 %)
  2. DeepSeek V4.1 Flash11,2 %9,1–13,5 %
    Подробнеепримерно 1 из 9 · Две попытки расходятся 7,5 % (6,1–9,0 %)
  3. Mistral Large 4.05,6 %4,0–7,3 %
    Подробнеепримерно 1 из 18 · Две попытки расходятся 3,7 % (2,7–4,9 %)

По алфавиту внутри каждой настройки. Это не рейтинг.

API-модели (10) через OpenRouter · задач о покупках: 750 · попыток на задачу: 3 · без веб-поиска · рынок США · последний выпуск

Сравнения внутри одной настройки

Только между моделями с равными температурой, усилием и лимитом ответа и только если интервал не включает 1.

  • Температура по умолчанию у разработчика (усилие рассуждения: низкое, лимит токенов ответа: 160): ⁨Claude Sonnet 5.5⁩ меняла первый выбор примерно в 1,5 раза чаще, чем ⁨Claude Opus 5.5⁩ (интервал от 1,1 до 1,9; post hoc).
  • Температура по умолчанию у разработчика (усилие рассуждения: нет, лимит токенов ответа: 64): ⁨GPT-6 Luna⁩ меняла первый выбор примерно в 1,6 раза чаще, чем ⁨Claude Haiku 5.5⁩ (интервал от 1,4 до 2,0; post hoc).
  • Температура по умолчанию у разработчика (усилие рассуждения: низкое, лимит токенов ответа: 160): ⁨GPT-6.1 Sol⁩ меняла первый выбор примерно в 1,8 раза чаще, чем ⁨Claude Opus 5.5⁩ (интервал от 1,4 до 2,4; post hoc).
  • Температура по умолчанию у разработчика (усилие рассуждения: низкое, лимит токенов ответа: 160): ⁨GPT-6.1 Sol⁩ меняла первый выбор примерно в 1,5 раза чаще, чем ⁨Gemini 3.8 Flash⁩ (интервал от 1,2 до 1,9; post hoc).
  • Температура 0, задана нами (усилие рассуждения: нет, лимит токенов ответа: 64): ⁨DeepSeek V4 Pro⁩ меняла первый выбор примерно в 1,7 раза чаще, чем ⁨Mistral Large 4.0⁩ (интервал от 1,2 до 2,5; post hoc).
  • Температура 0, задана нами (усилие рассуждения: нет, лимит токенов ответа: 64): ⁨DeepSeek V4.1 Flash⁩ меняла первый выбор примерно в 2,0 раза чаще, чем ⁨Mistral Large 4.0⁩ (интервал от 1,4 до 2,9; post hoc).

Спросите десять, а не одну

Один ответ одной модели — это одна попытка: спросите снова, и выбор может измениться. Pickbench задаёт каждую задачу API-моделям (10) по 3 раза и публикует интервалы.

Тест трёх вопросов

Проверьте в своём ассистенте.

  1. Откройте новый чат, отключите память и персонализацию.
  2. Задайте один вопрос о покупке, например: «Кроссовки какого бренда для бега мне купить?»
  3. Запишите первый названный бренд.
  4. Задайте тот же вопрос слово в слово ещё в двух новых чатах.
  5. Изменился ли первый бренд?

Ваш тест в приложении — не наше измерение: приложения добавляют память, поиск и настройки, которых мы не видим.

Читайте вместе с числом

  • Бренды вне нашего справочного списка попадают в одну корзину «другое», поэтому для таких задач дрейф занижен.
  • Измеряются API-модели в наших условиях (OpenRouter, без веб-поиска, наш промпт), а не потребительские приложения.
  • Дрейф — не ошибка: модель может чередовать два хороших варианта.
  • Настройки сэмплирования у моделей разные, поэтому сравнивайте только внутри одной группы.

Карточки для соцсетей

Метод и данные