Pickbench
Связаться

Как считаются голоса посетителей

На страницах битв мы спрашиваем посетителей, какой бренд выбрали бы они. Здесь без формул объясняется, как считаются эти голоса. Точные правила зафиксированы заранее в опечатанной предрегистрации (ACM-1.1-votes) и описаны в методологии, раздел A10.

Открытый онлайн-опрос посетителей Pickbench, а не репрезентативное исследование.

Что означает число

Доля посетителей — это открытый онлайн-опрос посетителей Pickbench, а не репрезентативное исследование. Она описывает тех, кто решил проголосовать, а не людей вообще. Она показана рядом с результатом ИИ для сравнения и никогда не входит в цифры ИИ, уровни или платные продукты.

Сначала голос, потом результат ИИ

При первом визите страница битвы показывает два варианта без результата ИИ. Результат появляется после голоса или пропуска. В главную цифру входят только голоса, поданные до показа результата ИИ; голоса после него показаны отдельно, поэтому результат ИИ не может повлиять на главную цифру. Голос из вкладки, открытой до показа результата в другой вкладке, тоже считается поданным до показа.

Один голос на браузер и проверка на бота

Каждый голос проходит проверку на бота Cloudflare Turnstile. Учитываются только голоса, прошедшие её. У браузера один учтённый голос на битву — последний. Дневные лимиты на браузер и на сеть останавливают наплывы, но не решают, какие голоса учитываются.

Простая доля с диапазоном

Доля — это простая часть голосов за каждый бренд среди голосов за один из брендов: каждый учтённый голос считается один раз, без весов. Голоса «не могу выбрать» учитываются и показываются, но в долю не входят. Доля показывается с диапазоном 95% (интервал Уилсона). Этот диапазон — не погрешность опроса.

Когда появляется доля

Число проголосовавших показывается с первого голоса. Доля показывается, только когда у битвы есть не меньше 50 голосов за один из брендов не меньше чем из 20 сетевых блоков и от 10 провайдеров.

Когда доля скрывается

Доля скрывается и помечается «на проверке» (число голосов по-прежнему видно), если больше половины голосов пришло от одного провайдера или из одного сетевого блока или если без крупнейшего из них перевес перешёл бы от одного бренда к другому. Если без него результат лишь сдвигается или перевес становится слишком близким, доля показывается как «слишком близко» с пометкой «результат зависит от сети».

Всплески голосов

Внезапный час голосов, не прошедший ту же проверку, откладывается и проверяется вслепую: проверяющий видит количества и признаки сетей, но не то, за какой бренд эти голоса. Всплеск исключается (страница сообщает об этом и показывает цифру с ним) или учитывается как обычно. Всплеск, не проверенный за 7 дней, учитывается и помечается.

Откуда пришли посетители

Голос сохраняет только тип сайта, с которого пришёл посетитель, но никогда адрес страницы. Это не меняет подсчёт голосов. Если большинство голосов пришло с одного сайта, страница сообщает об этом и не заявляет, что посетители расходятся с ИИ.

Известные ограничения

Атака, распределённая по многим провайдерам, может обойти сетевые правила; её ограничивают проверка на бота, один голос на браузер и дневные лимиты. В битве с большим числом голосов небольшая атака из одной сети может сдвинуть долю, не меняя перевеса; тогда доля показывается как «слишком близко» с пометкой о сети.

Как мы измеряем результаты ИИ