Что это
Бенчмарк - общий набор задач с заранее известными ответами. Все модели решают одни и те же задачи, проверяет их программа, итог сводят в таблицу, и такой таблицей открывается анонс любой новой модели.
Как читать процент
Смотри на условия. Процент говорит, сколько задач из чужого набора модель решила в чужих условиях, и та же модель в другой оболочке-агенте или на другом уровне усилий получает другую строку. Старые наборы годами лежат в открытом доступе и попадают в данные для тренировки моделей. Тогда высокий балл - просто хорошая память. Цифры, которые разработчик модели намерил сам, я читаю с поправкой «хвалятся, что», а два процента разницы между соседями считаю шумом.
Свой бенчмарк
У меня своя цифра. По таблицам новая модель бывает впереди на процент, а в работе разницы не замечаешь, поэтому я слежу за долей черновиков ИИ в поддержке, которые принял оператор. Вышла новая модель - гоняю её на своих задачах и смотрю, сдвинулась ли доля. Попроси агента собрать такой же замер под твой проект: десяток типичных задач и понятный признак, что задача решена.
