Как выбирать модель под задачу, а не по рейтингам
Каждые пару недель выходит новая таблица, где одна модель обгоняет другую на полтора процента в среднем по набору тестов. Люди смотрят на первую строчку и делают выбор. Обычно это плохой способ.
Среднее по чужим задачам
Любой общий бенчмарк — это усреднение по десяткам разнородных задач. Модель, которая лидирует в среднем, может быть посредственной именно там, где работаете вы. И наоборот: модель на пятом месте в таблице иногда решает вашу конкретную задачу лучше всех.
Четыре вопроса до выбора
- Что именно считается хорошим ответом? Пока это не сформулировано в проверяемых терминах, сравнивать нечего.
- Сколько данных у меня есть? Двадцать примеров и двадцать тысяч — это два разных проекта с разными подходами.
- Какая допустимая цена ошибки? Если ошибка стоит денег, нужен запас прочности, а не максимальная точность на тесте.
- Где это будет работать? На своём сервере, в чужом облаке или на телефоне — от этого зависит почти всё остальное.
Своя маленькая проверка
Практический приём, который экономит месяцы: соберите пятьдесят реальных примеров своей задачи с правильными ответами. Пятьдесят, не пять тысяч. Прогоните через два-три кандидата вручную и посмотрите глазами.
Это займёт вечер. Результат обычно оказывается куда полезнее любой публичной таблицы, потому что измеряет именно то, что вам нужно.
Что почти всегда важнее модели
- Качество и чистота данных.
- Формулировка задачи: иногда её достаточно сузить, чтобы всё заработало.
- Наличие запасного варианта, когда модель ошибается.
- Простота замены модели в будущем.
Модели меняются каждые несколько месяцев. Хорошо сформулированная задача и собранные данные остаются.