[Перевод] Занимаются ли разработчики ИИ‑моделей пеликанмаксингом?

«[Перевод] Занимаются ли разработчики ИИ‑моделей пеликанмаксингом?» — материал, на который обратила внимание редакция «Вайбкод».

Последние несколько лет Саймон Уиллисон тестировал каждый крупный релиз LLM одним и тем же промптом: «Сгенерируй SVG с пеликаном, сидящим на велосипеде». Эта забавная проверка постепенно стала одним из самых известных неформальных бенчмарков ИИ. Сгенерированные Саймоном картинки пеликанов на велосипедах часто становятся одними из самых популярных комментариев в постах Hacker News о новых релизах ИИ-лабораторий. Сегодня бенчмарк стал причиной серьёзных обсуждений его полезности, а также того, занимаются ли ИИ-лаборатории его бенчмаксингом [практикой оптимизации ИИ-моделей для получения высоких оценок в популярных бенчмарках].

Почему это важно

Тема актуальна для аудитории издания. Полная версия и детали — у источника (habr.com); ссылка на оригинал ниже.

Источник

• Читать первоисточник: habr.com