Эксперт Hugging Face призвала стандартизировать и сделать воспроизводимыми тесты ИИ-систем

Современные тесты для сравнения искусственного интеллекта пока нельзя считать полностью сформировавшейся и единой системой оценки. Об этом на конференции TechCrunch Disrupt заявила главный специалист по вопросам политики компании Hugging Face Ирен Солайман. По её словам, отрасли необходимо выработать более последовательный научный подход к таким проверкам. • Ученые нашли новые признаки скрытых камер в гробнице Тутанхамона Одним из главных критериев надёжности результатов Солайман назвала воспроизводимость. «Trust is such a weighted term», — сказала она, добавив, что для проверки выводов важно иметь возможность повторить оценивание и получить необходимый доступ к самой модели. По её словам, в этом отношении большое значение имеют открытые веса моделей. Воспроизводимость давно остаётся одной из наиболее сложных проблем сравнительного тестирования моделей и продолжает вызывать споры в индустрии. При этом отдельной задачей становится сопоставление разных оценок между собой. «They are an evolving science — where we don’t know how to meaningfully compare them to each other», — отметила Солайман. Эксперт также указала, что отдельные тесты довольно быстро теряют эффективность, а экосистема специалистов по оценке пока недостаточно развита. Интерес к встроенным оценщикам растёт, однако требования к тому, кто может качественно проверять системы в разных задачах, нуждаются в гораздо большей стандартизации. • Почему вес возвращается после похудения: ученые нашли «память» жировой ткани Концепция встроенных оценщиков предполагает присутствие независимых сторонних наблюдателей внутри организаций, занимающихся разработкой искусственного интеллекта. Такой подход получил распространение на фоне серии инцидентов, связанных с безопасностью технологий, однако вопросы к нейтральности и эффективности подобных специалистов сохраняются. Решение Anthropic нанять Accenture в качестве первого оценщика вызвало заметную критику, поскольку некоторые пользователи усомнились в компетентности консалтинговой компании для этой работы. Проверки постепенно охватывают уже не только саму модель, но и всю систему вокруг неё, включая оболочку доступа и агента. По словам Солайман, более слабая модель с качественной оболочкой может показать результат лучше передовой модели. «Agentic evals are really hard and really expensive», — сказала она, пояснив, что для моделей оценок становится больше, тогда как проверка оболочек и комплексных агентных систем только развивается. • Короткие физические нагрузки улучшили память и внимание • ИИ научился находить по речи признаки деменции и ускоренного старения • Ученые нашли необычный признак болезни Паркинсона в запахе тела

Источник: news.rambler.ru — news.rambler.ru/tech/57265225-ekspert-hugging-face-prizvala-standartizirovat-i-sdelat-vosproizvodimymi-testy-ii-sistem/