OpenAI решила научить ИИ лучше понимать человеческие ценности

OpenAI пересмотрела Model Spec — свод правил, определяющий принципы поведения её ИИ-моделей. Компания выделила пять основных пунктов, главным из которых стало понимание намерений человека. Новые правила также определят поведение ИИ в незнакомых ситуациях.

Источник изображения: Brecht Corbeel/Unsplash Помимо следования намерениям человека, документ закрепляет принципы минимизации вреда, честности и прозрачности искусственного интеллекта. Согласно обновлённым правилам и рекомендациям, модели должны не просто буквально выполнять инструкции, но и учитывать их смысл. При этом они должны сообщать о пределах своих знаний и помогать пользователям самостоятельно принимать решения и достигать поставленных целей. OpenAI рассматривает обновлённый документ как часть работы по согласованию поведения ИИ в общении с человеком. Компания признала, что существующие модели пока не полностью соответствуют новым принципам, и изучает дополнительные методы обучения, которые позволят лучше усвоить их. Подход OpenAI перекликается с концепцией и «конституционного ИИ» (Constitutional AI) компании Anthropic, в которой набор принципов используется для формирования поведения моделей и повышения прозрачности заложенных в них ценностей. Примечательно, что обновление OpenAI последовало за инцидентом, в ходе которого автономный ИИ-агент компании взломал в тестовой среде крупнейшую платформу искусственного интеллекта Hugging Face, показав тем самым, что передовые модели могут нарушать установленные правила и обходить защитные механизмы при выполнении поставленных человеком задач. При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является нарушениемроссийского и международного законодательства и возможно только с согласия редакции 3DNews. Сайт 3DNews использует файлы cookie и сервисы аналитики. Это помогает нам улучшать контент и работу Cайта. Во время посещения Cайта вы соглашаетесь с Пользовательским соглашением и даёте согласие на обработку и передачу (в т.ч. трансграничную) персональных данных, использование Cайтом файлов cookie и метрических программ.

Источник: 3dnews.ru — 3dnews.ru/1150638/openai-reshila-nauchit-ii-luchshe-ponimat-chelovecheskie-tsennosti