Набор инструментов Inspect, доступный по лицензии с открытым исходным кодом, включая лицензии MIT, предназначен для оценки определенных возможностей моделей ИИ в различных сферах, включая основные знания моделей и способность рассуждать, и выработки оценки на основе полученных результатов.
По данным ресурса TechCrunch, платформа Inspect состоит из трех основных компонентов: наборов данных, инструментов решения и инструментов оценки. Наборы данных предоставляют образцы для оценочных тестов. Инструменты решения выполняют работу по проведению тестов. А инструменты оценки оценивают результаты и суммируют баллы тестов в метрики.
Компоненты Inspect можно дополнить с помощью сторонних пакетов, написанных на Python. «Мы надеемся, что глобальное сообщество ИИ будет использовать Inspect не только для проведения собственных испытаний на безопасность моделей, но и для адаптации и развития платформы с открытым исходным кодом, чтобы мы могли производить высококачественные оценки по всем направлениям», — заявил председатель AISI Ян Хогарт (Ian Hogarth).
Платформа Inspect была представлена спустя несколько дней после того, как Национальный институт стандартов и технологий США (The National Institute of Standards and Technology, NIST) анонсировал в конце апреля программу NIST GenAI, предназначенную для оценки различных технологий генеративного ИИ, включая модели, генерирующие текст и изображения.
Vzglyad.az
Читайте актуальные новости и аналитические статьи в Telegram-канале «Vzglyad.az» https://t.me/Vzqlyad
Тэги:
