Каждый «новорожденный» искусственный интеллект (ИИ) представляется рынку его создателями как самый-самый умный. И ни подтвердить их похвальбы, ни опровергнуть даже теоретически невозможно, поскольку до сих нет средств анализа «умственных способностей» ИИ. Производительность суперкомпьютеров определяют с помощью тестов LinPack, массовых десктопов - 3DMark, а вот для компьютерных систем ИИ до сих пор не был создан специализированный «экзаменатор», позволяющий адекватно оценить способности конкретной модели ИИ и, тем самым, обеспечить сравнение ее «интеллекта» (IQ) с аналогичными по функциональности продуктами.
Первопроходцами в сфере разработки тестов для ИИ стали специалисты главного китайского поисковика Baidu, которые пару лет назад разработали систему DeepBench, осуществляющую тестирование ИИ на близких к аппаратному уровнях. И вот недавно создана группа, в которую вошли разработчики Baidu и Google, ученые Гарвардского и Стэнфордского университетов, программисты AMD, Intel, а также двух американских фирм - SambaNova Systems и Wave Computing, Inc., известных на мировом рынке своими разработками в сфере систем искусственного интеллекта.
Первым достижением этой группы стал MLPerf – это прототип программного комплекса, предназначенный для оценки IQ способностей ИИ, которой планируется подвести к фазе тестирования осенью текущего года. MLPerf будет проверять «умственные характеристики» ИИ на уровне отдельных приложений, ориентированных на конкретные задачи. Возможности первой версии MLPerf ограничены измерениями времени, которое требуется ИИ для обучения до минимального качественного уровня. При этом качественный уровень определяется самой системой, что потребует для ее работы вычислительные мощности, превосходящие вычислительные мощности тестируемых систем. В качестве единицы отсчета (своеобразного эталона) в системе MLPerf будут использоваться характеристики производительности чипа Nvidia P100 Volta, широко распространенного в настоящее время в системах глубинного машинного обучения.
В последующих версиях теста MLPerf разработчики планируют использование двух подходов - коммерческого и общедоступного:
- определение моделей объектов, структур данных и ограничений пределов изменения значений для получения наиболее достоверных результатов тестирования (этот подход будет доступен только коммерческим пользователям),
- экспериментирование с самыми различными видами реализации систем ИИ минимальном количестве ограничений (общедоступный подход, ориентированный на разработчиков ИИ).
Комментарии
Отправить комментарий