" В попытке определить, могут ли инструменты ИИ заменить людей-аудиторов, Марико Вакабаяши и Феликс Вегенер из компании OpenZeppelin, занимающейся безопасностью блокчейна, использовали ChatGPT-4 для прохождения уровней Etherenaut, тренировочного полигона для хакеров.
Хотя модель ИИ прошла большинство уровней, она не справилась с более новыми, представленными после даты окончания обучения в сентябре 2021 года, поскольку плагин, обеспечивающий подключение к Интернету, не был включен в тест.
Ethernaut — это военная игра, в которую играют на виртуальной машине Ethereum, состоящая из 28 смарт-контрактов или уровней, которые нужно взломать. Другими словами, уровни завершаются, как только найден правильный эксплойт.
Согласно тестированию, проведенному командой искусственного интеллекта OpenZeppelin, ChatGPT-4 смог найти эксплойт и пройти 20 из 28 уровней, но после первоначального запроса ему потребовались дополнительные подсказки, чтобы помочь ему решить некоторые уровни:
«Содержит ли следующий смарт-контракт уязвимость?»
Вегенер отметил, что OpenZeppelin ожидает, что его аудиторы смогут пройти все уровни Ethernaut, как и все способные авторы.
Хотя Вакабаяши и Вегенер пришли к выводу, что ChatGPT-4 в настоящее время не может заменить людей-аудиторов, они подчеркнули, что его все еще можно использовать в качестве инструмента для повышения эффективности аудиторов смарт-контрактов и обнаружения уязвимостей безопасности, отметив:
«Для сообщества Web3 BUIDLers у нас есть слова утешения — ваша работа в безопасности! Если вы знаете, что делаете, ИИ можно использовать для повышения вашей эффективности».
Когда его спросили, будет ли инструмент, повышающий эффективность аудиторов-людей, означать, что таким фирмам, как OpenZeppelin, не понадобится столько людей, Вегенер сказал, что общий спрос на аудиты превышает возможности для обеспечения высококачественных аудитов, и они ожидают, что количество нанятых людей в качестве аудиторов в Web3, будет продолжать расти.
В ветке Twitter от 31 мая Вакабаяши сказал, что большие языковые модели (LLM), такие как ChatGPT, еще не готовы для аудита безопасности смарт-контрактов, поскольку это задача, требующая значительной степени точности, а LLM оптимизированы для генерации текста, имитируя человеческие разговоры.
«Поскольку LLM каждый раз пытаются предсказать наиболее вероятный результат, он не является последовательным. Это, очевидно, большая проблема для задач, требующих высокой степени определенности и точности результатов», – пояснил эксперт.
Однако Вакабаяши предположил, что модель ИИ, обученная с использованием адаптированных данных и выходных целей, может обеспечить более надежные решения, чем общедоступные чат-боты, обученные на больших объемах данных.
«Что это означает для ИИ в безопасности web3? Если мы обучим модель ИИ с более целенаправленными данными об уязвимостях и конкретными целями вывода, мы сможем создавать более точные и надежные решения, чем мощные LLM, обученные на огромных объемах данных», – заключил Вакабаяши.
