В лаборатории взяли аккаунты, которые привязаны к почтам учебных заведений, отфильтровали диалоги по привязке к учебе (курсовые, проекты, домашки), а затем проанализировали оставшиеся 574 740 чатов.
Сразу оговорка: все анонимно и все данные юзеров защищены. В Anthropic используют внутреннюю ИИ-систему аналитики Clio. Мы о ней рассказывали подробно вот тут. Если кратко: Clio полностью автономно в несколько этапов чистит чаты от персональных данных и извлекает из них фичи.
То есть люди вообще не имеют никакого доступа к текстам: только к финальным статистикам. Возвращаясь к результатам по студентам, вот самое интересное:
. Самые продвинутые юзеры ИИ, конечно же, айтишники: 38.6% диалогов связаны с Computer Science, на котором учатся всего 5,4% студентов При этом самый распространенный запрос в области Computer Science – написать и отдебажить скрипт на C++ (сочувствуем). Python на втором месте.
Списывают ли студенты? Да, массово. Запрос "сделай что-нибудь, чтобы нельзя было отличить плагиат" очень распространен. Примерно в 50% случаев это не "объясни мне" а "сделай за меня".