" 11 июля Anthropic, компания, занимающаяся искусственным интеллектом (ИИ) и «общественной пользой», запустила Claude 2, что стало еще одной вехой в году, полном, казалось бы, непрерывного прогресса в растущем секторе генеративного ИИ.
«Представляем Claude 2! Наша последняя модель улучшила производительность в кодировании, математике и рассуждениях. Он может давать более длинные ответы и доступен на новом общедоступном бета-сайте по адресу для США и Великобритании»— Антропик (@AnthropicAI) 11 июля 2023 г.
Согласно сообщению в блоге компании, Claude 2 показывает улучшения почти во всех измеримых категориях. Возможно, наиболее примечательным среди различий между ним и его предшественником является то, как исследователи обсуждают свою работу.
В сообщении блога, анонсирующем Claude 2, нет упоминания о традиционном бенчмаркинге машинного обучения или вычислительных оценках по сравнению с аналогичными моделями. Вместо этого Anthropic протестировала Claude и Claude 2 лицом к лицу в многочисленных тестах, предназначенных для представления реальных знаний, навыков и способностей решать проблемы.
Claude 2 превзошел своего предшественника по всем параметрам на экзаменах по знаниям, кодированию и другим экзаменам и, согласно Anthropic, даже показал хорошие результаты по сравнению со средними показателями людей:
«По сравнению со студентами колледжей, поступающими в аспирантуру, Клод 2 набирает выше 90-го процентиля на экзаменах GRE по чтению и письму и аналогично среднему абитуриенту по количественному мышлению».
Стоит отметить, что многие эксперты считают, что сравнения между людьми и тестируемыми ИИ неэффективны из-за природы когнитивных рассуждений человека и вероятности того, что набор данных для обучения большой языковой модели содержит тестовую информацию. По сути, тесты, разработанные для людей, могут на самом деле не «проверять» способность ИИ рассуждать или обеспечивать надлежащую демонстрацию реальных знаний или навыков.
Одновременно с запуском Claude 2 компания Anthropic представила бета-версию веб-интерфейса «Поговори с Клодом», обеспечивающего общий доступ к чат-боту для пользователей в США и Великобритании.
Пользователи сообщают, что в новой версии улучшения заметны сразу. Клод 2 почти мгновенно ответил на запросы четкими и краткими ответами.
Клодом 2 поясняет, что такое «темпоральные кристаллы». Источник: Anthropic
По данным Anthropic, предел подсказок новой модели составляет 100 000 токенов, что примерно эквивалентно 75 000 слов. В пользовательском интерфейсе сайта указано, что пользователи могут загружать PDF, TXT, CSV и аналогичные документы для анализа; однако эта функция не работала в ходе ограниченного тестирования.
