Anthropic внедряет интерпретируемость ИИ в бизнес и работает над созданием МРТ для ИИ

Соучредитель компании Дарио Амодей говорит, что серьезная проблема современного ИИ в том, что мы создаём всё более мощные системы, не понимая в полной мере, как они работают. Непрозрачность моделей затрудняет оценку того, могут ли системы ИИ быть сознательными и заслуживать определенных прав. Он говорит, что существует гонка между ростом мощности ИИ и способностью компаний понять, как эти системы работают. Дарио прогнозирует появление моделей, эквивалентных AGI уже к 2026-2027 году. Anthropic работает над методами «механистической интерпретируемости» — технологиями, позволяющими заглянуть внутрь ИИ и понять, как он работает. Он это называет МРТ для ИИ, который позволит выявлять широкий спектр проблем: склонность ко лжи, стремление к власти, уязвимости к взлому и когнитивные сильные и слабые стороны модели. Амодей предлагает нейробиологам рассмотреть эту область, так как собирать данные об искусственных нейронных сетях гораздо проще, чем о биологических. В компании уже смогли: 1. Идентифицировали более 30 миллионов концепций в средней по размеру модели. 2. Разработали способы отслеживания и манипулирования группами признаков, называемыми «схемами» или «цепями». 3. Научились «прослеживать» ход мыслей модели при решении проблем. Anthropic планирует не только исследовать интерпретируемость, но и применять её в бизнесе. Компания видит в этом стратегическое преимущество, особенно в отраслях, где важна возможность объяснения принятых решений: финансы, медицина и юриспруденция, где непрозрачные модели имеют ограниченное применение из-за требований законодательства. Амодей считает, что интерпретируемость может помочь лучше понимать закономерности и структуры, предсказанные ИИ в таких областях, как анализ ДНК и белковых последовательностей.