Компания Anthropic представила новую функцию Citations для своего ИИ-ассистента Claude, которая призвана снизить количество ошибочных утверждений (галлюцинаций) путем прямых ссылок на исходные документы.
Новая функция позволяет разработчикам добавлять документы в контекстное окно Claude, после чего модель автоматически цитирует конкретные отрывки, используемые для генерации ответов. При активации Citations API обрабатывает предоставленные пользователем исходные документы (PDF и текстовые файлы), разбивая их на предложения.
По данным внутреннего тестирования Anthropic, использование Citations повышает точность воспроизведения информации на 15% по сравнению с пользовательскими реализациями цитирования через промпты.
Технология построена на принципах Retrieval Augmented Generation (RAG), что позволяет извлекать релевантные фрагменты документов для ответа на вопросы пользователей. При этом риск того, что модель будет опираться на данные из своего обучающего набора или генерировать некорректную информацию, существенно снижается.
Citations уже доступна для моделей Claude 3.5 Sonnet и Claude 3.5 Haiku через API Anthropic и платформу Google Cloud Vertex AI. Компания Thomson Reuters планирует использовать эту функцию в своей юридической ИИ-платформе CoCounsel для повышения доверия к контенту, генерируемому искусственным интеллектом.
Финтех-компания Endex сообщила, что после внедрения Citations количество ошибочных утверждений снизилось с 10% до нуля, а количество корректных ссылок на источники увеличилось на 20%.
Стоимость использования Citations рассчитывается по стандартным тарифам Anthropic на основе токенов, при этом цитируемый текст не учитывается в стоимости выходных токенов. Обработка 100-страничного документа обойдется примерно в $0.30 для Claude 3.5 Sonnet или $0.08 для Claude 3.5 Haiku.