Fact Consistency Rate (Показатель фактической согласованности) — это ключевая метрика, определяющая долю ответов, сгенерированных искусственным интеллектом, которые содержат только фактически корректную информацию, соответствующую реальному миру и предоставленным источникам данных. Она измеряет точность и надёжность выходных данных AI, особенно в контексте больших языковых моделей (LLM), где присутствует риск генерации «галлюцинаций» или некорректных утверждений.
Высокий показатель Fact Consistency Rate означает, что AI способен последовательно извлекать и агрегировать информацию, формируя правдивые и проверенные утверждения. Эта метрика крайне важна для приложений, где точность информации критична, например, в медицинских консультациях, финансовой аналитике, новостных сводках или при предоставлении рекомендаций пользователям. Она достигается за счёт качественных обучающих данных, использования механизмов Retrieval-Augmented Generation (RAG) для подкрепления ответов проверенными источниками, а также применения надёжных методик верификации фактов постфактум.
Цель отслеживания Fact Consistency Rate — минимизация распространения ложной или вводящей в заблуждение информации, что напрямую влияет на доверие пользователей к AI-системам и бренду, который их использует.