Метод выборки, при котором модель ограничивает генерацию только теми токенами, чья совокупная вероятность превышает заданный порог p. Это позволяет управлять балансом между разнообразием и релевантностью.
Пример: Установка Top-p = 0.9 означает, что модель будет выбирать следующий токен из пуска вариантов, чья суммарная вероятность составляет 90%, что даёт вариативность, но без полной случайности.
Top-p, или Nucleus Sampling, — это метод выборки следующего токена в генеративных моделях, таких как большие языковые модели (LLM). Он направлен на повышение качества и разнообразия генерируемого текста за счет отбора токенов с наибольшей кумулятивной вероятностью. Вместо того чтобы выбирать токен исключительно на основе его индивидуальной вероятности (как в жадной выборке) или из фиксированного числа наиболее вероятных токенов (как в Top-k), Top-p отсекает токены, чья суммарная вероятность превышает заданный порог (p).
Например, если p=0.9, модель отбирает минимальный набор наиболее вероятных токенов, чья суммарная вероятность составляет не менее 90%. Из этого "ядра" токенов затем случайным образом выбирается следующий токен. Это позволяет модели генерировать более разнообразный, но при этом семантически связный текст, избегая слишком предсказуемых или, наоборот, совершенно случайных слов. Top-p эффективно балансирует между креативностью и осмысленностью.