Метод обучения без учителя, при котором модель создаёт для себя обучающие задачи из неразмеченных данных. Например, предсказывая пропущенные слова в тексте (masked language modeling) или следующее слово в последовательности. Основа предобучения современных LLM.
Самообучение в контексте искусственного интеллекта — это способность системы улучшать свою производительность без явного программирования со стороны человека. Это ключевая особенность многих современных моделей машинного обучения.
Процесс самообучения предполагает, что модель сама выявляет закономерности и структуры в больших объемах данных, адаптируя свои внутренние параметры (веса и смещения) для достижения заданной цели. В отличие от обучения с учителем, где модель получает пары «вход-выход» и стремится минимизировать ошибку, самообучение часто оперирует неразмеченными данными. Оно может включать такие подходы, как обучение без учителя (кластеризация, снижение размерности) или обучение с подкреплением, где модель взаимодействует со средой и получает «награды» или «наказания» за свои действия, постепенно формируя оптимальную стратегию.
Основное преимущество самообучения заключается в возможности обрабатывать огромные массивы информации и обнаруживать скрытые взаимосвязи, которые сложно или невозможно выявить вручную. Это позволяет создавать более гибкие и адаптивные системы, способные функционировать в постоянно меняющихся условиях и генерировать новые знания.