Искусственный интеллект
Дропаут
Дропаут во время обучения случайно зануляет часть активаций сети, заставляя модель не полагаться на отдельные пути или признаки. На инференсе обычно используется полная сеть с соответствующим масштабированием. Вероятность отключения выбирают с учётом архитектуры и объёма данных.
Пример на практике
В скрытом слое классификатора случайно отключается часть нейронов при каждом тренировочном проходе.
Когда пригодится
Применяйте как один из способов регуляризации нейросети.
Что важно учитывать
Слишком высокий dropout может затруднить обучение.
Словарь tarasovcode — проект Ильи Тарасова и TarasovWeb. Telegram-канал · #tarasovweb · #ИльяТарасов
Вернуться к 400 терминам