Каждая функция активации выбирается в зависимости от конкретной задачи и структуры сети. Например, ReLU предпочтителен для глубоких сетей, так как он обеспечивает более быстрый и стабильный процесс обучения.
Примеры задач для различных функций активации
Сигмоидная функция
Задача: Определение, является ли пациент здоровым (0) или больным (1) на основе анализа его медицинских данных.
Решение: В этой задаче бинарной классификации нужно построить нейросеть, которая на основе различных показателей (возраст, давление, уровень холестерина и пр.) предскажет вероятность того, что пациент болен.
Для этого:
1. На вход подаются числовые значения параметров.
2. Нейроны скрытого слоя обрабатывают эти данные и передают в выходной нейрон.
3. Сигмоидная функция активации применяется на выходном слое, сжимая итоговое значение между 0 и 1. Если значение близко к 1, сеть «уверена», что пациент болен; если близко к 0 – здоров.
Особенность: Сигмоид удобен, поскольку интерпретируется как вероятность. Однако, если сеть получает очень большие значения на входе (например, значение здоровья больше 10 или меньше -10), сигмоид сильно сглаживает выход, давая почти 0 или почти 1. Из-за этого нейроны начинают "глохнуть" и сеть обучается медленнее – проблема затухающих градиентов.
ReLU (Rectified Linear Unit)
Задача: Распознавание объектов на изображениях (например, классификация, что на картинке – собака или кошка).
Решение: Эта задача требует глубокую сверточную нейросеть, в которой обработка изображения должна проходить через множество слоев.
1. Изображение пропускается через сверточные и полносвязные слои.
2. На каждом из этих слоев используются нейроны с функцией активации ReLU. ReLU активирует нейроны для всех положительных значений, а все отрицательные преобразует в ноль, ускоряя вычисления и обучение.
3. После ряда слоев сеть дает прогноз по объекту, показанному на изображении.
Особенность: ReLU хорошо справляется с глубокими сетями, позволяя избежать затухания градиентов, так как не сглаживает значения. Однако если нейроны получают очень большие или слишком маленькие значения, они могут "умирать", становясь всегда равными нулю и отключаясь от дальнейшего обучения. Поэтому для глубоких сетей иногда используют его модификацию – Leaky ReLU, которая сохраняет небольшие отрицательные значения, предотвращая «умирание» нейронов.
tanh (гиперболический тангенс)
Задача: Предсказание изменения цены акций в зависимости от рыночных факторов (например, макроэкономических показателей).
Решение: Для этой задачи строится нейросеть, которая оценивает разностные данные (рост или падение) – то есть она должна различать положительные и отрицательные значения.
1. Данные об изменении рынка подаются на входные нейроны.
2. Нейроны скрытых слоев используют функцию активации tanh, которая нормирует выходные значения от -1 до 1. Благодаря этому сеть может выдать как положительные, так и отрицательные значения, полезные для предсказания роста или падения.
3. На выходе сеть дает прогноз по изменению цены.
Особенность: Поскольку tanh учитывает знак значений, он подходит для задач, где важно различать положительные и отрицательные выходные данные, например, изменение цен, температуры или других разностных характеристик. Однако tanh также подвержен затуханию градиентов, но его диапазон шире, чем у сигмоида, и он лучше подходит для данных, которые изменяются в обе стороны.
