신경망에서 기존의 시그모이드 함수보다 ReLU 활성화 함수를 사용하면 어떤 이점이 있나요?
1. 그라데이션 소실 문제: 시그모이드 함수의 미분의 최대값은 0.25로, 역전파 중에 총 그라데이션이 매우 작아질 수 있습니다. 이에 반해 ReLU는 양수 입력에 대해 일정한 그라데이션 1을 갖습니다.
2. 계산 효율성: ReLU는 최대(0, x)를 사용하여 계산할 수 있으며, 이는 시그모이드 함수의 지수 연산보다 효율적입니다.
3. 수렴 속도: 신경망의 활성화 함수로 ReLU를 사용하면 시그모이드 함수를 사용하는 것보다 빠르게 수렴하는 것으로 보고되고 있습니다.
What are the benefits of using the ReLU activation function over the classic sigmoid function in neural networks?
1. Gradient vanishing problem: The max value of the derivative of sigmoid function is 0.25, which can result in the total gradients becoming very small during back propagation. In contrast ReLU has a constant gradient 1 for positive inputs. 
2. Compute efficiency: ReLU can be computed using max(0, x), more efficient than exponential operations in sigmoid function. 
3. Convergence speed: it's also reported that using ReLU as activation function in neural networks converges faster than using sigmoid function.