활성화 기능은 신경망 설계의 중요한 부분 중 하나입니다. 모델에서 더 나은 성능을 얻으려면 이러한 기능을 잘 이해해야 합니다.

활성화 함수는 입력을 특정 범위의 출력으로 변환하는 수학적 표현입니다.

두 곳에서 활성화 기능을 사용할 것입니다.

• 은닉층에서 : 여기에 활성화 함수를 추가하고 훈련 데이터를 잘 학습하기 위해 모델을 보장/제어합니다.
• 출력 레이어에서: 모델 예측 값의 유형에 따라 여기에서 활성화 함수를 선택합니다. 예측이 k 클래스의 확률 분포인지 아니면 단일 값인지 여부.

은닉층에서 사용할 수 있는 활성화 함수는 다음과 같습니다.

Sigmoid : 로지스틱 함수라고도 합니다.

def Sigmoid(input):
    """   
    :params input: any real value   
    :params    return : value in range of 0 to 1   
    """   
    return 1.0 / (1.0 + exp(-input))

      

       sigmoid activation function. (Pic take from google)
      

배니싱 그래디언트: 심층 신경망에서 가중치를 업데이트하기 위해 오류를 은닉층으로 역전파합니다. 그리고 우리의 신경망이 너무 깊고 Sigmoid 또는 tanh와 같은 제한된 활성화 함수를 사용하면 각 숨겨진 레이어를 통해 역전파된 후 오류가 극적으로 감소합니다. 그래서 초기 레이어에서 오류는 거의 0이고 이 레이어의 가중치는 그다지 업데이트되지 않았습니다. 이 상태를 Vanishing gradient라고 합니다.

당신이 그것을 사용할 수있는 곳

• 경계 영역으로 입력 값을 억제합니다. 그것이 폭발적인 그래디언트 문제를 방지하는 이유입니다(그래디언트 값이 너무 큼).

def Relu(input):
    """   
    :paras: input: any real value   
    :params     return: real value
    """   
    return max(0, input)

      

       ReLU Activation function. (Pic taken from google)
      

• ReLU의 도함수는 양수 값의 경우 1이고 음수 값의 경우 0입니다.
• 또한 함수가 x=0에서 미분 함수가 아님을 알 수 있지만 이 지점에서는 0으로 안전하게 가정할 수 있습니다.
• Sigmoid 및 tanh는 0에 가까운 값을 반환합니다(정확한 값 0에 도달하지 않음). 그러나 Relu는 진정한 0을 반환합니다(입력이 음수일 때). 이 때문에 값이 0인 일부 뉴런을 얻을 수 있습니다(예비 표현이라고도 함).

• 소실 그라디언트 문제(Sigmoid 및 tanh에서 볼 수 있음)를 해결하기 때문에 은닉층에서 사용할 수 있습니다.
• 최적화(선형성)가 쉽고 원활한 흐름을 허용합니다. 레이블이 지정된 데이터에서 사용할 수 있습니다.

• Dead neuron problem : 뉴런이 음수면에 갇히면 뉴런은 항상 0을 반환합니다. 학습률이 너무 높거나 편향이 큰 경우 이러한 문제에 직면합니다.
• 그라디언트 폭발 문제: 그라디언트 폭발은 그라디언트 소실과 반대입니다. 큰 기울기가 누적되면 가중치가 더 많이 업데이트됩니다.

def tanh(input):
    """   
    :paras: input: any real value   
    :params     return: value between -1 and 1   
    """   
    return (exp(input) - exp(-input)) / (exp(input) + exp(-input))

      

       Tanh activation function. (Pic taken from google)
      

문제

• 사라지는 그라데이션. (Sigmoid 함수 설명 참조)

• 경계 영역으로 입력 값을 억제합니다. 그것이 폭발적인 그래디언트 문제를 방지하는 이유입니다(그래디언트 값이 너무 큼).
• tanh와 Sigmoid 비교

• 그림에서 tanh의 기울기가 시그모이드 함수의 기울기보다 4배 더 큼을 알 수 있습니다. 따라서 기울기가 높을수록 가중치가 업데이트됩니다. 강한 기울기와 큰 학습 단계를 원할 때 시그모이드보다 tanh 활성화 함수를 사용할 수 있다면.
• 또한 tanh/sigmoid를 활성화 함수로 사용하면 데이터가 일반적으로 0을 중심으로 하는 것을 볼 수 있습니다.

• 신경망은 거의 항상 모든 은닉층에서 동일한 활성화 함수를 갖습니다.
• 은닉층에 대해 tanh 및 Sigmoid 활성화 함수를 사용할 때 가중치를 초기화하기 위해 " Xavier Normal " 또는 " Xavier Uniform "을 사용하는 것이 좋습니다.
• 최신 딥 러닝 알고리즘의 경우 ReLU를 기본 활성화 함수로 사용할 수 있습니다.

출력 레이어로서의 Softmax

• 벡터를 출력으로 반환하고 이 벡터에 있는 모든 값 중 일부는 정확히 0입니다. (K는 ​​출력 벡터의 크기인 K 값에 대한 확률 분포로 간주할 수 있습니다.)

def softmax(input):
	return exp(input) / exp(input).sum()

회귀 : 해결하려는 문제가 회귀 문제인 경우 출력 레이어에 노드가 하나만 있는 경우 선형 활성화 함수를 사용해야 합니다.

이진 분류 : 모든 데이터 포인트가 정확히 두 클래스 중 하나에 속하는 데이터를 고려하십시오. 그러면 내가 이진 분류 문제를 풀고 있다고 말할 수 있습니다. 출력 레이어에서 하나의 노드만 사용하는 경우 Sigmoid 활성화 함수를 사용할 수 있습니다. 이진 분류의 예: 스팸 대 스팸이 아닌 분류

다중 클래스 분류 : 이진 분류에서는 각 데이터 포인트에 대해 두 개의 가능한 클래스만 있음을 알 수 있습니다. 그러나 두 개 이상의 가능한 클래스가 있고 각 데이터 포인트가 이 클래스 중 정확히 하나에 속하는 경우 이를 다중 클래스 분류라고 합니다. 출력 레이어에 각 클래스에 대해 하나의 노드가 있는 경우 여기에서 softmax 활성화 기능을 사용할 수 있습니다. 다중 클래스 분류의 예: 데이터 세트에는 2개 이상의 클래스가 있습니다(MNST 숫자 데이터).

다중 레이블 분류 : 다중 레이블 분류는 다중 클래스 분류일 뿐입니다. 차이점은 여기에서 데이터 포인트가 지정된 출력 클래스의 다중 또는 비에 속할 수 있다는 것입니다. 출력 레이어에 각 클래스에 대해 하나의 노드가 있는 경우 여기에서 시그모이드 활성화 함수를 사용할 수 있습니다. 예 : 토픽 모델링에서 단어는 하나 이상의 토픽에 속할 수 있습니다.

더 많은 활성화 기능이 있지만 이것들은 일반적인 것입니다.