MP
MarkTechPost • 52일 전
IMP 7
시그모이드 vs ReLU: 기하학적 맥락 상실에 따른 추론 비용
딥러닝 모델에서 시그모이드(Sigmoid) 활성화 함수는 입력값을 0과 1 사이로 압축하여 기하학적 맥락을 상실하게 만들어 모델의 깊이가 주는 이점을 제한합니다. 반면, ReLU는 양수 입력값의 크기를 보존하여 심층 신경망이 과도한 너비나 연산량 없이도 풍부한 표현력을 유지할 수 있게 합니다. 이 글은 두 활성화 함수의 신호 전파 방식과 표현 기하학 차이를 실험을 통해 분석하며, 이것이 모델의 추론 효율성과 확장성에 미치는 영향을 설명합니다.
머신러닝 활성화함수 딥러닝