세번째 챌린지

[sina-Kim]

1. 오늘 배운 거 정리해보기.

퍼셉트론
선형/비선형
활성화함수

2. numpy
   써보기

[Commeci]

<퍼셉트론>
-> 초기의 인공신경망
-> 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘
-> 실제 뇌를 구성하는 신경 세포 뉴런의 동작과 유사함
-> x는 입력값, w는 가중치, y(out(t))는 출력값
-> 신경 세포 뉴런에서의 신호를 전달하는 축삭돌기 = 퍼셉트론의 가중치
=> 각각의 입력값에 존재하는 가중치의 값이 크면 클수록 해당 입력값이 중요
=> 각 입력값이 가중치와 곱해져 인공 뉴련에 보내짐 -> 각 입력값과 그에 해당되는 가중치의 곱의 접체 합이 임계치를 넘으면 종착지에 있는 인공뉴런은 출력 신호 1출력, 그렇지 않을 경우 0 출력 -> 이러한 함수를 계단 함수
<+뉴런>
-> 가지돌기에서 신호를 받고, 이 신호가 일정치보다 더 커지면 축삭돌기를 통해서 신호 전달

<선형/비선형>
-> 선형: 중학교 때 배운 1차식이나 1차 함수들을 선형이라 함. 선형=> 그래프가 직선으로 나타난다는 말
-> 비선형: 직선 모양이 아닌 것을 의미 ex)곡선, 원

선형과 비선형 쓰임 알아보기
-> 선형적 읽기: 순차적, 일방향적으로 읽는 것, 즉 순서대로 읽기
-> 비선형적 읽기: 순차적이지 않은 것, 인터넷 웹문서를 읽을때 계속해서 링크를 타면서 이동하며 읽고 돌아오는 것

선형적 인과와 비선형적 인과
-> 선형적 인과: 원인이 변화에 따른 결과의 변화의 비가 어느 점에서나 일정=>f(a+b) = f(a)+f(b) 성립
-> 비선형적 인과: 임계점에 이르러서는 그래프의 기울기가 순간적으로 커짐, 임계점 이후에 원인이 작게 변해도 결과가 크게 변함=>f(a+b)>f(a)+f(b)

<활성화함수>
-> 딥러닝 네트워크에서 노드에 입력된 값들을 비선형 함수에 통과시킨 후 다음 레이어로 전달할때 사용하는 함수(비선형 함수를 사용하는 이유는 선형함수보다 딥러닝 모델의 레이어 층을 깊게 가져갈 수 있기 때문)
-> 입력을 받아서 활성화 또는 비활성화를 결정하는데 사용되는 함수

<+종류>

극성에 따른 분류
-> 단극성 활성화 함수: 출력 값이 양수만 가능
-> 양극성 활성화 함수: 출력 값이 양수, 음수 둘 다 가능

함수 형태에 따른 분류

1. 계단 함수 : 임계치를 기준으로 가중합의 활성화 여부 결정, 0또는 1의 값 출력
   but. 기울기가 무한대인 구간에서 미분이 불가하여 가중치의 업데이트 과정에서 문제가 발생하기 때문에 딥러닝 활성화 함수로는 부적절

2. 시그모이드 함수
   S자 형태라는 의미로 S자형 곡선 함수 의미, 정의역은 실수전체이지만, 유한한 구간(a, b)사이의 한정된 값 반환
   but. 정의역의 절대값이 커질수록 미분 값이 0으로 수렴하기 때문에 가중치가 업데이트 되지 않고 소실되는 현상 발생 할 수 있음

3. ReLU
   입력 값이 0보다 작으면 0을, 0보다 크면 입력 값 그대로 출력하는 함수, 시그모이드 단점인 소실 현상 해결, 단순하지만 성능이 좋아 자주 사용되는 편
   but. 가중합이 음수인 노드들은 다시 활성화 되지 않는 현상 발생 => 이를 보완하기 위해 0이하의 값에서도 기울기를 가지는 함수들 등장

4. ELU
   ReLU와 형태가 유사하지만, 입력 값이 0인 지점에서도 미분가능, 0이하 입력의 모든 출력이 0이 아니라 0으로 수렴하는 형태 => ReLU의 노드 활성화 문제 현상을 해결함과 동시에 ReLU의 장점은 전부 가지고 있어 딥러닝에서 자주 사용
   but. ReLU에 비해 exponential function을 계산하는 비용 발생

5. Softmax
   출력 값이 0~1 사이로 정규화, 모든 출력 값의 총합이 항상 1이되는 함수, 주로 인공 신경망의 출력층에서 사용, 다중 클래스를 분류하는 목적으로 사용, 여러 개의 클래스에 대해 예측한 결과를 정규화하여 확률 값처럼 표현
   3주차 정리.pdf

[sina-Kim]

@Commeci 훌륭합니다! 가능하면, week3/[이름] 폴더를 생성해서 PDF를 올려주실 수 있으신가요?

추가적으로, 위 내용에서 딥러닝 활성화 함수로 부적절 이라는 멘트는 제가 생각했을 때, **상황에 따라 다르다.**가 될 것 같네요. 함께 공부하면서 왜 그런지 알아가면 좋을 것 같아요!