Perceptron¶

What is Perceptron?¶

다수의 신호를 입력 받아 하나의 신호를 출력, 신호는 (0 or 1) 두 개의 값을 가짐
각 입력값이 뉴런(노드)에 보내질때에는 각각 고유한 가중치가 곱해짐.
뉴런에서 보내온 신호의 총합이 정해진 한계(임계값)를 넘어서야 1을 출력함(활성화 한다)
$ y = \begin{cases} 0, & \mbox{if }(w_1x_1+w_2x_2 \le \theta) \mbox{}\\ 1, & \mbox{if }(w_1x_1+w_2x_2 > \theta )\mbox{} \end{cases}$
가중치는 각 신호가 결과에 주는 영향력을 조절하는 요소로 작용
퍼셉트론의 매개변수 값을 정하는 것은 컴퓨터가 아닌 인간! 인간이 직접 학습데이터를 보면서 매개변수 값을 정함
머신러닝 문제는 매개변수 값을 정하는 작업을 컴퓨터가 자동으로 하도록함(학습: 적절한 매개변수를 정하는 작업)

퍼셉트론 구현¶

간단한 구현: AND 함수구현¶

$x_1$ 과 $x_2$가 1일 때만 1을 출력하고 그 외에는 0을 출력
AND gate를 만족시키는 매개변수의 조합은 무수히 많다

In [1]:

def AND(x1, x2):
    w1, w2 , theta = 0.5, 0.5, 0.7
    tmp = x1*w1 +x2*w2
    if tmp<= theta:
        return 0
    elif tmp> theta:
        return 1

In [2]:

print(AND(0,0))
print(AND(1,0))
print(AND(0,1))
print(AND(1,1))

가중치와 편향 도입¶

$w_1$, $w_2$( 가중치)는 입력신호가 결과에 주는 영향력(중요도)를 조절하는 매개변수
$b$ (편향, bias)는 뉴력이 얼마나 쉽게 활성화 하느냐를 조정하는 매개변수

In [3]:

import numpy as np

In [4]:

x = np.array([0, 1]) # 입력
w = np.array([0.5, 0.5]) # 가중치
b = -0.7 # 편향
np.sum(w*x)+b

Out[4]:

-0.19999999999999996

AND Gate¶

In [5]:

def AND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = np.sum(w*x)+b
    if tmp <= 0:
        return 0
    else:
        return 1

NAND Gate( Not AND)¶

$x_1$과 $x_2$ 모두 1일 때 만 0을 출력하고 그 외에는 1을 출력한다.

In [6]:

def NAND(x1, x2): # 
    x = np.array([x1, x2])
    w = np.array([-0.5, -0.5]) # AND와 가중치만 다르다
    b= 0.7
    tmp = np.sum(w*x) + b
    if tmp <= 0:
        return 0
    else:
        return 1

OR Gate¶

$x_1$ or $x_2$ 둘 중 하나라도 1이면 1이 출력되고 모두 0이면 0을 출력한다.

In [7]:

def OR(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.2
    tmp = np.sum(w*x)+b
    if tmp <=0:
        return 0
    else:
        return 1

퍼셉트론의 한계¶

배타적 논리 합: 즉 $x_1$, $x_2$중 한쪽만 1인 경우 1을 출력하는 경우 단층 퍼셉트론으로 출력 불가
단층 퍼셉트론(선형)으로는 비선형적인 영역을 표현할 수 없음
층을 쌓아 만든 다층 퍼셉트론으로 구현

XOR Gate¶

In [8]:

def XOR(x1, x2):
    s1 = NAND(x1, x2)
    s2 = OR(x1, x2)
    y = AND(s1, s2)
    return y

In [9]:

print(XOR(0, 0))
print(XOR(0, 1))
print(XOR(1, 0))
print(XOR(1, 1))

Summary

퍼셉트론은 입출력을 갖춘 알고리즘 이다. 입력을 주면 정해진 규칙에 따른 값을 출력한다.
퍼셉트로에서는 가중치와 편향을 매개변수로 설정한다
퍼셉트론에서는 AND, OR 게이트 등 논리 회로를 표현할 수 있다.
XOR 게이트는 단층 퍼셉트론으로 표현할 수 없다.
2층 퍼셉트론을 이용하면 XOR 게이트를 표현할 수 있다.
단층 퍼셉트론은 직선형 영역만 표현할 수 있고 다층 퍼셉트론은 비선형 영역도 표현할 수 있다.

Reference

밑바닥부터 시작하는 딥러닝, 사이토 고키

728x90