콘볼루션 넷: 모듈 관점 (Conv Nets: A Modular Perspective)
Introduction
지난 몇년간, 딥 뉴럴넷은 컴퓨터 비전과 음성인식 같은 패턴 인식 문제에 대해서 breakthrough를 이루어왔다. 이러한 결과를 낸 가장 중요한 component 중 하나는 convolutional neural network라 불리는 뉴럴넷의 특별한 형태이다.
가장 기본적으로 보았을 때, convolutional neural networks는 같은 뉴런의 동일한 복사본을 사용하는 뉴럴넷의 한 종류로 생각할 수 있다.
이는 네트워크가 실제 파라메터 수는 유지하면서 많은수의 뉴런을 가질수 있게하고 계산적으로 큰 모델을 표현할 수 있게 한다.
같은 뉴런을 여러개 복사하는 trick은 수학과 컴퓨터 사이언스에서 함수의 추상화와 대략 비슷하다.
프로그래밍 할떄, 함수를 한번만 작성하고 여러군데서 여러번 사용한다. 같은 코드를 몇 백백번 다른 곳에 작성하지 않는 것은 프로그램을 더 빠르게 하고 결국 적은 버그를 일으킨다.
비슷하게, convolutional neural network는 뉴런을 한번 학습해서 여러군데에서 사용해서 모델을 좀 더 쉽게 학습하고 에러를 감소하게 할 수 있게 한다.
Structure of Convolutional Neural Networks
오디오 샘플을 보고, 인간이 이야기하는 것인지 예측하는 뉴럴넷을 원한다고 가정하자. 너는 누군가 말하면 좀더 분석하기를 원할지도 모른다. 그 시점 다른 점에서 오디오 샘플을 얻는다. 샘플은 균일하게 위치해있다.
The simplest way to try and classify them with a neural network is to just connect them all to a fully-connected layer. 다수의 뉴런이 있고 모든 입력은 모든 뉴런에 연결된다.
A more sophisticated approach notices a kind of symmetry in the properties it’s useful to look for in the data. 우리는 데이터의 지역 성질에 대해서 신경쓴다: 주어진 시간 근처에 소리의 frequency는 어떠한가? 그들이 증가하거나 감소하는가? 기타 등등
같은 성질을 시간 내 모든 점에서 고려한다. 시작, 중간, 끝의 frequencies를 아는 것이 유용한다. 이 성질들은 작은 윈도우 안을 보는 것이 필요하므로 local한 성질이다.
데이터의 작은 시간 segment를 보는 뉴런의 그룹인 s를 생성할 수 있다. 2 s 는 그러한 모든 segments를 보고, 특정 피쳐를 계산한다. 콘볼루션 층의 출력은 fully-connected layer s에 입력된다.
위의 예제에서, s는 단지 두 점으로 이루어진 segment를 본다. 이는 현실적이진 않다. 보통 콘볼루션 층의 윈도우는 더 크다.
다음 예제에서, s는 3개의 점을 본다. 이것도 역시 현실적이지 않다 - 슬프게도 많은 점을 연결하는 s을 시각화하는 것은 어렵다.
콘볼루션 층의 한가지 매우 좋은 성질은 합성이 가능하다는 것이다. 콘볼루션 층의 출력을 다른 곳에 입력할 수 있다. 각 층에서, 네트워크는 높은 레벨에 좀더 추상화된 feature를 찾을 수 있다.
다음 예제에서 뉴런의 새로운 그룹 s가 있다. s는 이전 층위에 쌓이는 다른 콘볼루션 층을 생성하는데 사용된다.
Convolutional layers은 pooling layers 사이에 끼어진다. 특히, 매우 인기 있는 max-pooling layer이라고 불리는 층이 있다.
자주 고레벨 관점에서, frequency가 조금 늦게 또는 늦게 등장하든 상관없다. max-pooling layer는 이전 층의 작은 블럭에 대해서 피쳐의 최대값을 취한다. 출력은 이전층의 한 지역에서 피쳐가 존재하는지를 말해주지만, 정확하게 어디인지는 말해주지 못한다.
Max-pooling layers는 줌아웃과 같다. 맥스 풀링 층은 이후 convolutional layers이 데이터의 큰 섹션에서 동작하도록 해준다. 왜냐하면 풀링 층 후에 작은 patch는 그 이전에 좀 더 큰 patch에 대응되기 때문이다. 맥스풀링 층은 데이터의 매우 작은 변환에도 invariant하게 해준다.
이전 예제에서, 1-차원 콘볼루션 층을 사용했다. 그러나, 콘볼루션 층은 고차원 데이터에 대해서도 잘 동작한다. 사실, convolutional neural networks의 가장 유명한 성공은 이미지를 인식에 2D convolutional neural networks를 적용한 것이였다.
2차원 콘볼루션 층에서, segment를 보는 대신에, s는 patches를 보게될 것이다.
각 patch에 대해서, s는 피쳐를 계산할 것이다. 예를 들어, 가장자리의 존재를 찾아내는 것을 학습할 수 도 있다. 또는 texture를 찾는 것을 학습할 수도 있다, 또는 두 색의 명암을 학습할 수도 있다.
이전 예에서, convolutional layer의 출력을 fully-connected layer에 입력했다. 그러나 1차원 예제와 마찬가지로 두 개의 콘볼루션 층을 합성할 수도 있다.
2차원에서도 맥스풀링을 할 수 있다. 여기서, 각 작은 patch에 대해서 피쳐의 최대값을 취한다.
What this really boils down to is that, when considering an entire image, we don’t care about the exact position of an edge, down to a pixel. It’s enough to know where it is to within a few pixels.
비디오나 볼륨 데이터(3D 의학 스캔)같은 데이터에 대해서, 3-차원 콘볼루션 네트워크도 때떄로 쓰인다. 그러나 많이 쓰이지는 않고, 시각화하기도 어렵다.
s는 뉴런의 그룹이라고 말했다. 이것에 대해서 좀 더 자세히 알아봐야 보자. s가 정확히 무엇인가? 전통적인 콘볼루션 층에서 s는 모두 같은 입력을 얻고, 다른 피쳐를 계산하는 평행한 많은 수의 뉴런이다. 예를 들어, 2-차원 콘볼루션 층에서, 하나의 뉴런은 수평의 edge들을 찾을 수도 있다. 다른 뉴런은 수직 edge를 찾을 수 있다, 다른 뉴런은 초록-빨간의 명암을 찾을 수 있다.
That said, in the recent paper ‘Network in Network’ (Lin et al. (2013)), a new “Mlpconv” layer is proposed.
최근 논문 ‘Network in Network’ (Lin et al. (2013))에서 새로운 “Mlpconv” 층이 제안되었다. 이 모델에서, s는 뉴런의 다수의 층을 갖는다, s는 지역에 대해 고레벨 피쳐를 출력하는 마지막 층을 갖는다. 논문에서, 모델은 매우 인상적인 결과를 달성했따. 많은 벤치마크 데이터셋에서 가장 높은 성능을 내었다.
이 포스트의 목적을 위해, 표준 CNN에 집중할 것이다. There’s already enough for us to consider there!
Results of Convolutional Neural Networks
이전에, CNN을 사용한 컴퓨터 비전에서의 획기적 발전에 대해서 언급했다. 이 결과에 대해서 조금 정리하고 싶다.
In 2012, Alex Krizhevsky, Ilya Sutskever, and Geoff Hinton blew existing image classification results out of the water (Krizehvsky et al. (2012)).
Their progress was the result of combining together a bunch of different pieces. They used GPUs to train a very large, deep, neural network. They used a new kind of neuron (ReLUs) and a new technique to reduce a problem called ‘overfitting’ (DropOut). They used a very large dataset with lots of image categories (ImageNet). And, of course, it was a convolutional neural network.
Their architecture, illustrated below, was very deep. It has 5 convolutional layers,3 with pooling interspersed, and three fully-connected layers. The early layers are split over the two GPUs.
They trained their network to classify images into a thousand different categories.
Randomly guessing, one would guess the correct answer 0.1% of the time. Krizhevsky, et al.’s model is able to give the right answer 63% of the time. Further, one of the top 5 answers it gives is right 85% of the time!
Top: 4 correctly classified examples. Bottom: 4 incorrectly classified examples. Each example has an image, followed by its label, followed by the top 5 guesses with probabilities. From Krizehvsky et al. (2012).
Even some of its errors seem pretty reasonable to me!
We can also examine what the first layer of the network learns to do.
Recall that the convolutional layers were split between the two GPUs. Information doesn’t go back and forth each layer, so the split sides are disconnected in a real way. It turns out that, every time the model is run, the two sides specialize.
Neurons in one side focus on black and white, learning to detect edges of different orientations and sizes. Neurons on the other side specialize on color and texture, detecting color contrasts and patterns.4 Remember that the neurons are randomly initialized. No human went and set them to be edge detectors, or to split in this way. It arose simply from training the network to classify images.
These remarkable results (and other exciting results around that time) were only the beginning. They were quickly followed by a lot of other work testing modified approaches and gradually improving the results, or applying them to other areas. And, in addition to the neural networks community, many in the computer vision community have adopted deep convolutional neural networks.
Convolutional neural networks are an essential tool in computer vision and modern pattern recognition.
Formalizing Convolutional Neural Networks
입력 s 과 출력 s을 갖는 1-차원 콘볼루션 층을 생각해보자,
입력으로 출력을 설명하는 것은 상대적으로 쉽다.
s
s
비슷하게, 2차원 콘볼루션 층을 고려하면, 입력 s과 출력 s을 가진다.
다시 입력으로 출력을 쓸수 있다.
one has everything they need to implement a convolutional neural network, at least in theory.
이제 CNN을 구현하는데 필요한 모든 것을 가졌다. 적어도 이론적으론.
실제에선, 이것이 convolutional neural networks를 생각하는 가장 좋은 방법은 아니다. 콘볼루션이라고 불리는 수학적 연산의 측면의 대안이 되는 공식이 있다.
콘볼루션 연산은 강력한 도구이다. 수학적으로, 편미분 방정식(PDE)에서 확률론까지의 다양한 문맥에서 나왔다. PDE에서의 역할에서, 콘볼루션은 물리과학에서 매우 중요하다. 컴퓨터 그래픽, 신호처리같은 응용분야에서도 매우 중요한 역할을 한다.
우리에게, 콘볼루션은 많은 이익을 준다. 첫째로, 나이브한 관점이 제시하는것보다 콘볼루션 층의 효율적인 구현을 해줄 수있게 해준다. Secondly, it will remove a lot of messiness from our formulation, handling all the bookkeeping presently showing up in the indexing of ss – the present formulation may not seem messy yet, but that’s only because we haven’t got into the tricky cases yet.
마지막으로 콘볼루션은 콘볼루션 층에 대한 사고에 대한 다른 중요한 관점을 준다.
I admire the elegance of your method of computation; it must be nice to ride through these fields upon the horse of true mathematics while the like of us have to make our way laboriously on foot. — Albert Einstein
'머신러닝 딥러닝 번역' 카테고리의 다른 글
| (번역) DEEP METRIC LEARNING USING TRIPLET NETWORK (1) | 2017.09.17 |
|---|---|
| 딥러닝, NLP, 표현(Deep Learning, NLP, and Representations) (0) | 2016.08.14 |
| 딥러닝 챗봇 , PART 2 – IMPLEMENTING A RETRIEVAL-BASED MODEL IN TENSORFLOW(한글번역) (0) | 2016.08.14 |
| 딥러닝 챗봇, PART 1 – INTRODUCTION (한글번역) (1) | 2016.08.14 |
| IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW (한글 번역) (0) | 2016.08.14 |
