딥러닝, NLP, 표현(Deep Learning, NLP, and Representations)

Edit

딥러닝, NLP, 표현(Deep Learning, NLP, and Representations)

원문

Introduction

지난 몇년간, 딥 뉴럴 네트워크는 패턴인식을 독점했다. 딥 뉴럴넷은 많은 컴퓨터 비전 문제의 최신 기술을 구식으로 만들었다. 음성 인식도 역시 그 방향으로 가고 있다. 그 결과에도 불구하고, 우리는 궁금하다. 왜 그것들이 잘 동작하는가?

이 포스트는 딥뉴럴넷^{deep neural networks}을 natural language processing (NLP)에 적용한 주목할만한 결과를 리뷰한다. 그렇게 함으로써, 왜 딥뉴럴넷이 동작하는지에 대한 답을 찾길 원한다. 나는 그것이 매우 좋은 접근법이라고 생각한다.

One Hidden Layer Neural Networks

은닉층^{hidden layer}를 가진 뉴럴넷은 보편성을 가지고 있다: 충분한 은닉유닛^{hidden unit}이 주어졌을 때, 어떤 함수든 근사^approximate할 수 있다. This is a frequently quoted – and even more frequently, misunderstood and applied – theorem.

이것은 사실이다, 특히 은닉층은 룩업 테이블로 사용할 수 있기 때문이다.

심플하게, 퍼셉트론 네트워크를 고려하자.

특정 threshold를 넘으면 켜지는 퍼셉트론은 매우 간단한 뉴런이다. 퍼셉트론 네트워크는 바이너리 입력(0 과 1)을 얻어 바이너리 출력을 낸다.

입력은 유한한 경우의 수만 있다는 것을 기억해라. 각 가능한 입력에 대해, 그 입력에 대해서만 켜지는 은닉층의 뉴런을 만들 수 있다. 그 후 그 특별한 경우에 대한 출력을 조절하기 위해 뉴런과 출력 뉴런사이에 연결을 사용할 수 있다.2

그래서 하나의 은닉층의 뉴럴넷은 universal하다는 것은 사실이다. 그러나, 그 사실은 놀랍지는 않다. 모델이 룩업테이블과 같은 것을 할 수 있다는 것은 그것에 대한 유리한 논쟁은 아니다. 단지 너의 모델이 그 임무를 하는 것이 불가능하지는 않다는 것을 의미한다.

범용성(Universality)은 네트워크가 어떤 훈련 데이터에도 fit할수 있음을 의미한다. 새로운 데이터를 잘 외삽(interpolate)할 수 있다는 것을 의미하진 않는다.

범용성은 뉴럴넷이 잘 동작하는 설명은 되지 못한다. 진짜 이유는 좀 더 미묘한 것이다. 그리고 그것을 이해하기 위해, 맨먼저 어떤 구체적인 결과를 이해할 필요가 있다.

Word Embeddings

우선, 딥러닝의 재밌는 영역인 단어 임베딩(word embedding)에 대해서 추적해보자.

개인적인 의견으론, 비록 10년전 벤지오에 의해서 소개되었지만, 단어 임베딩은 지금 딥러닝에서 가장 흥미로운 분야중 하나이다. 게다가, 왜 딥러닝이 효과적인지에 대한 직관을 얻을 수 있는 가장 줗은 곳 중에 하나라고 생각한다.

단어 임베딩 s 은 어떤 언어의 단어들을 고차원 벡터(약 200에서 500차원)로 매핑하는 파라메터화된 함수(paramaterized function) 이다. 예를 들어

s

(일반적으로, 함수는 각 단어가 행이되는 행렬 s에 의해 파라메터화 된 룩업 테이블이다: s)

s는 각 단어의 랜덤 벡터로 초기화된다. 그 벡터는 어떤 과제를 하기 위해서는 의미있는 벡터로 학습된다.

예를 들어, 5-gram(다섯개의 단어의 시퀀스)가 유효한지 예측하는 네트워크를 훈련한다고 하자. Wikipedia에서 5-grams를 많이 쉽게 얻을 수 있고(eg. “cat sat on the mat”), 중간을 랜덤한 단어로 바꿈으로써(eg. “cat sat song the mat”) 부조리한 5-gram을 만든다.

학습한 모델은 5-gram에서 각 단어를 돌면서 s로 벡터 표현을 얻고 그것을 5-gram이 유효한지를 예측하는 s이라 불리는 다른 모듈에 넣는다.

s

    이 문제는 재밌지는 않다. 텍스트에 문법적 오류를 찾는것이 도움이 될 수 있다.그러나 재밌는 것은 s이다.

    사실, 우리에서, 문제의 포인트는 s를 학습하는 것이다. 다른 몇몇의 문제로 풀 수 있다. 다른 공통적인 것은 시퀀스에서 다음 단어를 예측하는 것이다. 사실, 우리에서, 문제의 포인트는 s를 학습하는 것이다. 다른 몇몇의 문제로 풀 수 있다. 다른 공통적인 것은 시퀀스에서 다음 단어를 예측하는 것이다. 그러나, 신경쓰지 않는다. 이 섹션의 나머지는 거의 단어 임베딩 결과에 대해서 이야기 할 것이다.

    단어 임베딩 공간에 대해서 느낌을 얻기 위해 할 수 있는 한가지는 고차원 공간 데이터를 시각화하는 기술인 t-SNE로 벡터를 시각화하는 것이다.

t-SNE visualizations of word embeddings. Left: Number Region; Right: Jobs Region. From Turian et al. (2010), see complete image.

이러한 종류의 단어 지도는 많은 직관적 느낌을 준다. 비슷한 단어는 서로 가깝다. 느낌을 얻는 다른 방법은 어떤 단어가 임베딩에서 가장 가까운 단어가 무엇인지 보는 것이다. 다시, 가까운 단어들은 서로 비슷하다.

What words have embeddings closest to a given word? From Collobert et al. (2011)

네트워크가 비슷한 의미의 단어를 비슷한 벡터로 만드는 것은 자연스럽게 보인다. 유사어(eg. “a few people sing well s a couple people sing well”)를 바꾸면, 문장의 유효성은 바뀌지 않는다. While, from a naive perspective, the input sentence has changed a lot, if s maps synonyms (like “few” and “couple”) close together, from s”s perspective little changes. 나이브한 관점에선, s가 유의어(like “few” and “couple”)를 서로 가까이 매핑시키면, 문장이 많이 바뀌어도, s의 관점에선 거의 바뀌지 않는다.

이것은 강력한다. 가능한 5-그램의 수는 방대하고, 데이터는 상대적으로 작다. 서로 가까이 있는 비슷한 단어들은 한 문장을 비슷한 다른 종류의 문장으로 일반화할 수 있게 한다. 이는 유의어로 바꾼다는 것이지, 비슷한 종류의 단어로 바꾼다는 것(eg. “the wall is blue” →→ “the wall is red”)이 아니다. 더구나, 여러단어를 바꿀 수도 있다 (eg. “the wall is blue” →→ “the ceiling is red”). 이것의 효과는 단어의 수에 대해서 지수적이다4.

이는 s가 하는 유용한 일이다. 그러나 s를 어떻게 학습하는가?
It seems quite likely that there are lots of situations where it has seen a sentence like “the wall is blue” and know that it is valid before it sees a sentence like “the wall is red”. “red”를 “blue”로 바꾸는 것은 네트워크가 좀 더 잘 동작하게 한다.

여전히 사용된 모든 단어의 예를 봐야 하지만, analogy는 단어의 새로운 조합을 일반화할 수 있게 해준다. 이전에 이해한 모든 단어를 봤다, 그러나, 이전에 이해한 모든 문장을 본적은 없다. 뉴럴넷도 역시 마찬가지이다.

단어 임베딩은 좀더 주목할만한 성질을 보여준다: 단어사이의 analogies는 단어 사이의 벡터 차이로 인코딩되는 것으로 보인다. 예를 들어 다음과 같이 일정한 남자-여자 차이 벡터가 있다.

s

이거은 놀랍지는 않아 보인다.

무엇보다, gender 대명사는 단어를 바꾸는 것은 문장을 문법적으로 틀리게 만들 수 있음을 의미한다. “she is the aunt” 이지만, “he is the uncle.”라고 쓴다. 비슷하게 “he is the King” 이지만 “she is the Queen.”이다 “she is the uncle,”라는 문장을 본다면, 문법적 오류이다. 단어들이 중간에서 랜덤하게 바뀐다면, 이런일이 생길 확률이 크다. “물론” 뒤늦은 깨달음으로 말한다. “”단어 임베딩은 gender를 일치하는 방향으로 학습할 것이다”. 사실, gender 차원이 아마도 있을 것이다. 단수 복수도 마찬가지이다. 이러한 명백한 관계를 찾는 것은 쉽다.

이러한 방식으로, 좀더 복잡한 관계도 역시 encode된다고 알려져 있다. 거의 기적으로로 보인다.

Relationship pairs in a word embedding. From Mikolov et al. (2013b).

s의 이러한 모든 성질은 side effects임을 이해하는 것이 중요하다.

일부로 비슷한 단어가 가까워지도록 하게 하지 않았다. 차이 벡터로 인코드된 analogies를 얻으려고 하지 않았다. 우리가 하려고 시도한 것은 문장이 유효한지 예측하는 일 같은 간단한 과제이다. 이러한 성질는 거의 최적화 과정에서 튀어나온다.

데이터를 표현하는 더 좋은 방법을 자동으로 학습하는 것은 뉴럴넷의 강한 힘처럼 보인다. 데이터를 잘 표현한다는 것은 많은 머신러닝 문제에서, 성공을 위한 본질처럼 보인다. 단어 임베딩은 단지 표현 학습의 놀라운 예이다.

Shared Representations

단어 임베딩의 성질은 흥미롭지만, 5-gram이 유효한지 같은 바보같은 것을 예측하는 것 말고 그걸로 유용한 어떤 것을 할 수 있을까?

간단한 일을 잘하기 위해 단어 임베딩을 학습했다. 그러나 단어 임베딩에서 관찰한 좋은 성질에 대해서, 그것이 NLP 태스크에 일반적으로 유용한지 의심을 가질 수 있다. 사실 이같은 단어 표현은 매우 중요하다.

단어 표현의 쓰임은 최근에 개체명 인식, 음성 부분 태킹, 파싱, 의미적 역할 레이블링, 많은 NLP 시스템의 성공에 중요한 비밀 소스가 됐다.
(Luong et al. (2013))

이 일반적인 전략(태스크 A에 대한 좋은 표현을 학습하고 B 태스트에 쓴다)은 딥러닝 툴박스에서 주요한 기술 중 하나이다. 세부 사항에 따라 다른 이름으로 불리기도 한다: pretraining, transfer learning, multi-task learning. 이 접근법의 큰 힘 중 하나는 표현이 한 종류 이상의 데이터로 부터 학습된 표현이 가능하다는 것이다.

이 트릭에 대한 대응점이 있다. 한 가지 종류의 데이터를 방법을 학습해, 다양한 일에 쓰는 것 대신에, 다양한 종류의 데이터를 한가지 표현에 매핑하는 방법을 학습할 수 있다.

One nice example of this is a bilingual word-embedding, produced in Socher et al. (2013a).
이것은 한가지 좋은 예는 Socher의 이중 언어 단어 임베딩이다. 두 개의 다른 언어로부터 하나의 공유된 공간 안에 이는 임베딩 단어를 학습할수 있다. 이 경우, 같은 공간에 영어와 중국어 단어 임베딩을 학습할 수 있다.

위에서 한 방법과 비슷한 방법으로, 두 단어 임베딩 s 와 s 를 학습할 수 있다. 그러나. 특정 영어 단어와 중국어 단어가 비슷한 의미를 가짐을 안다.그래서, 우리가 알기에 비슷한 의미를 가진 단어들은 비슷한 공간에 있어야 한다는 추가적인 성질에 대해서 최적화한다.

물론, 비슷한 의미의 단어가 결국엔 비슷해진다는 것을 관찰한다. 그렇게 학습을 했기 때문에 놀라운 건 아니다. 좀 더 흥미로운 것은 번역을 모르는 단어도 벡터가 비슷해진다는 것이다.

단어 임베딩의 이전 경험에 비추어, 이도 역시 놀랍지 않다. 단어 임베딩은 비슷한 단어들을 서로 당긴다. 우리가 비슷하다고 알고 있는 영어와 중국어 단어 서로 비슷한 위치에 있으면, 그들의 동의어들은 서로 비슷한 곳에 있을 것이다.

gender difference 같은 것들은 차벡터로 표현되는 경향이 있다고 알수 있다.
It seems like forcing enough points to line up should force these difference vectors to be the same in both the English and Chinese embeddings. 남자 버전이 서로 번역이 되면, 여자 단어로 서로 번역할 수 있다.

이중 언어 임베딩에서, 두개의 매우 비슷한 종류의 데이터의 대한 공유 표현을 학습했다. 그러나 같은 공간안의 매우 다른 종류의 데이터의 임베드를 학습할 수 있다.

최근에는, 딥러닝은 이미와 단어를 하나의 표현안에 임베드한 모데들을 탐색하기 시작했다. 기본적인 아이디어는 단어 임베딩에서의 벡터를 출력함으로써 이미지를 분류하는 것이다. 개의 이미지는 개의 단어 벡터 근처에 매핑된다.

재밌는 부분은 새로운 종류의 이미지에 대해서 모델을 테스트할 때, 어떻게 되는가이다. 예를 들어 모델은 고양이 분류를 학습한적이 없다면 - 즉 고양이 그림을 “cat” 단어 벡터에 매핑한적이 없다면 - 이미지를 분류하려 할 때 무슨 일이 일어나는가?

네트워크는 이러한 새로운 종류의 이미지를 합리적으로 다룰 수 있다. 고양이의 이미지는 단어 임베딩 공간의 랜덤점에 매핑되지 않는다. 대신에, “cat”벡터 근처에 있을 “dog” 벡터 근처에 매핑되는 경향이 있다. 비슷하게, 트럭 이미지는 “automobile” 벡터와 비슷한 곳에 있는 트럭벡터에 위치하게 된다.

이 일은 스탠포드 그룹의 멤버가 단지 8개의 알려진 클래스(2개는 unknown class)에 대해서 이루어졌다. 그 결과는 이미 매우 인상깊다. 그러나, 약간의 알려진 클래스로는, 이미지와 의미공간 사이의 관계를 추론할 수 있는 많지 않은 점이 있다.

구글 그룹은 좀 더 큰 버전을 했다 - 8개의 카테고리 대신에, 그들은 1,000를 사용했다 - around the same time (Frome et al. (2013)) and has followed up with a new variation (Norouzi et al. (2014)). 둘 다 매우 강력한 이미지 분류 모델이다. 그러나 이미지를 단어 임베딩 공간에 다른 방법으로 embed 한다.

그 결과는 인상적이다. 알려지지 않은 class 의 이미지를 그 class를 표현하는 정확한 벡터에 데려가진 않는 반면에, 올바른 이웃에는 데려갈 수 있다. 그래서, 알려지지 않은 class의 이미지를 분류하도록 요청받고 class 가 매우 다를 때, 다른 class 사이를 구분할 수 있다.

내가 Aesculapian snake 또는 Armadillo를 본적이 없더라도, 네가 각각의 그림을 나에게 보여준다면, 나는 어떤 종류의 동물이 각 단어에 연관되어 있는지 일반적인 idea가 있으므로 각 그림이 어떤 동물인지 너에게 말할 수 있다. 이 네트워크도 같은 일을 할 수 있다.

이 결과들은 “이 단어들은 비슷하다” 추론을 이용한다. 그러나 좀더 강력한 결과들이 단어사이의 관계에 기반해서 가능할 것처럼 보인다. 단어 임베딩 공간에서, 단어의 남자와 여자버전 사이에 일관성있는 차 벡터가 있다.비슷하게, 이미지 공간에서, 남자와 여자를 구별하는 일관성있는 피쳐가 있다. 턱수염, 대머리는 모두 강한 남자의 피쳐이다. 가슴, 긴 머리, 메이크업, 보석은 명백히 여자의 지표이다. 네가 왕을 전에 본적이 없더라도, 여왕이 왕관이 쓴적이 있는 것을 본적이 있고, 왕관을 쓰고 수염있는 사람을 본다면, 여왕의 남자 버전임을 알수 있다.

Shared embeddings are an extremely exciting area of research and drive at why the representation focused perspective of deep learning is so compelling.

Recursive Neural Networks

다음 네트워크의 단어임베딩을 토의해보자.

Modular Network that learns word embeddings (From Bottou (2011))

위의 그림은 modular network s를 표현한다. 네트워크는 두 모듈 s 과 s로 만들어진다. 작은 네트워크 “module”로부터 뉴럴넷을 만드는 이 접근은, 널리 쓰이지는 않는다. 그러나, NLP에서 매우 성공적이다. 위과 같은 모델은 강력하지만, 유감스러운 한계가 있다. 네트워크는 단지 고정된 수의 입력만 가질 수 있다.

두 단어 또는 문장 표현을 취하는 연관 모듈 s 를 추가함으로써 이를 극복할 수 있다.

(From Bottou (2011))

단어의 시퀀스를 합침으로써, s는 구절 또는 심지어 전체 문장을 표현할 수 있게 해준다. 다른 수의 단어를 합칠수 있기 때문에, 고정된 입력을 쓸 필요는 없어진다.

문장의 단어를 선형적으로 합칠 필요는 없다. “the cat sat on the mat”를 보면, “((the cat) (sat (on (the mat))))”로 자연스럽게 나눌 수 있다. s를 이 괄호에 기반에 적용할 수 있다.

이러한 모델은 “recursive neural networks”이라고 불린다. 왜냐하면 모듈의 출력을 같은 타입에 모듈로 넣기 때문이다. 그들은 또한 “tree-structured neural networks”이라고 불린다.

Recursive neural networks have had significant successes in a number of NLP tasks. For example, Socher et al. (2013c) uses a recursive neural network to predict sentence sentiment:
Recursive neural networks은 많은 수의 NLP task에서 의미 있는 성공을 했다. 예를 들어, Socher et al. (2013c)는 문장 감정을 예측하는데 Recursive neural networks를 사용했다.

하나의 주요 목표는 가역 문장 표현을 생성하는 것이다. 그 표현은 다시 비슷한 의미의 실제 문장으로 재구성할 수 있다. 예를 들어, s를 되돌리는 disassociation module, s를 만드는 것이다.

그러한 일을 할수 있다면, 매우 강력한 도구가 될 것이다. 예를 들어, 이중언어 문장 표현을 만들려고 시도하고 다시 번역을 위해 그것을 쓸 수 있다.

운이 나쁘게도, 이것은 매우 어렵다고 판명됐다. 매우 매우 여렵다. And given the tremendous promise, there are lots of people working on it.

최근에, Cho et al. (2014)는 구절을 표현하는데 조금의 진전을 이루었다. 영어 문장을 encode하고 다시 프랑스어로 decode하는 모델을 만들었다. 학습된 구절 표현을 보라.

Criticisms

NLP 와 linguistic에서 다른 분야의 비판을 받는 이야기를 들었다. 우려는 그결과 자체가 아니라, 그결과에서 유추되는 결론에 대한 것이다. 난 이 우려를 판단할 자격은 없다. I’d encourage someone who feels this way to describe the concerns in the comments.

Conclusion

딥러닝의 표현 관점은 왜 딥 뉴럴 네크워크가 효과적인지에대한 답으로 보이는 강력한 뷰이다.그걸 넘어서, 왜 뉴럴네트워크가 효과적인지에 대한 매우 아름다운 어떤 것이 있다고 생각한다. 데이터를 표현하는 좀 더 좋은 방법은 층이 있는 모델을 최적화하는 것에서 나올 수 있기 때문이다.

딥러닝은 이론이 강력하게 잘 정립되지 않고 관점도 빠르게 바뀌는 매우 젊은 분야이다. 뉴럴넷의 표현에 중점을 관점이 현재 매우 인기있다는 기분이 든다.

이 포스트는 재밌어보이는 연구 결과를 리뷰했다. 나의 주 동기는 딥러닝과 타입이론 과 함수형 프로그래밍과의 연결을 미래에 찾는 포스트에 대한 밑바탕을 만드는 거였다.

If you’re interested, you can subscribe to my rss feed so that you’ll see it when it is published.

(I would be delighted to hear your comments and thoughts: you can comment inline or at the end. For typos, technical errors, or clarifications you would like to see added, you are encouraged to make a pull request on github)

%23%23%20%uB525%uB7EC%uB2DD%2C%20NLP%2C%20%uD45C%uD604%28Deep%20Learning%2C%20NLP%2C%20and%20Representations%29%0A@%5Bpublished%5D%20%0A@%5B%uD2F0%uC2A4%uD1A0%uB9AC%5D%0A%0A%5B%uC6D0%uBB38%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/%29%0A%0A%23%23%23%20Introduction%0A%0A%uC9C0%uB09C%20%uBA87%uB144%uAC04%2C%20%uB525%20%uB274%uB7F4%20%uB124%uD2B8%uC6CC%uD06C%uB294%20%uD328%uD134%uC778%uC2DD%uC744%20%uB3C5%uC810%uD588%uB2E4.%20%uB525%20%uB274%uB7F4%uB137%uC740%20%uB9CE%uC740%20%uCEF4%uD4E8%uD130%20%uBE44%uC804%20%uBB38%uC81C%uC758%20%uCD5C%uC2E0%20%uAE30%uC220%uC744%20%uAD6C%uC2DD%uC73C%uB85C%20%uB9CC%uB4E4%uC5C8%uB2E4.%20%uC74C%uC131%20%uC778%uC2DD%uB3C4%20%uC5ED%uC2DC%20%uADF8%20%uBC29%uD5A5%uC73C%uB85C%20%uAC00%uACE0%20%uC788%uB2E4.%20%uADF8%20%uACB0%uACFC%uC5D0%uB3C4%20%uBD88%uAD6C%uD558%uACE0%2C%20%uC6B0%uB9AC%uB294%20%uAD81%uAE08%uD558%uB2E4.%20%uC65C%20%uADF8%uAC83%uB4E4%uC774%20%uC798%20%uB3D9%uC791%uD558%uB294%uAC00%3F%0A%0A%uC774%20%uD3EC%uC2A4%uD2B8%uB294%20%20%uB525%uB274%uB7F4%uB137%3Csup%3Edeep%20neural%20networks%3C/sup%3E%uC744%20natural%20language%20processing%20%28NLP%29%uC5D0%20%uC801%uC6A9%uD55C%20%uC8FC%uBAA9%uD560%uB9CC%uD55C%20%uACB0%uACFC%uB97C%20%uB9AC%uBDF0%uD55C%uB2E4.%20%uADF8%uB807%uAC8C%20%uD568%uC73C%uB85C%uC368%2C%20%20%uC65C%20%uB525%uB274%uB7F4%uB137%uC774%20%uB3D9%uC791%uD558%uB294%uC9C0%uC5D0%20%uB300%uD55C%20%uB2F5%uC744%20%uCC3E%uAE38%20%uC6D0%uD55C%uB2E4.%20%uB098%uB294%20%uADF8%uAC83%uC774%20%uB9E4%uC6B0%20%uC88B%uC740%20%uC811%uADFC%uBC95%uC774%uB77C%uACE0%20%uC0DD%uAC01%uD55C%uB2E4.%0A%0A%23%23%23%20One%20Hidden%20Layer%20Neural%20Networks%0A%uC740%uB2C9%uCE35%3Csup%3Ehidden%20layer%3C/sup%3E%uB97C%20%uAC00%uC9C4%20%uB274%uB7F4%uB137%uC740%20%uBCF4%uD3B8%uC131%uC744%20%uAC00%uC9C0%uACE0%20%uC788%uB2E4%3A%20%uCDA9%uBD84%uD55C%20%uC740%uB2C9%uC720%uB2DB%3Csup%3Ehidden%20unit%3C/sup%3E%uC774%20%uC8FC%uC5B4%uC84C%uC744%20%uB54C%2C%20%uC5B4%uB5A4%20%uD568%uC218%uB4E0%20%uADFC%uC0AC%3Csup%3Eapproximate%3C/sup%3E%uD560%20%uC218%20%uC788%uB2E4.%20This%20is%20a%20frequently%20quoted%20%u2013%20and%20even%20more%20frequently%2C%20misunderstood%20and%20applied%20%u2013%20theorem.%0A%0A%uC774%uAC83%uC740%20%uC0AC%uC2E4%uC774%uB2E4%2C%20%uD2B9%uD788%20%uC740%uB2C9%uCE35%uC740%20%uB8E9%uC5C5%20%uD14C%uC774%uBE14%uB85C%20%uC0AC%uC6A9%uD560%20%uC218%20%uC788%uAE30%20%uB54C%uBB38%uC774%uB2E4.%0A%0A%uC2EC%uD50C%uD558%uAC8C%2C%20%uD37C%uC149%uD2B8%uB860%20%uB124%uD2B8%uC6CC%uD06C%uB97C%20%uACE0%uB824%uD558%uC790.%0A%0A%uD2B9%uC815%20threshold%uB97C%20%uB118%uC73C%uBA74%20%uCF1C%uC9C0%uB294%20%uD37C%uC149%uD2B8%uB860%uC740%20%uB9E4%uC6B0%20%uAC04%uB2E8%uD55C%20%uB274%uB7F0%uC774%uB2E4.%20%uD37C%uC149%uD2B8%uB860%20%uB124%uD2B8%uC6CC%uD06C%uB294%20%uBC14%uC774%uB108%uB9AC%20%uC785%uB825%280%20%uACFC%201%29%uC744%20%uC5BB%uC5B4%20%uBC14%uC774%uB108%uB9AC%20%uCD9C%uB825%uC744%20%uB0B8%uB2E4.%0A%0A%uC785%uB825%uC740%20%uC720%uD55C%uD55C%20%uACBD%uC6B0%uC758%20%uC218%uB9CC%20%uC788%uB2E4%uB294%20%uAC83%uC744%20%uAE30%uC5B5%uD574%uB77C.%20%uAC01%20%uAC00%uB2A5%uD55C%20%uC785%uB825%uC5D0%20%uB300%uD574%2C%20%uADF8%20%uC785%uB825%uC5D0%20%uB300%uD574%uC11C%uB9CC%20%uCF1C%uC9C0%uB294%20%uC740%uB2C9%uCE35%uC758%20%uB274%uB7F0%uC744%20%uB9CC%uB4E4%20%uC218%20%uC788%uB2E4.%20%uADF8%20%uD6C4%20%uADF8%20%uD2B9%uBCC4%uD55C%20%uACBD%uC6B0%uC5D0%20%uB300%uD55C%20%uCD9C%uB825%uC744%20%uC870%uC808%uD558%uAE30%20%uC704%uD574%20%uB274%uB7F0%uACFC%20%uCD9C%uB825%20%uB274%uB7F0%uC0AC%uC774%uC5D0%20%uC5F0%uACB0%uC744%20%uC0AC%uC6A9%uD560%20%uC218%20%uC788%uB2E4.2%0A%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/flowchart-PerceptronLookup.png%29%0A%0A%uADF8%uB798%uC11C%20%uD558%uB098%uC758%20%uC740%uB2C9%uCE35%uC758%20%uB274%uB7F4%uB137%uC740%20universal%uD558%uB2E4%uB294%20%uAC83%uC740%20%uC0AC%uC2E4%uC774%uB2E4.%20%uADF8%uB7EC%uB098%2C%20%uADF8%20%uC0AC%uC2E4%uC740%20%uB180%uB78D%uC9C0%uB294%20%uC54A%uB2E4.%20%uBAA8%uB378%uC774%20%uB8E9%uC5C5%uD14C%uC774%uBE14%uACFC%20%uAC19%uC740%20%uAC83%uC744%20%uD560%20%uC218%20%uC788%uB2E4%uB294%20%uAC83%uC740%20%uADF8%uAC83%uC5D0%20%uB300%uD55C%20%uC720%uB9AC%uD55C%20%uB17C%uC7C1%uC740%20%uC544%uB2C8%uB2E4.%20%uB2E8%uC9C0%20%uB108%uC758%20%uBAA8%uB378%uC774%20%uADF8%20%uC784%uBB34%uB97C%20%uD558%uB294%20%uAC83%uC774%20%uBD88%uAC00%uB2A5%uD558%uC9C0%uB294%20%uC54A%uB2E4%uB294%20%uAC83%uC744%20%uC758%uBBF8%uD55C%uB2E4.%0A%0A%uBC94%uC6A9%uC131%28Universality%29%uC740%20%uB124%uD2B8%uC6CC%uD06C%uAC00%20%uC5B4%uB5A4%20%uD6C8%uB828%20%uB370%uC774%uD130%uC5D0%uB3C4%20fit%uD560%uC218%20%uC788%uC74C%uC744%20%uC758%uBBF8%uD55C%uB2E4.%20%uC0C8%uB85C%uC6B4%20%uB370%uC774%uD130%uB97C%20%uC798%20%uC678%uC0BD%28interpolate%29%uD560%20%uC218%20%uC788%uB2E4%uB294%20%uAC83%uC744%20%uC758%uBBF8%uD558%uC9C4%20%uC54A%uB294%uB2E4.%0A%0A%uBC94%uC6A9%uC131%uC740%20%uB274%uB7F4%uB137%uC774%20%uC798%20%uB3D9%uC791%uD558%uB294%20%uC124%uBA85%uC740%20%uB418%uC9C0%20%uBABB%uD55C%uB2E4.%20%uC9C4%uC9DC%20%uC774%uC720%uB294%20%uC880%20%uB354%20%uBBF8%uBB18%uD55C%20%uAC83%uC774%uB2E4.%20%uADF8%uB9AC%uACE0%20%uADF8%uAC83%uC744%20%uC774%uD574%uD558%uAE30%20%uC704%uD574%2C%20%uB9E8%uBA3C%uC800%20%uC5B4%uB5A4%20%uAD6C%uCCB4%uC801%uC778%20%uACB0%uACFC%uB97C%20%uC774%uD574%uD560%20%uD544%uC694%uAC00%20%uC788%uB2E4.%0A%0A%23%23%20Word%20Embeddings%0A%uC6B0%uC120%2C%20%uB525%uB7EC%uB2DD%uC758%20%uC7AC%uBC0C%uB294%20%uC601%uC5ED%uC778%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%28word%20embedding%29%uC5D0%20%uB300%uD574%uC11C%20%uCD94%uC801%uD574%uBCF4%uC790.%0A%0A%uAC1C%uC778%uC801%uC778%20%uC758%uACAC%uC73C%uB860%2C%20%uBE44%uB85D%2010%uB144%uC804%20%uBCA4%uC9C0%uC624%uC5D0%20%uC758%uD574%uC11C%20%uC18C%uAC1C%uB418%uC5C8%uC9C0%uB9CC%2C%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC740%20%uC9C0%uAE08%20%uB525%uB7EC%uB2DD%uC5D0%uC11C%20%uAC00%uC7A5%20%uD765%uBBF8%uB85C%uC6B4%20%uBD84%uC57C%uC911%20%uD558%uB098%uC774%uB2E4.%20%20%uAC8C%uB2E4%uAC00%2C%20%uC65C%20%uB525%uB7EC%uB2DD%uC774%20%uD6A8%uACFC%uC801%uC778%uC9C0%uC5D0%20%uB300%uD55C%20%uC9C1%uAD00%uC744%20%uC5BB%uC744%20%uC218%20%uC788%uB294%20%uAC00%uC7A5%20%uC917%uC740%20%uACF3%20%uC911%uC5D0%20%uD558%uB098%uB77C%uACE0%20%uC0DD%uAC01%uD55C%uB2E4.%0A%0A%uB2E8%uC5B4%20%uC784%uBCA0%uB529%20%24W%3A%20%5Cmathrm%7Bwords%7D%20%5Cto%20%5Cmathbb%7BR%7D%5En%24%20%uC740%20%uC5B4%uB5A4%20%uC5B8%uC5B4%uC758%20%uB2E8%uC5B4%uB4E4%uC744%20%uACE0%uCC28%uC6D0%20%uBCA1%uD130%28%uC57D%20200%uC5D0%uC11C%20500%uCC28%uC6D0%29%uB85C%20%uB9E4%uD551%uD558%uB294%20%uD30C%uB77C%uBA54%uD130%uD654%uB41C%20%uD568%uC218%28paramaterized%20function%29%20%uC774%uB2E4.%20%20%uC608%uB97C%20%uB4E4%uC5B4%0A%24%24%0AW%28%60%60%5Ctext%7Bcat%7D%5C%21%22%29%20%3D%20%280.2%2C%7E%20%5Ctext%7B-%7D0.4%2C%7E%200.7%2C%7E%20...%29%20%5C%5C%0AW%28%60%60%5Ctext%7Bcat%7D%5C%21%22%29%20%3D%20%280.2%2C%7E%20%5Ctext%7B-%7D0.4%2C%7E%200.7%2C%7E%20...%29%0A%24%24%0A%28%uC77C%uBC18%uC801%uC73C%uB85C%2C%20%uD568%uC218%uB294%20%uAC01%20%uB2E8%uC5B4%uAC00%20%uD589%uC774%uB418%uB294%20%uD589%uB82C%20%24%5Ctheta%24%uC5D0%20%uC758%uD574%20%uD30C%uB77C%uBA54%uD130%uD654%20%uB41C%20%uB8E9%uC5C5%20%uD14C%uC774%uBE14%uC774%uB2E4%3A%20%24W_%5Ctheta%28w_n%29%20%3D%20%5Ctheta_n%24%29%0A%0A%24W%24%uB294%20%uAC01%20%uB2E8%uC5B4%uC758%20%uB79C%uB364%20%uBCA1%uD130%uB85C%20%uCD08%uAE30%uD654%uB41C%uB2E4.%20%uADF8%20%uBCA1%uD130%uB294%20%uC5B4%uB5A4%20%uACFC%uC81C%uB97C%20%uD558%uAE30%20%uC704%uD574%uC11C%uB294%20%uC758%uBBF8%uC788%uB294%20%uBCA1%uD130%uB85C%20%uD559%uC2B5%uB41C%uB2E4.%0A%0A%uC608%uB97C%20%uB4E4%uC5B4%2C%205-gram%28%uB2E4%uC12F%uAC1C%uC758%20%uB2E8%uC5B4%uC758%20%uC2DC%uD000%uC2A4%29%uAC00%20%uC720%uD6A8%uD55C%uC9C0%20%uC608%uCE21%uD558%uB294%20%uB124%uD2B8%uC6CC%uD06C%uB97C%20%uD6C8%uB828%uD55C%uB2E4%uACE0%20%uD558%uC790.%20%20Wikipedia%uC5D0%uC11C%205-grams%uB97C%20%uB9CE%uC774%20%uC27D%uAC8C%20%uC5BB%uC744%20%uC218%20%uC788%uACE0%28eg.%20%u201Ccat%20sat%20on%20the%20mat%u201D%29%2C%20%uC911%uAC04%uC744%20%uB79C%uB364%uD55C%20%uB2E8%uC5B4%uB85C%20%uBC14%uAFC8%uC73C%uB85C%uC368%28eg.%20%u201Ccat%20sat%20song%20the%20mat%u201D%29%20%uBD80%uC870%uB9AC%uD55C%205-gram%uC744%20%uB9CC%uB4E0%uB2E4.%0A%20%0A%uD559%uC2B5%uD55C%20%uBAA8%uB378%uC740%20%205-gram%uC5D0%uC11C%20%uAC01%20%uB2E8%uC5B4%uB97C%20%uB3CC%uBA74%uC11C%20%24W%24%uB85C%20%uBCA1%uD130%20%uD45C%uD604%uC744%20%uC5BB%uACE0%20%uADF8%uAC83%uC744%205-gram%uC774%20%uC720%uD6A8%uD55C%uC9C0%uB97C%20%uC608%uCE21%uD558%uB294%20%24R%24%uC774%uB77C%20%uBD88%uB9AC%uB294%20%uB2E4%uB978%20%uBAA8%uB4C8%uC5D0%20%uB123%uB294%uB2E4.%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Bottou-WordSetup.png%29%0A%0A%24%24%0AR%28W%28%60%60%5Ctext%7Bcat%7D%5C%21%22%29%2C%7E%20W%28%60%60%5Ctext%7Bsat%7D%5C%21%22%29%2C%7E%20W%28%60%60%5Ctext%7Bon%7D%5C%21%22%29%2C%7E%20W%28%60%60%5Ctext%7Bthe%7D%5C%21%22%29%2C%7E%20W%28%60%60%5Ctext%7Bmat%7D%5C%21%22%29%29%20%3D%201%20%5C%5C%0AR%28W%28%60%60%5Ctext%7Bcat%7D%5C%21%22%29%2C%7E%20W%28%60%60%5Ctext%7Bsat%7D%5C%21%22%29%2C%7E%20W%28%60%60%5Ctext%7Bsong%7D%5C%21%22%29%2C%7E%20W%28%60%60%5Ctext%7Bthe%7D%5C%21%22%29%2C%7E%20W%28%60%60%5Ctext%7Bmat%7D%5C%21%22%29%29%20%3D%200%0A%24%24%0A%uC774%20%uBB38%uC81C%uB294%20%uC7AC%uBC0C%uC9C0%uB294%20%uC54A%uB2E4.%20%uD14D%uC2A4%uD2B8%uC5D0%20%uBB38%uBC95%uC801%20%uC624%uB958%uB97C%20%uCC3E%uB294%uAC83%uC774%20%uB3C4%uC6C0%uC774%20%uB420%20%uC218%20%uC788%uB2E4.%uADF8%uB7EC%uB098%20%uC7AC%uBC0C%uB294%20%uAC83%uC740%20%24W%24%uC774%uB2E4.%0A%0A%uC0AC%uC2E4%2C%20%uC6B0%uB9AC%uC5D0%uC11C%2C%20%uBB38%uC81C%uC758%20%uD3EC%uC778%uD2B8%uB294%20%24W%24%uB97C%20%uD559%uC2B5%uD558%uB294%20%uAC83%uC774%uB2E4.%20%uB2E4%uB978%20%uBA87%uBA87%uC758%20%uBB38%uC81C%uB85C%20%uD480%20%uC218%20%uC788%uB2E4.%20%uB2E4%uB978%20%uACF5%uD1B5%uC801%uC778%20%uAC83%uC740%20%uC2DC%uD000%uC2A4%uC5D0%uC11C%20%uB2E4%uC74C%20%uB2E8%uC5B4%uB97C%20%uC608%uCE21%uD558%uB294%20%uAC83%uC774%uB2E4.%20%uC0AC%uC2E4%2C%20%uC6B0%uB9AC%uC5D0%uC11C%2C%20%uBB38%uC81C%uC758%20%uD3EC%uC778%uD2B8%uB294%20%24W%24%uB97C%20%uD559%uC2B5%uD558%uB294%20%uAC83%uC774%uB2E4.%20%uB2E4%uB978%20%uBA87%uBA87%uC758%20%uBB38%uC81C%uB85C%20%uD480%20%uC218%20%uC788%uB2E4.%20%uB2E4%uB978%20%uACF5%uD1B5%uC801%uC778%20%uAC83%uC740%20%uC2DC%uD000%uC2A4%uC5D0%uC11C%20%uB2E4%uC74C%20%uB2E8%uC5B4%uB97C%20%uC608%uCE21%uD558%uB294%20%uAC83%uC774%uB2E4.%20%uADF8%uB7EC%uB098%2C%20%uC2E0%uACBD%uC4F0%uC9C0%20%uC54A%uB294%uB2E4.%20%uC774%20%uC139%uC158%uC758%20%uB098%uBA38%uC9C0%uB294%20%uAC70%uC758%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%20%uACB0%uACFC%uC5D0%20%uB300%uD574%uC11C%20%uC774%uC57C%uAE30%20%uD560%20%uAC83%uC774%uB2E4.%0A%0A%uB2E8%uC5B4%20%uC784%uBCA0%uB529%20%uACF5%uAC04%uC5D0%20%uB300%uD574%uC11C%20%uB290%uB08C%uC744%20%uC5BB%uAE30%20%uC704%uD574%20%uD560%20%uC218%20%uC788%uB294%20%uD55C%uAC00%uC9C0%uB294%20%uACE0%uCC28%uC6D0%20%uACF5%uAC04%20%uB370%uC774%uD130%uB97C%20%uC2DC%uAC01%uD654%uD558%uB294%20%uAE30%uC220%uC778%20t-SNE%uB85C%20%uBCA1%uD130%uB97C%20%uC2DC%uAC01%uD654%uD558%uB294%20%uAC83%uC774%uB2E4.%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Turian-WordTSNE.png%29%0At-SNE%20visualizations%20of%20word%20embeddings.%20Left%3A%20Number%20Region%3B%20Right%3A%20Jobs%20Region.%20From%20%5BTurian%20et%20al.%20%282010%29%5D%28http%3A//www.iro.umontreal.ca/%7Elisa/pointeurs/turian-wordrepresentations-acl10.pdf%29%2C%20see%20complete%20image.%0A%0A%uC774%uB7EC%uD55C%20%uC885%uB958%uC758%20%uB2E8%uC5B4%20%uC9C0%uB3C4%uB294%20%uB9CE%uC740%20%uC9C1%uAD00%uC801%20%uB290%uB08C%uC744%20%uC900%uB2E4.%20%uBE44%uC2B7%uD55C%20%uB2E8%uC5B4%uB294%20%uC11C%uB85C%20%uAC00%uAE5D%uB2E4.%20%uB290%uB08C%uC744%20%uC5BB%uB294%20%uB2E4%uB978%20%uBC29%uBC95%uC740%20%uC5B4%uB5A4%20%uB2E8%uC5B4%uAC00%20%uC784%uBCA0%uB529%uC5D0%uC11C%20%uAC00%uC7A5%20%uAC00%uAE4C%uC6B4%20%uB2E8%uC5B4%uAC00%20%uBB34%uC5C7%uC778%uC9C0%20%uBCF4%uB294%20%uAC83%uC774%uB2E4.%20%uB2E4%uC2DC%2C%20%uAC00%uAE4C%uC6B4%20%uB2E8%uC5B4%uB4E4%uC740%20%uC11C%uB85C%20%uBE44%uC2B7%uD558%uB2E4.%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Colbert-WordTable2.png%29%0AWhat%20words%20have%20embeddings%20closest%20to%20a%20given%20word%3F%20From%20%5BCollobert%20et%20al.%20%282011%29%5D%28http%3A//arxiv.org/pdf/1103.0398v1.pdf%29%0A%0A%uB124%uD2B8%uC6CC%uD06C%uAC00%20%uBE44%uC2B7%uD55C%20%uC758%uBBF8%uC758%20%uB2E8%uC5B4%uB97C%20%uBE44%uC2B7%uD55C%20%uBCA1%uD130%uB85C%20%uB9CC%uB4DC%uB294%20%uAC83%uC740%20%uC790%uC5F0%uC2A4%uB7FD%uAC8C%20%uBCF4%uC778%uB2E4.%20%uC720%uC0AC%uC5B4%28eg.%20%u201Ca%20few%20people%20sing%20well%20%24%5Cto%24%20a%20couple%20people%20sing%20well%u201D%29%uB97C%20%uBC14%uAFB8%uBA74%2C%20%uBB38%uC7A5%uC758%20%uC720%uD6A8%uC131%uC740%20%uBC14%uB00C%uC9C0%20%uC54A%uB294%uB2E4.%20%20While%2C%20from%20a%20naive%20perspective%2C%20the%20input%20sentence%20has%20changed%20a%20lot%2C%20if%20%24W%24%20maps%20synonyms%20%28like%20%u201Cfew%u201D%20and%20%u201Ccouple%u201D%29%20close%20together%2C%20from%20%24R%24%27%27s%20perspective%20little%20changes.%20%uB098%uC774%uBE0C%uD55C%20%uAD00%uC810%uC5D0%uC120%2C%20%24W%24%uAC00%20%uC720%uC758%uC5B4%28like%20%u201Cfew%u201D%20and%20%u201Ccouple%u201D%29%uB97C%20%uC11C%uB85C%20%uAC00%uAE4C%uC774%20%uB9E4%uD551%uC2DC%uD0A4%uBA74%2C%20%uBB38%uC7A5%uC774%20%uB9CE%uC774%20%uBC14%uB00C%uC5B4%uB3C4%2C%20%24R%24%uC758%20%uAD00%uC810%uC5D0%uC120%20%uAC70%uC758%20%uBC14%uB00C%uC9C0%20%uC54A%uB294%uB2E4.%0A%0A%uC774%uAC83%uC740%20%uAC15%uB825%uD55C%uB2E4.%20%uAC00%uB2A5%uD55C%205-%uADF8%uB7A8%uC758%20%uC218%uB294%20%uBC29%uB300%uD558%uACE0%2C%20%uB370%uC774%uD130%uB294%20%uC0C1%uB300%uC801%uC73C%uB85C%20%uC791%uB2E4.%20%uC11C%uB85C%20%uAC00%uAE4C%uC774%20%uC788%uB294%20%uBE44%uC2B7%uD55C%20%uB2E8%uC5B4%uB4E4%uC740%20%uD55C%20%uBB38%uC7A5%uC744%20%uBE44%uC2B7%uD55C%20%uB2E4%uB978%20%uC885%uB958%uC758%20%uBB38%uC7A5%uC73C%uB85C%20%uC77C%uBC18%uD654%uD560%20%uC218%20%uC788%uAC8C%20%uD55C%uB2E4.%20%uC774%uB294%20%uC720%uC758%uC5B4%uB85C%20%uBC14%uAFBC%uB2E4%uB294%20%uAC83%uC774%uC9C0%2C%20%uBE44%uC2B7%uD55C%20%uC885%uB958%uC758%20%uB2E8%uC5B4%uB85C%20%uBC14%uAFBC%uB2E4%uB294%20%uAC83%28eg.%20%u201Cthe%20wall%20is%20blue%u201D%20%u2192%u2192%20%u201Cthe%20wall%20is%20red%u201D%29%uC774%20%uC544%uB2C8%uB2E4.%20%uB354%uAD6C%uB098%2C%20%uC5EC%uB7EC%uB2E8%uC5B4%uB97C%20%uBC14%uAFC0%20%uC218%uB3C4%20%uC788%uB2E4%20%28eg.%20%u201Cthe%20wall%20is%20blue%u201D%20%u2192%u2192%20%u201Cthe%20ceiling%20is%20red%u201D%29.%20%20%uC774%uAC83%uC758%20%uD6A8%uACFC%uB294%20%uB2E8%uC5B4%uC758%20%uC218%uC5D0%20%uB300%uD574%uC11C%20%uC9C0%uC218%uC801%uC774%uB2E44.%0A%0A%uC774%uB294%20%24W%24%uAC00%20%uD558%uB294%20%uC720%uC6A9%uD55C%20%uC77C%uC774%uB2E4.%20%uADF8%uB7EC%uB098%20%24W%24%uB97C%20%uC5B4%uB5BB%uAC8C%20%uD559%uC2B5%uD558%uB294%uAC00%3F%0AIt%20seems%20quite%20likely%20that%20there%20are%20lots%20of%20situations%20where%20it%20has%20seen%20a%20sentence%20like%20%u201Cthe%20wall%20is%20blue%u201D%20and%20know%20that%20it%20is%20valid%20before%20it%20sees%20a%20sentence%20like%20%u201Cthe%20wall%20is%20red%u201D.%20%20%u201Cred%u201D%uB97C%20%u201Cblue%u201D%uB85C%20%uBC14%uAFB8%uB294%20%uAC83%uC740%20%uB124%uD2B8%uC6CC%uD06C%uAC00%20%uC880%20%uB354%20%uC798%20%uB3D9%uC791%uD558%uAC8C%20%uD55C%uB2E4.%0A%0A%uC5EC%uC804%uD788%20%uC0AC%uC6A9%uB41C%20%uBAA8%uB4E0%20%uB2E8%uC5B4%uC758%20%uC608%uB97C%20%uBD10%uC57C%20%uD558%uC9C0%uB9CC%2C%20analogy%uB294%20%uB2E8%uC5B4%uC758%20%uC0C8%uB85C%uC6B4%20%uC870%uD569%uC744%20%uC77C%uBC18%uD654%uD560%20%uC218%20%uC788%uAC8C%20%uD574%uC900%uB2E4.%20%uC774%uC804%uC5D0%20%uC774%uD574%uD55C%20%uBAA8%uB4E0%20%uB2E8%uC5B4%uB97C%20%uBD24%uB2E4%2C%20%uADF8%uB7EC%uB098%2C%20%uC774%uC804%uC5D0%20%uC774%uD574%uD55C%20%uBAA8%uB4E0%20%uBB38%uC7A5%uC744%20%uBCF8%uC801%uC740%20%uC5C6%uB2E4.%20%uB274%uB7F4%uB137%uB3C4%20%uC5ED%uC2DC%20%uB9C8%uCC2C%uAC00%uC9C0%uC774%uB2E4.%0A%0A%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC740%20%uC880%uB354%20%uC8FC%uBAA9%uD560%uB9CC%uD55C%20%uC131%uC9C8%uC744%20%uBCF4%uC5EC%uC900%uB2E4%3A%20%uB2E8%uC5B4%uC0AC%uC774%uC758%20analogies%uB294%20%uB2E8%uC5B4%20%uC0AC%uC774%uC758%20%uBCA1%uD130%20%uCC28%uC774%uB85C%20%uC778%uCF54%uB529%uB418%uB294%20%uAC83%uC73C%uB85C%20%uBCF4%uC778%uB2E4.%20%uC608%uB97C%20%uB4E4%uC5B4%20%uB2E4%uC74C%uACFC%20%uAC19%uC774%20%20%uC77C%uC815%uD55C%20%uB0A8%uC790-%uC5EC%uC790%20%uCC28%uC774%20%uBCA1%uD130%uAC00%20%uC788%uB2E4.%0A%24%24%0AW%28%60%60%5Ctext%7Bwoman%7D%5C%21%22%29%20-%20W%28%60%60%5Ctext%7Bman%7D%5C%21%22%29%20%7E%5Csimeq%7E%20W%28%60%60%5Ctext%7Baunt%7D%5C%21%22%29%20-%20W%28%60%60%5Ctext%7Buncle%7D%5C%21%22%29%20%5C%5C%0AW%28%60%60%5Ctext%7Bwoman%7D%5C%21%22%29%20-%20W%28%60%60%5Ctext%7Bman%7D%5C%21%22%29%20%7E%5Csimeq%7E%20W%28%60%60%5Ctext%7Bqueen%7D%5C%21%22%29%20-%20W%28%60%60%5Ctext%7Bking%7D%5C%21%22%29%0A%24%24%0A%0A%uC774%uAC70%uC740%20%uB180%uB78D%uC9C0%uB294%20%uC54A%uC544%20%uBCF4%uC778%uB2E4.%0A%0A%uBB34%uC5C7%uBCF4%uB2E4%2C%20gender%20%uB300%uBA85%uC0AC%uB294%20%uB2E8%uC5B4%uB97C%20%uBC14%uAFB8%uB294%20%uAC83%uC740%20%uBB38%uC7A5%uC744%20%uBB38%uBC95%uC801%uC73C%uB85C%20%uD2C0%uB9AC%uAC8C%20%uB9CC%uB4E4%20%uC218%20%uC788%uC74C%uC744%20%uC758%uBBF8%uD55C%uB2E4.%20%20%u201Cshe%20is%20the%20aunt%u201D%20%uC774%uC9C0%uB9CC%2C%20%u201Che%20is%20the%20uncle.%u201D%uB77C%uACE0%20%uC4F4%uB2E4.%20%uBE44%uC2B7%uD558%uAC8C%20%u201Che%20is%20the%20King%u201D%20%uC774%uC9C0%uB9CC%20%u201Cshe%20is%20the%20Queen.%u201D%uC774%uB2E4%20%20%u201Cshe%20is%20the%20uncle%2C%u201D%uB77C%uB294%20%uBB38%uC7A5%uC744%20%uBCF8%uB2E4%uBA74%2C%20%uBB38%uBC95%uC801%20%uC624%uB958%uC774%uB2E4.%20%uB2E8%uC5B4%uB4E4%uC774%20%uC911%uAC04%uC5D0%uC11C%20%uB79C%uB364%uD558%uAC8C%20%uBC14%uB010%uB2E4%uBA74%2C%20%uC774%uB7F0%uC77C%uC774%20%uC0DD%uAE38%20%uD655%uB960%uC774%20%uD06C%uB2E4.%20%22%uBB3C%uB860%22%20%uB4A4%uB2A6%uC740%20%uAE68%uB2EC%uC74C%uC73C%uB85C%20%uB9D0%uD55C%uB2E4.%20%22%22%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC740%20gender%uB97C%20%uC77C%uCE58%uD558%uB294%20%uBC29%uD5A5%uC73C%uB85C%20%uD559%uC2B5%uD560%20%uAC83%uC774%uB2E4%22.%20%uC0AC%uC2E4%2C%20gender%20%uCC28%uC6D0%uC774%20%uC544%uB9C8%uB3C4%20%uC788%uC744%20%uAC83%uC774%uB2E4.%20%20%uB2E8%uC218%20%uBCF5%uC218%uB3C4%20%uB9C8%uCC2C%uAC00%uC9C0%uC774%uB2E4.%20%uC774%uB7EC%uD55C%20%uBA85%uBC31%uD55C%20%uAD00%uACC4%uB97C%20%uCC3E%uB294%20%uAC83%uC740%20%uC27D%uB2E4.%0A%0A%uC774%uB7EC%uD55C%20%uBC29%uC2DD%uC73C%uB85C%2C%20%uC880%uB354%20%uBCF5%uC7A1%uD55C%20%uAD00%uACC4%uB3C4%20%uC5ED%uC2DC%20encode%uB41C%uB2E4%uACE0%20%uC54C%uB824%uC838%20%uC788%uB2E4.%20%uAC70%uC758%20%uAE30%uC801%uC73C%uB85C%uB85C%20%uBCF4%uC778%uB2E4.%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Mikolov-AnalogyTable.png%29%0ARelationship%20pairs%20in%20a%20word%20embedding.%20%5BFrom%20Mikolov%20et%20al.%20%282013b%29%5D%28http%3A//arxiv.org/pdf/1301.3781.pdf%29.%0A%0A%24W%24%uC758%20%uC774%uB7EC%uD55C%20%uBAA8%uB4E0%20%uC131%uC9C8%uC740%20side%20effects%uC784%uC744%20%uC774%uD574%uD558%uB294%20%uAC83%uC774%20%uC911%uC694%uD558%uB2E4.%0A%20%0A%uC77C%uBD80%uB85C%20%uBE44%uC2B7%uD55C%20%uB2E8%uC5B4%uAC00%20%uAC00%uAE4C%uC6CC%uC9C0%uB3C4%uB85D%20%uD558%uAC8C%20%uD558%uC9C0%20%uC54A%uC558%uB2E4.%20%uCC28%uC774%20%uBCA1%uD130%uB85C%20%uC778%uCF54%uB4DC%uB41C%20analogies%uB97C%20%uC5BB%uC73C%uB824%uACE0%20%uD558%uC9C0%20%uC54A%uC558%uB2E4.%20%20%uC6B0%uB9AC%uAC00%20%uD558%uB824%uACE0%20%uC2DC%uB3C4%uD55C%20%uAC83%uC740%20%uBB38%uC7A5%uC774%20%uC720%uD6A8%uD55C%uC9C0%20%uC608%uCE21%uD558%uB294%20%uC77C%20%uAC19%uC740%20%uAC04%uB2E8%uD55C%20%uACFC%uC81C%uC774%uB2E4.%20%uC774%uB7EC%uD55C%20%uC131%uC9C8%uB294%20%uAC70%uC758%20%uCD5C%uC801%uD654%20%uACFC%uC815%uC5D0%uC11C%20%uD280%uC5B4%uB098%uC628%uB2E4.%0A%0A%uB370%uC774%uD130%uB97C%20%uD45C%uD604%uD558%uB294%20%uB354%20%uC88B%uC740%20%uBC29%uBC95%uC744%20%uC790%uB3D9%uC73C%uB85C%20%uD559%uC2B5%uD558%uB294%20%uAC83%uC740%20%uB274%uB7F4%uB137%uC758%20%uAC15%uD55C%20%uD798%uCC98%uB7FC%20%uBCF4%uC778%uB2E4.%20%uB370%uC774%uD130%uB97C%20%uC798%20%uD45C%uD604%uD55C%uB2E4%uB294%20%uAC83%uC740%20%uB9CE%uC740%20%uBA38%uC2E0%uB7EC%uB2DD%20%uBB38%uC81C%uC5D0%uC11C%2C%20%uC131%uACF5%uC744%20%uC704%uD55C%20%uBCF8%uC9C8%uCC98%uB7FC%20%uBCF4%uC778%uB2E4.%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC740%20%uB2E8%uC9C0%20%uD45C%uD604%20%uD559%uC2B5%uC758%20%uB180%uB77C%uC6B4%20%uC608%uC774%uB2E4.%0A%0A%23%23%20Shared%20Representations%0A%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC758%20%uC131%uC9C8%uC740%20%uD765%uBBF8%uB86D%uC9C0%uB9CC%2C%205-gram%uC774%20%uC720%uD6A8%uD55C%uC9C0%20%uAC19%uC740%20%uBC14%uBCF4%uAC19%uC740%20%uAC83%uC744%20%uC608%uCE21%uD558%uB294%20%uAC83%20%uB9D0%uACE0%20%uADF8%uAC78%uB85C%20%uC720%uC6A9%uD55C%20%uC5B4%uB5A4%20%uAC83%uC744%20%uD560%20%uC218%20%uC788%uC744%uAE4C%3F%20%0A%0A%uAC04%uB2E8%uD55C%20%uC77C%uC744%20%uC798%uD558%uAE30%20%uC704%uD574%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC744%20%uD559%uC2B5%uD588%uB2E4.%20%uADF8%uB7EC%uB098%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC5D0%uC11C%20%uAD00%uCC30%uD55C%20%uC88B%uC740%20%uC131%uC9C8%uC5D0%20%uB300%uD574%uC11C%2C%20%uADF8%uAC83%uC774%20NLP%20%uD0DC%uC2A4%uD06C%uC5D0%20%uC77C%uBC18%uC801%uC73C%uB85C%20%uC720%uC6A9%uD55C%uC9C0%20%uC758%uC2EC%uC744%20%uAC00%uC9C8%20%uC218%20%uC788%uB2E4.%20%20%uC0AC%uC2E4%20%uC774%uAC19%uC740%20%uB2E8%uC5B4%20%uD45C%uD604%uC740%20%uB9E4%uC6B0%20%uC911%uC694%uD558%uB2E4.%0A%0A%3E%20%uB2E8%uC5B4%20%uD45C%uD604%uC758%20%uC4F0%uC784%uC740%20%uCD5C%uADFC%uC5D0%20%uAC1C%uCCB4%uBA85%20%uC778%uC2DD%2C%20%20%uC74C%uC131%20%uBD80%uBD84%20%uD0DC%uD0B9%2C%20%uD30C%uC2F1%2C%20%uC758%uBBF8%uC801%20%uC5ED%uD560%20%uB808%uC774%uBE14%uB9C1%2C%20%uB9CE%uC740%20NLP%20%uC2DC%uC2A4%uD15C%uC758%20%uC131%uACF5%uC5D0%20%uC911%uC694%uD55C%20%uBE44%uBC00%20%uC18C%uC2A4%uAC00%20%uB410%uB2E4.%20%0A%3E%20%5B%28Luong%20et%20al.%20%282013%29%29%5D%28http%3A//nlp.stanford.edu/%7Elmthang/data/papers/conll13_morpho.pdf%29%0A%0A%20%uC774%20%uC77C%uBC18%uC801%uC778%20%uC804%uB7B5%28%uD0DC%uC2A4%uD06C%20A%uC5D0%20%uB300%uD55C%20%uC88B%uC740%20%uD45C%uD604%uC744%20%uD559%uC2B5%uD558%uACE0%20B%20%uD0DC%uC2A4%uD2B8%uC5D0%20%uC4F4%uB2E4%29%uC740%20%uB525%uB7EC%uB2DD%20%uD234%uBC15%uC2A4%uC5D0%uC11C%20%uC8FC%uC694%uD55C%20%uAE30%uC220%20%uC911%20%uD558%uB098%uC774%uB2E4.%20%uC138%uBD80%20%uC0AC%uD56D%uC5D0%20%uB530%uB77C%20%uB2E4%uB978%20%uC774%uB984%uC73C%uB85C%20%uBD88%uB9AC%uAE30%uB3C4%20%uD55C%uB2E4%3A%20pretraining%2C%20transfer%20learning%2C%20multi-task%20learning.%20%uC774%20%uC811%uADFC%uBC95%uC758%20%uD070%20%uD798%20%uC911%20%uD558%uB098%uB294%20%uD45C%uD604%uC774%20%uD55C%20%uC885%uB958%20%uC774%uC0C1%uC758%20%uB370%uC774%uD130%uB85C%20%uBD80%uD130%20%uD559%uC2B5%uB41C%20%uD45C%uD604%uC774%20%uAC00%uB2A5%uD558%uB2E4%uB294%20%uAC83%uC774%uB2E4.%0A%0A%uC774%20%uD2B8%uB9AD%uC5D0%20%uB300%uD55C%20%uB300%uC751%uC810%uC774%20%uC788%uB2E4.%20%uD55C%20%uAC00%uC9C0%20%uC885%uB958%uC758%20%uB370%uC774%uD130%uB97C%20%uBC29%uBC95%uC744%20%uD559%uC2B5%uD574%2C%20%uB2E4%uC591%uD55C%20%uC77C%uC5D0%20%uC4F0%uB294%20%uAC83%20%uB300%uC2E0%uC5D0%2C%20%uB2E4%uC591%uD55C%20%uC885%uB958%uC758%20%uB370%uC774%uD130%uB97C%20%uD55C%uAC00%uC9C0%20%uD45C%uD604%uC5D0%20%uB9E4%uD551%uD558%uB294%20%uBC29%uBC95%uC744%20%uD559%uC2B5%uD560%20%uC218%20%uC788%uB2E4.%0A%0AOne%20nice%20example%20of%20this%20is%20a%20bilingual%20word-embedding%2C%20produced%20in%20Socher%20et%20al.%20%282013a%29.%20%0A%uC774%uAC83%uC740%20%uD55C%uAC00%uC9C0%20%uC88B%uC740%20%uC608%uB294%20%5BSocher%5D%28http%3A//ai.stanford.edu/%7Ewzou/emnlp2013_ZouSocherCerManning.pdf%29%uC758%20%uC774%uC911%20%uC5B8%uC5B4%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC774%uB2E4.%20%20%uB450%20%uAC1C%uC758%20%uB2E4%uB978%20%uC5B8%uC5B4%uB85C%uBD80%uD130%20%uD558%uB098%uC758%20%uACF5%uC720%uB41C%20%uACF5%uAC04%20%uC548%uC5D0%20%uC774%uB294%20%20%uC784%uBCA0%uB529%20%uB2E8%uC5B4%uB97C%20%uD559%uC2B5%uD560%uC218%20%uC788%uB2E4.%20%uC774%20%uACBD%uC6B0%2C%20%uAC19%uC740%20%uACF5%uAC04%uC5D0%20%uC601%uC5B4%uC640%20%uC911%uAD6D%uC5B4%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC744%20%uD559%uC2B5%uD560%20%uC218%20%uC788%uB2E4.%0A%0A%uC704%uC5D0%uC11C%20%uD55C%20%uBC29%uBC95%uACFC%20%uBE44%uC2B7%uD55C%20%uBC29%uBC95%uC73C%uB85C%2C%20%uB450%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%20%24W_%7Ben%7D%24%20%uC640%20%24W_%7Bzh%7D%24%20%uB97C%20%uD559%uC2B5%uD560%20%uC218%20%uC788%uB2E4.%20%20%uADF8%uB7EC%uB098.%20%uD2B9%uC815%20%uC601%uC5B4%20%uB2E8%uC5B4%uC640%20%uC911%uAD6D%uC5B4%20%uB2E8%uC5B4%uAC00%20%uBE44%uC2B7%uD55C%20%uC758%uBBF8%uB97C%20%uAC00%uC9D0%uC744%20%uC548%uB2E4.%uADF8%uB798%uC11C%2C%20%uC6B0%uB9AC%uAC00%20%uC54C%uAE30%uC5D0%20%uBE44%uC2B7%uD55C%20%uC758%uBBF8%uB97C%20%uAC00%uC9C4%20%uB2E8%uC5B4%uB4E4%uC740%20%uBE44%uC2B7%uD55C%20%uACF5%uAC04%uC5D0%20%uC788%uC5B4%uC57C%20%uD55C%uB2E4%uB294%20%uCD94%uAC00%uC801%uC778%20%uC131%uC9C8%uC5D0%20%uB300%uD574%uC11C%20%uCD5C%uC801%uD654%uD55C%uB2E4.%0A%0A%uBB3C%uB860%2C%20%uBE44%uC2B7%uD55C%20%uC758%uBBF8%uC758%20%uB2E8%uC5B4%uAC00%20%uACB0%uAD6D%uC5D4%20%uBE44%uC2B7%uD574%uC9C4%uB2E4%uB294%20%uAC83%uC744%20%uAD00%uCC30%uD55C%uB2E4.%20%uADF8%uB807%uAC8C%20%uD559%uC2B5%uC744%20%uD588%uAE30%20%uB54C%uBB38%uC5D0%20%uB180%uB77C%uC6B4%20%uAC74%20%uC544%uB2C8%uB2E4.%20%uC880%20%uB354%20%uD765%uBBF8%uB85C%uC6B4%20%uAC83%uC740%20%uBC88%uC5ED%uC744%20%uBAA8%uB974%uB294%20%uB2E8%uC5B4%uB3C4%20%uBCA1%uD130%uAC00%20%uBE44%uC2B7%uD574%uC9C4%uB2E4%uB294%20%uAC83%uC774%uB2E4.%0A%0A%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC758%20%uC774%uC804%20%uACBD%uD5D8%uC5D0%20%uBE44%uCD94%uC5B4%2C%20%uC774%uB3C4%20%uC5ED%uC2DC%20%uB180%uB78D%uC9C0%20%uC54A%uB2E4.%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC740%20%uBE44%uC2B7%uD55C%20%uB2E8%uC5B4%uB4E4%uC744%20%uC11C%uB85C%20%uB2F9%uAE34%uB2E4.%20%uC6B0%uB9AC%uAC00%20%uBE44%uC2B7%uD558%uB2E4%uACE0%20%uC54C%uACE0%20%uC788%uB294%20%uC601%uC5B4%uC640%20%uC911%uAD6D%uC5B4%20%uB2E8%uC5B4%20%uC11C%uB85C%20%uBE44%uC2B7%uD55C%20%uC704%uCE58%uC5D0%20%uC788%uC73C%uBA74%2C%20%uADF8%uB4E4%uC758%20%uB3D9%uC758%uC5B4%uB4E4%uC740%20%uC11C%uB85C%20%uBE44%uC2B7%uD55C%20%uACF3%uC5D0%20%uC788%uC744%20%uAC83%uC774%uB2E4.%0A%0Agender%20difference%20%uAC19%uC740%20%uAC83%uB4E4%uC740%20%uCC28%uBCA1%uD130%uB85C%20%uD45C%uD604%uB418%uB294%20%uACBD%uD5A5%uC774%20%uC788%uB2E4%uACE0%20%uC54C%uC218%20%uC788%uB2E4.%0AIt%20seems%20like%20forcing%20enough%20points%20to%20line%20up%20should%20force%20these%20difference%20vectors%20to%20be%20the%20same%20in%20both%20the%20English%20and%20Chinese%20embeddings.%20%20%uB0A8%uC790%20%uBC84%uC804%uC774%20%uC11C%uB85C%20%uBC88%uC5ED%uC774%20%uB418%uBA74%2C%20%uC5EC%uC790%20%uB2E8%uC5B4%uB85C%20%uC11C%uB85C%20%uBC88%uC5ED%uD560%20%uC218%20%uC788%uB2E4.%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Socher-BillingualTSNE.png%29%0A%0A%uC774%uC911%20%uC5B8%uC5B4%20%uC784%uBCA0%uB529%uC5D0%uC11C%2C%20%uB450%uAC1C%uC758%20%uB9E4%uC6B0%20%uBE44%uC2B7%uD55C%20%uC885%uB958%uC758%20%uB370%uC774%uD130%uC758%20%uB300%uD55C%20%uACF5%uC720%20%uD45C%uD604%uC744%20%uD559%uC2B5%uD588%uB2E4.%20%uADF8%uB7EC%uB098%20%uAC19%uC740%20%uACF5%uAC04%uC548%uC758%20%uB9E4%uC6B0%20%uB2E4%uB978%20%uC885%uB958%uC758%20%uB370%uC774%uD130%uC758%20%uC784%uBCA0%uB4DC%uB97C%20%uD559%uC2B5%uD560%20%uC218%20%uC788%uB2E4.%0A%0A%uCD5C%uADFC%uC5D0%uB294%2C%20%uB525%uB7EC%uB2DD%uC740%20%uC774%uBBF8%uC640%20%uB2E8%uC5B4%uB97C%20%uD558%uB098%uC758%20%uD45C%uD604%uC548%uC5D0%20%uC784%uBCA0%uB4DC%uD55C%20%uBAA8%uB370%uB4E4%uC744%20%uD0D0%uC0C9%uD558%uAE30%20%uC2DC%uC791%uD588%uB2E4.%20%uAE30%uBCF8%uC801%uC778%20%uC544%uC774%uB514%uC5B4%uB294%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%uC5D0%uC11C%uC758%20%uBCA1%uD130%uB97C%20%uCD9C%uB825%uD568%uC73C%uB85C%uC368%20%uC774%uBBF8%uC9C0%uB97C%20%uBD84%uB958%uD558%uB294%20%uAC83%uC774%uB2E4.%20%uAC1C%uC758%20%uC774%uBBF8%uC9C0%uB294%20%uAC1C%uC758%20%uB2E8%uC5B4%20%uBCA1%uD130%20%uADFC%uCC98%uC5D0%20%uB9E4%uD551%uB41C%uB2E4.%20%0A%0A%uC7AC%uBC0C%uB294%20%uBD80%uBD84%uC740%20%uC0C8%uB85C%uC6B4%20%uC885%uB958%uC758%20%uC774%uBBF8%uC9C0%uC5D0%20%uB300%uD574%uC11C%20%uBAA8%uB378%uC744%20%uD14C%uC2A4%uD2B8%uD560%20%uB54C%2C%20%uC5B4%uB5BB%uAC8C%20%uB418%uB294%uAC00%uC774%uB2E4.%20%uC608%uB97C%20%uB4E4%uC5B4%20%uBAA8%uB378%uC740%20%uACE0%uC591%uC774%20%uBD84%uB958%uB97C%20%uD559%uC2B5%uD55C%uC801%uC774%20%uC5C6%uB2E4%uBA74%20-%20%uC989%20%uACE0%uC591%uC774%20%uADF8%uB9BC%uC744%20%22cat%22%20%uB2E8%uC5B4%20%uBCA1%uD130%uC5D0%20%uB9E4%uD551%uD55C%uC801%uC774%20%uC5C6%uB2E4%uBA74%20-%20%uC774%uBBF8%uC9C0%uB97C%20%uBD84%uB958%uD558%uB824%20%uD560%20%uB54C%20%uBB34%uC2A8%20%uC77C%uC774%20%uC77C%uC5B4%uB098%uB294%uAC00%3F%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Socher-ImageClassManifold.png%29%0A%0A%uB124%uD2B8%uC6CC%uD06C%uB294%20%uC774%uB7EC%uD55C%20%uC0C8%uB85C%uC6B4%20%uC885%uB958%uC758%20%uC774%uBBF8%uC9C0%uB97C%20%uD569%uB9AC%uC801%uC73C%uB85C%20%uB2E4%uB8F0%20%uC218%20%uC788%uB2E4.%20%uACE0%uC591%uC774%uC758%20%uC774%uBBF8%uC9C0%uB294%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%20%uACF5%uAC04%uC758%20%uB79C%uB364%uC810%uC5D0%20%uB9E4%uD551%uB418%uC9C0%20%uC54A%uB294%uB2E4.%20%uB300%uC2E0%uC5D0%2C%20%22cat%22%uBCA1%uD130%20%uADFC%uCC98%uC5D0%20%uC788%uC744%20%22dog%22%20%uBCA1%uD130%20%uADFC%uCC98%uC5D0%20%uB9E4%uD551%uB418%uB294%20%uACBD%uD5A5%uC774%20%uC788%uB2E4.%20%uBE44%uC2B7%uD558%uAC8C%2C%20%uD2B8%uB7ED%20%uC774%uBBF8%uC9C0%uB294%20%u201Cautomobile%u201D%20%uBCA1%uD130%uC640%20%uBE44%uC2B7%uD55C%20%uACF3%uC5D0%20%uC788%uB294%20%uD2B8%uB7ED%uBCA1%uD130%uC5D0%20%uC704%uCE58%uD558%uAC8C%20%uB41C%uB2E4.%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Socher-ImageClass-tSNE.png%29%0A%0A%uC774%20%uC77C%uC740%20%uC2A4%uD0E0%uD3EC%uB4DC%20%uADF8%uB8F9%uC758%20%uBA64%uBC84%uAC00%20%uB2E8%uC9C0%208%uAC1C%uC758%20%uC54C%uB824%uC9C4%20%uD074%uB798%uC2A4%282%uAC1C%uB294%20unknown%20class%29%uC5D0%20%uB300%uD574%uC11C%20%uC774%uB8E8%uC5B4%uC84C%uB2E4.%20%uADF8%20%uACB0%uACFC%uB294%20%uC774%uBBF8%20%uB9E4%uC6B0%20%uC778%uC0C1%uAE4A%uB2E4.%20%20%uADF8%uB7EC%uB098%2C%20%uC57D%uAC04%uC758%20%uC54C%uB824%uC9C4%20%uD074%uB798%uC2A4%uB85C%uB294%2C%20%uC774%uBBF8%uC9C0%uC640%20%uC758%uBBF8%uACF5%uAC04%20%uC0AC%uC774%uC758%20%uAD00%uACC4%uB97C%20%uCD94%uB860%uD560%20%uC218%20%uC788%uB294%20%uB9CE%uC9C0%20%uC54A%uC740%20%uC810%uC774%20%uC788%uB2E4.%0A%0A%uAD6C%uAE00%20%uADF8%uB8F9%uC740%20%uC880%20%uB354%20%uD070%20%uBC84%uC804%uC744%20%uD588%uB2E4%20-%208%uAC1C%uC758%20%uCE74%uD14C%uACE0%uB9AC%20%uB300%uC2E0%uC5D0%2C%20%uADF8%uB4E4%uC740%201%2C000%uB97C%20%uC0AC%uC6A9%uD588%uB2E4%20-%20around%20the%20same%20time%20%28Frome%20et%20al.%20%282013%29%29%20and%20has%20followed%20up%20with%20a%20new%20variation%20%28Norouzi%20et%20al.%20%282014%29%29.%20%uB458%20%uB2E4%20%uB9E4%uC6B0%20%uAC15%uB825%uD55C%20%uC774%uBBF8%uC9C0%20%uBD84%uB958%20%uBAA8%uB378%uC774%uB2E4.%20%uADF8%uB7EC%uB098%20%uC774%uBBF8%uC9C0%uB97C%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%20%uACF5%uAC04%uC5D0%20%uB2E4%uB978%20%uBC29%uBC95%uC73C%uB85C%20embed%20%uD55C%uB2E4.%0A%0A%uADF8%20%uACB0%uACFC%uB294%20%uC778%uC0C1%uC801%uC774%uB2E4.%20%uC54C%uB824%uC9C0%uC9C0%20%uC54A%uC740%20class%20%uC758%20%uC774%uBBF8%uC9C0%uB97C%20%uADF8%20class%uB97C%20%uD45C%uD604%uD558%uB294%20%uC815%uD655%uD55C%20%uBCA1%uD130%uC5D0%20%uB370%uB824%uAC00%uC9C4%20%uC54A%uB294%20%uBC18%uBA74%uC5D0%2C%20%uC62C%uBC14%uB978%20%uC774%uC6C3%uC5D0%uB294%20%uB370%uB824%uAC08%20%uC218%20%uC788%uB2E4.%20%uADF8%uB798%uC11C%2C%20%uC54C%uB824%uC9C0%uC9C0%20%uC54A%uC740%20class%uC758%20%uC774%uBBF8%uC9C0%uB97C%20%uBD84%uB958%uD558%uB3C4%uB85D%20%uC694%uCCAD%uBC1B%uACE0%20class%20%uAC00%20%uB9E4%uC6B0%20%uB2E4%uB97C%20%uB54C%2C%20%uB2E4%uB978%20class%20%uC0AC%uC774%uB97C%20%uAD6C%uBD84%uD560%20%uC218%20%uC788%uB2E4.%0A%0A%uB0B4%uAC00%20Aesculapian%20snake%20%uB610%uB294%20%20Armadillo%uB97C%20%uBCF8%uC801%uC774%20%uC5C6%uB354%uB77C%uB3C4%2C%20%uB124%uAC00%20%uAC01%uAC01%uC758%20%uADF8%uB9BC%uC744%20%uB098%uC5D0%uAC8C%20%uBCF4%uC5EC%uC900%uB2E4%uBA74%2C%20%uB098%uB294%20%uC5B4%uB5A4%20%uC885%uB958%uC758%20%uB3D9%uBB3C%uC774%20%uAC01%20%uB2E8%uC5B4%uC5D0%20%uC5F0%uAD00%uB418%uC5B4%20%uC788%uB294%uC9C0%20%uC77C%uBC18%uC801%uC778%20idea%uAC00%20%uC788%uC73C%uBBC0%uB85C%20%uAC01%20%uADF8%uB9BC%uC774%20%uC5B4%uB5A4%20%uB3D9%uBB3C%uC778%uC9C0%20%uB108%uC5D0%uAC8C%20%uB9D0%uD560%20%uC218%20%uC788%uB2E4.%20%uC774%20%uB124%uD2B8%uC6CC%uD06C%uB3C4%20%uAC19%uC740%20%uC77C%uC744%20%uD560%20%uC218%20%uC788%uB2E4.%0A%0A%uC774%20%uACB0%uACFC%uB4E4%uC740%20%22%uC774%20%uB2E8%uC5B4%uB4E4%uC740%20%uBE44%uC2B7%uD558%uB2E4%22%20%uCD94%uB860%uC744%20%uC774%uC6A9%uD55C%uB2E4.%20%uADF8%uB7EC%uB098%20%20%uC880%uB354%20%uAC15%uB825%uD55C%20%uACB0%uACFC%uB4E4%uC774%20%uB2E8%uC5B4%uC0AC%uC774%uC758%20%uAD00%uACC4%uC5D0%20%uAE30%uBC18%uD574%uC11C%20%uAC00%uB2A5%uD560%20%uAC83%uCC98%uB7FC%20%uBCF4%uC778%uB2E4.%20%uB2E8%uC5B4%20%uC784%uBCA0%uB529%20%uACF5%uAC04%uC5D0%uC11C%2C%20%uB2E8%uC5B4%uC758%20%uB0A8%uC790%uC640%20%uC5EC%uC790%uBC84%uC804%20%uC0AC%uC774%uC5D0%20%uC77C%uAD00%uC131%uC788%uB294%20%uCC28%20%uBCA1%uD130%uAC00%20%uC788%uB2E4.%uBE44%uC2B7%uD558%uAC8C%2C%20%uC774%uBBF8%uC9C0%20%uACF5%uAC04%uC5D0%uC11C%2C%20%uB0A8%uC790%uC640%20%uC5EC%uC790%uB97C%20%uAD6C%uBCC4%uD558%uB294%20%uC77C%uAD00%uC131%uC788%uB294%20%uD53C%uCCD0%uAC00%20%uC788%uB2E4.%20%uD131%uC218%uC5FC%2C%20%uB300%uBA38%uB9AC%uB294%20%uBAA8%uB450%20%uAC15%uD55C%20%uB0A8%uC790%uC758%20%uD53C%uCCD0%uC774%uB2E4.%20%uAC00%uC2B4%2C%20%uAE34%20%uBA38%uB9AC%2C%20%uBA54%uC774%uD06C%uC5C5%2C%20%uBCF4%uC11D%uC740%20%uBA85%uBC31%uD788%20%uC5EC%uC790%uC758%20%uC9C0%uD45C%uC774%uB2E4.%20%uB124%uAC00%20%uC655%uC744%20%uC804%uC5D0%20%uBCF8%uC801%uC774%20%uC5C6%uB354%uB77C%uB3C4%2C%20%uC5EC%uC655%uC774%20%uC655%uAD00%uC774%20%uC4F4%uC801%uC774%20%uC788%uB294%20%uAC83%uC744%20%uBCF8%uC801%uC774%20%uC788%uACE0%2C%20%uC655%uAD00%uC744%20%uC4F0%uACE0%20%uC218%uC5FC%uC788%uB294%20%uC0AC%uB78C%uC744%20%uBCF8%uB2E4%uBA74%2C%20%uC5EC%uC655%uC758%20%uB0A8%uC790%20%uBC84%uC804%uC784%uC744%20%uC54C%uC218%20%uC788%uB2E4.%0A%0AShared%20embeddings%20are%20an%20extremely%20exciting%20area%20of%20research%20and%20drive%20at%20why%20the%20representation%20focused%20perspective%20of%20deep%20learning%20is%20so%20compelling.%0A%0A%23%23%20Recursive%20Neural%20Networks%0A%uB2E4%uC74C%20%uB124%uD2B8%uC6CC%uD06C%uC758%20%uB2E8%uC5B4%uC784%uBCA0%uB529%uC744%20%uD1A0%uC758%uD574%uBCF4%uC790.%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Bottou-WordSetup.png%29%0AModular%20Network%20that%20learns%20word%20embeddings%20%28From%20%5BBottou%20%282011%29%5D%28http%3A//arxiv.org/pdf/1102.1808v3.pdf%29%29%0A%0A%uC704%uC758%20%uADF8%uB9BC%uC740%20modular%20network%20%24R%28W%28w_1%29%2C%7E%20W%28w_2%29%2C%7E%20W%28w_3%29%2C%7E%20W%28w_4%29%2C%7E%20W%28w_5%29%29%24%uB97C%20%uD45C%uD604%uD55C%uB2E4.%20%uB124%uD2B8%uC6CC%uD06C%uB294%20%uB450%20%uBAA8%uB4C8%20%24W%24%20%uACFC%20%24R%24%uB85C%20%uB9CC%uB4E4%uC5B4%uC9C4%uB2E4.%20%uC791%uC740%20%uB124%uD2B8%uC6CC%uD06C%20%22module%22%uB85C%uBD80%uD130%20%uB274%uB7F4%uB137%uC744%20%uB9CC%uB4DC%uB294%20%uC774%20%uC811%uADFC%uC740%2C%20%20%uB110%uB9AC%20%uC4F0%uC774%uC9C0%uB294%20%uC54A%uB294%uB2E4.%20%uADF8%uB7EC%uB098%2C%20NLP%uC5D0%uC11C%20%uB9E4%uC6B0%20%uC131%uACF5%uC801%uC774%uB2E4.%20%uC704%uACFC%20%uAC19%uC740%20%uBAA8%uB378%uC740%20%uAC15%uB825%uD558%uC9C0%uB9CC%2C%20%20%uC720%uAC10%uC2A4%uB7EC%uC6B4%20%uD55C%uACC4%uAC00%20%uC788%uB2E4.%20%uB124%uD2B8%uC6CC%uD06C%uB294%20%uB2E8%uC9C0%20%uACE0%uC815%uB41C%20%uC218%uC758%20%uC785%uB825%uB9CC%20%uAC00%uC9C8%20%uC218%20%uC788%uB2E4.%0A%0A%uB450%20%uB2E8%uC5B4%20%uB610%uB294%20%uBB38%uC7A5%20%uD45C%uD604%uC744%20%uCDE8%uD558%uB294%20%uC5F0%uAD00%20%uBAA8%uB4C8%20%24A%24%20%uB97C%20%uCD94%uAC00%uD568%uC73C%uB85C%uC368%20%uC774%uB97C%20%uADF9%uBCF5%uD560%20%uC218%20%uC788%uB2E4.%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Bottou-Afold.png%29%0A%28From%20%5BBottou%20%282011%29%5D%28http%3A//arxiv.org/pdf/1102.1808v3.pdf%29%29%0A%0A%uB2E8%uC5B4%uC758%20%uC2DC%uD000%uC2A4%uB97C%20%uD569%uCE68%uC73C%uB85C%uC368%2C%20%24A%24%uB294%20%uAD6C%uC808%20%uB610%uB294%20%uC2EC%uC9C0%uC5B4%20%uC804%uCCB4%20%uBB38%uC7A5%uC744%20%uD45C%uD604%uD560%20%uC218%20%uC788%uAC8C%20%uD574%uC900%uB2E4.%20%uB2E4%uB978%20%uC218%uC758%20%uB2E8%uC5B4%uB97C%20%uD569%uCE60%uC218%20%uC788%uAE30%20%uB54C%uBB38%uC5D0%2C%20%uACE0%uC815%uB41C%20%uC785%uB825%uC744%20%uC4F8%20%uD544%uC694%uB294%20%uC5C6%uC5B4%uC9C4%uB2E4.%0A%0A%uBB38%uC7A5%uC758%20%uB2E8%uC5B4%uB97C%20%uC120%uD615%uC801%uC73C%uB85C%20%uD569%uCE60%20%uD544%uC694%uB294%20%uC5C6%uB2E4.%20%u201Cthe%20cat%20sat%20on%20the%20mat%u201D%uB97C%20%uBCF4%uBA74%2C%20%20%u201C%28%28the%20cat%29%20%28sat%20%28on%20%28the%20mat%29%29%29%29%u201D%uB85C%20%uC790%uC5F0%uC2A4%uB7FD%uAC8C%20%uB098%uB20C%20%uC218%20%uC788%uB2E4.%20%24A%24%uB97C%20%uC774%20%uAD04%uD638%uC5D0%20%uAE30%uBC18%uC5D0%20%uC801%uC6A9%uD560%20%uC218%20%uC788%uB2E4.%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Bottou-Atree.png%29%0A%0A%uC774%uB7EC%uD55C%20%uBAA8%uB378%uC740%20%u201Crecursive%20neural%20networks%u201D%uC774%uB77C%uACE0%20%uBD88%uB9B0%uB2E4.%20%uC65C%uB0D0%uD558%uBA74%20%20%uBAA8%uB4C8%uC758%20%uCD9C%uB825%uC744%20%uAC19%uC740%20%uD0C0%uC785%uC5D0%20%uBAA8%uB4C8%uB85C%20%uB123%uAE30%20%uB54C%uBB38%uC774%uB2E4.%20%uADF8%uB4E4%uC740%20%uB610%uD55C%20%u201Ctree-structured%20neural%20networks%u201D%uC774%uB77C%uACE0%20%uBD88%uB9B0%uB2E4.%0A%0ARecursive%20neural%20networks%20have%20had%20significant%20successes%20in%20a%20number%20of%20NLP%20tasks.%20For%20example%2C%20Socher%20et%20al.%20%282013c%29%20uses%20a%20recursive%20neural%20network%20to%20predict%20sentence%20sentiment%3A%0ARecursive%20neural%20networks%uC740%20%uB9CE%uC740%20%uC218%uC758%20NLP%20task%uC5D0%uC11C%20%uC758%uBBF8%20%uC788%uB294%20%uC131%uACF5%uC744%20%uD588%uB2E4.%20%uC608%uB97C%20%uB4E4%uC5B4%2C%20%5BSocher%20et%20al.%20%282013c%29%5D%28http%3A//nlp.stanford.edu/%7Esocherr/EMNLP2013_RNTN.pdf%29%uB294%20%uBB38%uC7A5%20%uAC10%uC815%uC744%20%uC608%uCE21%uD558%uB294%uB370%20Recursive%20neural%20networks%uB97C%20%uC0AC%uC6A9%uD588%uB2E4.%20%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Socher-SentimentTree.png%29%0A%0A%uD558%uB098%uC758%20%uC8FC%uC694%20%uBAA9%uD45C%uB294%20%uAC00%uC5ED%20%uBB38%uC7A5%20%uD45C%uD604%uC744%20%uC0DD%uC131%uD558%uB294%20%uAC83%uC774%uB2E4.%20%uADF8%20%uD45C%uD604%uC740%20%uB2E4%uC2DC%20%uBE44%uC2B7%uD55C%20%uC758%uBBF8%uC758%20%uC2E4%uC81C%20%uBB38%uC7A5%uC73C%uB85C%20%uC7AC%uAD6C%uC131%uD560%20%uC218%20%uC788%uB2E4.%20%uC608%uB97C%20%uB4E4%uC5B4%2C%20%24A%24%uB97C%20%uB418%uB3CC%uB9AC%uB294%20%20disassociation%20module%2C%20%24D%24%uB97C%20%uB9CC%uB4DC%uB294%20%uAC83%uC774%uB2E4.%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Bottou-unfold.png%29%0A%0A%uADF8%uB7EC%uD55C%20%uC77C%uC744%20%uD560%uC218%20%uC788%uB2E4%uBA74%2C%20%uB9E4%uC6B0%20%uAC15%uB825%uD55C%20%uB3C4%uAD6C%uAC00%20%uB420%20%uAC83%uC774%uB2E4.%20%uC608%uB97C%20%uB4E4%uC5B4%2C%20%uC774%uC911%uC5B8%uC5B4%20%uBB38%uC7A5%20%uD45C%uD604%uC744%20%uB9CC%uB4E4%uB824%uACE0%20%uC2DC%uB3C4%uD558%uACE0%20%uB2E4%uC2DC%20%uBC88%uC5ED%uC744%20%uC704%uD574%20%uADF8%uAC83%uC744%20%uC4F8%20%uC218%20%uC788%uB2E4.%0A%0A%uC6B4%uC774%20%uB098%uC058%uAC8C%uB3C4%2C%20%uC774%uAC83%uC740%20%uB9E4%uC6B0%20%uC5B4%uB835%uB2E4%uACE0%20%uD310%uBA85%uB410%uB2E4.%20%uB9E4%uC6B0%20%uB9E4%uC6B0%20%uC5EC%uB835%uB2E4.%20And%20given%20the%20tremendous%20promise%2C%20there%20are%20lots%20of%20people%20working%20on%20it.%0A%0A%uCD5C%uADFC%uC5D0%2C%20%5BCho%20et%20al.%20%282014%29%5D%28http%3A//arxiv.org/pdf/1406.1078v1.pdf%29%uB294%20%uAD6C%uC808%uC744%20%uD45C%uD604%uD558%uB294%uB370%20%uC870%uAE08%uC758%20%uC9C4%uC804%uC744%20%uC774%uB8E8%uC5C8%uB2E4.%20%uC601%uC5B4%20%uBB38%uC7A5%uC744%20encode%uD558%uACE0%20%uB2E4%uC2DC%20%uD504%uB791%uC2A4%uC5B4%uB85C%20decode%uD558%uB294%20%uBAA8%uB378%uC744%20%uB9CC%uB4E4%uC5C8%uB2E4.%20%uD559%uC2B5%uB41C%20%uAD6C%uC808%20%uD45C%uD604%uC744%20%uBCF4%uB77C.%0A%21%5Benter%20image%20description%20here%5D%28http%3A//colah.github.io/posts/2014-07-NLP-RNNs-Representations/img/Cho-TimePhrase-TSNE.png%29%0A%0A%23%23%23%20Criticisms%0ANLP%20%uC640%20linguistic%uC5D0%uC11C%20%uB2E4%uB978%20%uBD84%uC57C%uC758%20%uBE44%uD310%uC744%20%uBC1B%uB294%20%uC774%uC57C%uAE30%uB97C%20%uB4E4%uC5C8%uB2E4.%20%uC6B0%uB824%uB294%20%uADF8%uACB0%uACFC%20%uC790%uCCB4%uAC00%20%uC544%uB2C8%uB77C%2C%20%uADF8%uACB0%uACFC%uC5D0%uC11C%20%uC720%uCD94%uB418%uB294%20%uACB0%uB860%uC5D0%20%uB300%uD55C%20%uAC83%uC774%uB2E4.%20%uB09C%20%uC774%20%uC6B0%uB824%uB97C%20%uD310%uB2E8%uD560%20%uC790%uACA9%uC740%20%uC5C6%uB2E4.%20I%u2019d%20encourage%20someone%20who%20feels%20this%20way%20to%20describe%20the%20concerns%20in%20the%20comments.%0A%0A%23%23%23%20Conclusion%0A%0A%uB525%uB7EC%uB2DD%uC758%20%uD45C%uD604%20%uAD00%uC810%uC740%20%uC65C%20%uB525%20%uB274%uB7F4%20%uB124%uD06C%uC6CC%uD06C%uAC00%20%uD6A8%uACFC%uC801%uC778%uC9C0%uC5D0%uB300%uD55C%20%uB2F5%uC73C%uB85C%20%uBCF4%uC774%uB294%20%uAC15%uB825%uD55C%20%uBDF0%uC774%uB2E4.%uADF8%uAC78%20%uB118%uC5B4%uC11C%2C%20%uC65C%20%uB274%uB7F4%uB124%uD2B8%uC6CC%uD06C%uAC00%20%uD6A8%uACFC%uC801%uC778%uC9C0%uC5D0%20%uB300%uD55C%20%uB9E4%uC6B0%20%uC544%uB984%uB2E4%uC6B4%20%uC5B4%uB5A4%20%uAC83%uC774%20%uC788%uB2E4%uACE0%20%uC0DD%uAC01%uD55C%uB2E4.%20%20%uB370%uC774%uD130%uB97C%20%uD45C%uD604%uD558%uB294%20%uC880%20%uB354%20%uC88B%uC740%20%uBC29%uBC95%uC740%20%uCE35%uC774%20%uC788%uB294%20%uBAA8%uB378%uC744%20%uCD5C%uC801%uD654%uD558%uB294%20%uAC83%uC5D0%uC11C%20%uB098%uC62C%20%uC218%20%uC788%uAE30%20%uB54C%uBB38%uC774%uB2E4.%0A%0A%uB525%uB7EC%uB2DD%uC740%20%uC774%uB860%uC774%20%uAC15%uB825%uD558%uAC8C%20%uC798%20%uC815%uB9BD%uB418%uC9C0%20%uC54A%uACE0%20%uAD00%uC810%uB3C4%20%uBE60%uB974%uAC8C%20%uBC14%uB00C%uB294%20%uB9E4%uC6B0%20%uC80A%uC740%20%uBD84%uC57C%uC774%uB2E4.%20%20%uB274%uB7F4%uB137%uC758%20%uD45C%uD604%uC5D0%20%uC911%uC810%uC744%20%uAD00%uC810%uC774%20%uD604%uC7AC%20%uB9E4%uC6B0%20%uC778%uAE30%uC788%uB2E4%uB294%20%uAE30%uBD84%uC774%20%uB4E0%uB2E4.%0A%0A%uC774%20%uD3EC%uC2A4%uD2B8%uB294%20%uC7AC%uBC0C%uC5B4%uBCF4%uC774%uB294%20%uC5F0%uAD6C%20%uACB0%uACFC%uB97C%20%uB9AC%uBDF0%uD588%uB2E4.%20%uB098%uC758%20%uC8FC%20%uB3D9%uAE30%uB294%20%uB525%uB7EC%uB2DD%uACFC%20%uD0C0%uC785%uC774%uB860%20%uACFC%20%uD568%uC218%uD615%20%uD504%uB85C%uADF8%uB798%uBC0D%uACFC%uC758%20%uC5F0%uACB0%uC744%20%uBBF8%uB798%uC5D0%20%uCC3E%uB294%20%uD3EC%uC2A4%uD2B8%uC5D0%20%uB300%uD55C%20%uBC11%uBC14%uD0D5%uC744%20%uB9CC%uB4DC%uB294%20%uAC70%uC600%uB2E4.%0A%0AIf%20you%u2019re%20interested%2C%20you%20can%20subscribe%20to%20my%20rss%20feed%20so%20that%20you%u2019ll%20see%20it%20when%20it%20is%20published.%0A%0A%28I%20would%20be%20delighted%20to%20hear%20your%20comments%20and%20thoughts%3A%20you%20can%20comment%20inline%20or%20at%20the%20end.%20For%20typos%2C%20technical%20errors%2C%20or%20clarifications%20you%20would%20like%20to%20see%20added%2C%20you%20are%20encouraged%20to%20make%20a%20pull%20request%20on%20github%29%0A%20%0A