본문 바로가기

딥러닝

콘볼루션 넷: 모듈 관점 (Conv Nets: A Modular Perspective) Edit 콘볼루션 넷: 모듈 관점 (Conv Nets: A Modular Perspective) 원문 Introduction 지난 몇년간, 딥 뉴럴넷은 컴퓨터 비전과 음성인식 같은 패턴 인식 문제에 대해서 breakthrough를 이루어왔다. 이러한 결과를 낸 가장 중요한 component 중 하나는 convolutional neural network라 불리는 뉴럴넷의 특별한 형태이다.가장 기본적으로 보았을 때, convolutional neural networks는 같은 뉴런의 동일한 복사본을 사용하는 뉴럴넷의 한 종류로 생각할 수 있다.이는 네트워크가 실제 파라메터 수는 유지하면서 많은수의 뉴런을 가질수 있게하고 계산적으로 큰 모델을 표현할 수 있게 한다. 같은 뉴런을 여러개 복사하는 trick은 수.. 더보기
딥러닝, NLP, 표현(Deep Learning, NLP, and Representations) Edit 딥러닝, NLP, 표현(Deep Learning, NLP, and Representations) 원문 Introduction 지난 몇년간, 딥 뉴럴 네트워크는 패턴인식을 독점했다. 딥 뉴럴넷은 많은 컴퓨터 비전 문제의 최신 기술을 구식으로 만들었다. 음성 인식도 역시 그 방향으로 가고 있다. 그 결과에도 불구하고, 우리는 궁금하다. 왜 그것들이 잘 동작하는가?이 포스트는 딥뉴럴넷deep neural networks을 natural language processing (NLP)에 적용한 주목할만한 결과를 리뷰한다. 그렇게 함으로써, 왜 딥뉴럴넷이 동작하는지에 대한 답을 찾길 원한다. 나는 그것이 매우 좋은 접근법이라고 생각한다. One Hidden Layer Neural Networks 은닉층hi.. 더보기
딥러닝 챗봇 , PART 2 – IMPLEMENTING A RETRIEVAL-BASED MODEL IN TENSORFLOW(한글번역) 다음 포스트를, 좀 더 자세히 읽으려는 공부목적으로 번역해보았습니다.The Code and data for this tutorial is on Github.검색기반 봇 RETRIEVAL-BASED BOTS이 포스트에서 검색기반 봇을 구현할 것이다. 검색 기반 모델은 이전에 보지 못했던 응답을 생성하는 생성모델과 달리 선-정의pre-define된 응답의 저장소이다. 좀 더 형식화하면, 검색 기반 모델의 입력은 문맥 s(이 시점까지 대화) 와 잠재적 응답 s 이다. 모델 출력은 응답에 대한 점수이다. 좋은 응답을 찾기 위해선, 여러 개의 응답에 대한 점수를 계산하고, 가장 높은 점수를 골라야 한다. 그러나, 생성모델을 만들 수 있다면, 왜 검색기반 모델을 만들어야 하는가? 선정의된 응답의 저장소가 필요없기 .. 더보기
딥러닝 챗봇, PART 1 – INTRODUCTION (한글번역) 다음 포스트를, 좀 더 자세히 읽으려는 공부목적으로 번역해보았습니다.Conversational Agents 또는 Dialog Systems이라 불리는 Chatbots은 핫토픽이다. Microsoft는 chatbots에 큰 배팅을 했고, Facebook, Apple, Google, WeChat, Slack같은 회사들도 뛰어들었다. 소비자가 Operator 같은 앱 또는 Chatfuel같은 x.ai, bot platforms를 통해 서비스와 교류할 수 있게 하는 시도를 하는 스타트업의 새로운 물결이 일고 있다. Microsoft는 최근 자신들만의 봇 개발 프레임웍을 출시했다.많은 회사들이 자연스러운, 인간과 구별이 안되는 봇을 개발하기를 원한다. 그리고 많은이들이 NLP 기술과 딥러닝 기술을 사용해서 이것을.. 더보기
IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW (한글 번역) 다음 원문을 공부목적으로 번역했습니다.전체 코드는 Github에서 볼수 있다.이 포스트는 김윤의 Convolutional Neural Networks for Sentence Classification.과 비슷한 모델을 구현할 것이다. 논문에서 소개된 모델은 텍스트 분류 문제에 좋은 분류 성능을 보였고, 새로운 텍스트 분류 문제의 기본적인 baseline 이 되었다. 독자가 NLP 에 적용되는 CNN에 익숙하다고 가정했다. 그렇지 않다면 이글을 먼저 보라DATA AND PREPROCESSING데이터셋은 Movie Review data from Rotten Tomatoes를 쓴다. 원 논문에서도 사용했던 데이터이다. 10,662개의 리뷰 예제 문장이 포함되어 있고, 반은 긍정, 반은 부정이다. 데이터셋은 2.. 더보기

티스토리툴바