본문 바로가기

머신러닝 딥러닝 번역

(번역) DEEP METRIC LEARNING USING TRIPLET NETWORK ICLR 2015 https://arxiv.org/pdf/1412.6622.pdf 코멘트: 보통 이미지 분야에서, 전송학습을 위한 이미지 임베딩을 학습하기 위해 쓰는 분류(softmax) 손실 대신, 3개의 이미지의 유사성으로 학습하는 triplet을 분류 데이터에 대해서 테스트한다. 이렇게 학습된 이미지 임베딩에 대해서 SVM 분류만 끼어도 상당히 좋은 성능이 나온다. 테스트한 평가 방식이 와닿지는 않아서, 유사 이미지 평가 데이터를 사용해서 평가해보면 좋을 듯하다.DEEP METRIC LEARNING USING TRIPLET NETWORKDeep learning has proven itself as a successful set of models for learning useful semantic r.. 더보기
콘볼루션 넷: 모듈 관점 (Conv Nets: A Modular Perspective) Edit 콘볼루션 넷: 모듈 관점 (Conv Nets: A Modular Perspective) 원문 Introduction 지난 몇년간, 딥 뉴럴넷은 컴퓨터 비전과 음성인식 같은 패턴 인식 문제에 대해서 breakthrough를 이루어왔다. 이러한 결과를 낸 가장 중요한 component 중 하나는 convolutional neural network라 불리는 뉴럴넷의 특별한 형태이다.가장 기본적으로 보았을 때, convolutional neural networks는 같은 뉴런의 동일한 복사본을 사용하는 뉴럴넷의 한 종류로 생각할 수 있다.이는 네트워크가 실제 파라메터 수는 유지하면서 많은수의 뉴런을 가질수 있게하고 계산적으로 큰 모델을 표현할 수 있게 한다. 같은 뉴런을 여러개 복사하는 trick은 수.. 더보기
딥러닝, NLP, 표현(Deep Learning, NLP, and Representations) Edit 딥러닝, NLP, 표현(Deep Learning, NLP, and Representations) 원문 Introduction 지난 몇년간, 딥 뉴럴 네트워크는 패턴인식을 독점했다. 딥 뉴럴넷은 많은 컴퓨터 비전 문제의 최신 기술을 구식으로 만들었다. 음성 인식도 역시 그 방향으로 가고 있다. 그 결과에도 불구하고, 우리는 궁금하다. 왜 그것들이 잘 동작하는가?이 포스트는 딥뉴럴넷deep neural networks을 natural language processing (NLP)에 적용한 주목할만한 결과를 리뷰한다. 그렇게 함으로써, 왜 딥뉴럴넷이 동작하는지에 대한 답을 찾길 원한다. 나는 그것이 매우 좋은 접근법이라고 생각한다. One Hidden Layer Neural Networks 은닉층hi.. 더보기
딥러닝 챗봇 , PART 2 – IMPLEMENTING A RETRIEVAL-BASED MODEL IN TENSORFLOW(한글번역) 다음 포스트를, 좀 더 자세히 읽으려는 공부목적으로 번역해보았습니다.The Code and data for this tutorial is on Github.검색기반 봇 RETRIEVAL-BASED BOTS이 포스트에서 검색기반 봇을 구현할 것이다. 검색 기반 모델은 이전에 보지 못했던 응답을 생성하는 생성모델과 달리 선-정의pre-define된 응답의 저장소이다. 좀 더 형식화하면, 검색 기반 모델의 입력은 문맥 s(이 시점까지 대화) 와 잠재적 응답 s 이다. 모델 출력은 응답에 대한 점수이다. 좋은 응답을 찾기 위해선, 여러 개의 응답에 대한 점수를 계산하고, 가장 높은 점수를 골라야 한다. 그러나, 생성모델을 만들 수 있다면, 왜 검색기반 모델을 만들어야 하는가? 선정의된 응답의 저장소가 필요없기 .. 더보기
딥러닝 챗봇, PART 1 – INTRODUCTION (한글번역) 다음 포스트를, 좀 더 자세히 읽으려는 공부목적으로 번역해보았습니다.Conversational Agents 또는 Dialog Systems이라 불리는 Chatbots은 핫토픽이다. Microsoft는 chatbots에 큰 배팅을 했고, Facebook, Apple, Google, WeChat, Slack같은 회사들도 뛰어들었다. 소비자가 Operator 같은 앱 또는 Chatfuel같은 x.ai, bot platforms를 통해 서비스와 교류할 수 있게 하는 시도를 하는 스타트업의 새로운 물결이 일고 있다. Microsoft는 최근 자신들만의 봇 개발 프레임웍을 출시했다.많은 회사들이 자연스러운, 인간과 구별이 안되는 봇을 개발하기를 원한다. 그리고 많은이들이 NLP 기술과 딥러닝 기술을 사용해서 이것을.. 더보기
IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW (한글 번역) 다음 원문을 공부목적으로 번역했습니다.전체 코드는 Github에서 볼수 있다.이 포스트는 김윤의 Convolutional Neural Networks for Sentence Classification.과 비슷한 모델을 구현할 것이다. 논문에서 소개된 모델은 텍스트 분류 문제에 좋은 분류 성능을 보였고, 새로운 텍스트 분류 문제의 기본적인 baseline 이 되었다. 독자가 NLP 에 적용되는 CNN에 익숙하다고 가정했다. 그렇지 않다면 이글을 먼저 보라DATA AND PREPROCESSING데이터셋은 Movie Review data from Rotten Tomatoes를 쓴다. 원 논문에서도 사용했던 데이터이다. 10,662개의 리뷰 예제 문장이 포함되어 있고, 반은 긍정, 반은 부정이다. 데이터셋은 2.. 더보기
자연어 처리 문제를 해결하는 CONVOLUTIONAL NEURAL NETWORKS 이해하기 다음 포스트를, 좀 더 자세히 읽으려는 공부목적으로 번역해보았습니다. Convolutional Neural Network (CNNs)에 대해서 들었을 때, 일반적으로 컴퓨터 비전을 생각한다. CNNs은 페이스북의 자동 포토 태깅부터 자율 주행차까지 이미지 분류와 대부분의 컴퓨터 비전 시스템의 혁명을 책임 졌다.최근엔, CNNs이 자연어처리에 적용되기 시작해서 재밌는 결과를 얻고 있다. 이 포스트에서는 CNN이 NLP에서 어떻게 쓰이고 있는지 요약할 것이다. CNNs에 숨겨진 직관은 컴퓨터 비전 use case에서는 이해하기가 쉽다. 그래서 거기서부터 시작하고 천천히 NLP로 넘어가겠다.WHAT IS CONVOLUTION?나에게 있어서, 합성곱(convolution)를 이해하는 가장 쉬운 방법은 행렬에 적.. 더보기
쉽게 쓰여진 MCMC 다음 포스트를, 좀 더 자세히 읽으려는 공부목적으로 번역해보았습니다. MCMC sampling for dummies 나는 확률 프로그래밍과 베이지안 통계를 이야기할 때, 보통 추론에 대한 자세한 설명은 얼머무리고 블랙박스로 남겨놓았다. 확률 프로그래밍의 아름다움은 모델을 만들기 위해, 추론이 어떻게 일어나는지 이해할 필요는 없다는 것이다. 물론 이해하는 것이 도움이 된다. 베이지안 통계를 모르지만 알고싶어 하는 Quantopian의 CEO, Fawce 에게 새로운 베이지안 모델을 소개할 때, 그는 내가 얼머무리던 부분에 대해서 묻기 시작했다. “토마스, 추론은 어떻게 동작하는거예요? 사후확률에서 어떻게 이런 마법과 같은 표본을 얻을 수 있죠? “나는 이렇게 대답했다. “그건 쉬워요, MCMC 알고리즘이 .. 더보기

티스토리툴바