티스토리

Maching Learning 덕질

검색하기

블로그 홈

Maching Learning 덕질

mlduck.tistory.com/m

sweaterr 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

트랜스포머 네트워크 transformer network seq2seq 모델의 단점을 극복한 모델 s2s와 같이 인코더 디코더 구조 셀프어텐션 기법을 사용해서 문장에 대한 정보를 추출 셀프어텐션이란? 문장에서 각 단어끼리 얼마나 관계가 있는지를 계산해서 반영하는 방법 각 단어를 기준으로 다른 단어들과의 관계 값을 계산한다 어텐션 스코어 단어벡터간의 내적으로 구함 위의 처럼 나머지 단어에 대해서도 동일하게 진행하면 해당 문장에 대한 셀프어텐션이 끝난다 셀프어텐션은 트랜스포머 네트워크의 핵심이다 모델 구현 구현해야 할 것 멀티헤드 어텐션 서브시퀀스 마스크 어텐션 포지션-와이즈 피드 포워드 네트워크 리지듀얼 커넥션 멀티헤드 어텐션 내적 어텐션 구조가 중첩된 형태 1) 스케일 내적 어텐션 쿼리 사전에서 찾고자 하는 단어 키 사전의 색인어 값 색인어의 뜻 2) 순방향 .. 공감수 0 댓글수 0 2021. 3. 25.
Cross-Media Similarity Evaluation for Web Image Retrieval in the Wild Given baseline methods that use relatively simple text/image matching, how much progress have advanced models made is also unclear. 이 논문 당시에도(2018) 텍스트와 이미지를 조인트 임베딩 semantic embedding 논문들은 많았지만, 베이스라인 모델과 비교해서 얼마나 좋은지 정확히 연구는 없었다고 한다. 그래서 이 논문은 간단한 베이스라인 모델과 semantic embedding간의 성능에 대한 비교 연구를 한다. 논문이 제시하는 베이스라인 모델이라는 것은 누구나 생각할 수 있는 그러한 간단한 모델이다. 기본적으로는 클릭로그를 이용하는 모델이다 image2text 이미지의 유사 이미지 k를.. 공감수 0 댓글수 0 2021. 3. 16.
Design Pattern 30: Fairness Lens 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 31.
Design Pattern 29: Explainable Predictions 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 31.
Chapter 7. Responsible AI and Design Pattern 28: Heuristic Benchmark 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 31.
[MLDP] 디자인 패턴 18 : 지속적인 모델 평가 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 28.
[MLDP] 디자인 패턴 17 : 배치 서빙 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 28.
[MLDP] 디자인 패턴 16 : Stateless Serving Function 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 27.
디자인 패턴 10 : 재조정(rebalancing) 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 26.
디자인 패턴 9 : 중립 클래스 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 26.
디자인 패턴 8 : 캐스케이드 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 26.
[MLDP] 디자인 패턴 7 : 앙상블 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 26.
[MLDP]디자인 패턴: 5. 재구성, 6. 다중 레이블 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 1. 25.
[MLDP] Chapter 2. Data Representation Design Patterns 간단한 데이터 표현 수치 입력 스케일링이 바람직한 이유 선형 스케일링 Min-max scaling Clipping (in conjunction with min-max scaling) Z-score normalization Winsorizing "이상 값"을 버리지 마십시오. 비선형 변환 로그 취하기 숫자 배열 범주 입력 원-핫 인코딩 범주 형 변수의 배열 디자인 패턴1: 해시 기능 문제 불완전 카디널리티가 높음 콜드 스타트 해결책 디자인 패턴 2 : 임베딩 현대 기계 학습의 핵심 문제 원-핫 인코딩 높은 카디널리티 범주 => 너무 스파스 각 항목이 너무 독립적 이런 것들이 임베딩이 해결하는 문제 해결책 텍스트 임베딩 트레이드 오프 및 대안 데이터웨어 하우스에 임베딩 디자인 패펀26: 피쳐 저장소에서 자세.. 공감수 0 댓글수 0 2021. 1. 24.
(번역) DEEP METRIC LEARNING USING TRIPLET NETWORK ICLR 2015 https://arxiv.org/pdf/1412.6622.pdf 코멘트: 보통 이미지 분야에서, 전송학습을 위한 이미지 임베딩을 학습하기 위해 쓰는 분류(softmax) 손실 대신, 3개의 이미지의 유사성으로 학습하는 triplet을 분류 데이터에 대해서 테스트한다. 이렇게 학습된 이미지 임베딩에 대해서 SVM 분류만 끼어도 상당히 좋은 성능이 나온다. 테스트한 평가 방식이 와닿지는 않아서, 유사 이미지 평가 데이터를 사용해서 평가해보면 좋을 듯하다.DEEP METRIC LEARNING USING TRIPLET NETWORKDeep learning has proven itself as a successful set of models for learning useful semantic r.. 공감수 0 댓글수 1 2017. 9. 17.
콘볼루션 넷: 모듈 관점 (Conv Nets: A Modular Perspective) Edit 콘볼루션 넷: 모듈 관점 (Conv Nets: A Modular Perspective) 원문 Introduction 지난 몇년간, 딥 뉴럴넷은 컴퓨터 비전과 음성인식 같은 패턴 인식 문제에 대해서 breakthrough를 이루어왔다. 이러한 결과를 낸 가장 중요한 component 중 하나는 convolutional neural network라 불리는 뉴럴넷의 특별한 형태이다.가장 기본적으로 보았을 때, convolutional neural networks는 같은 뉴런의 동일한 복사본을 사용하는 뉴럴넷의 한 종류로 생각할 수 있다.이는 네트워크가 실제 파라메터 수는 유지하면서 많은수의 뉴런을 가질수 있게하고 계산적으로 큰 모델을 표현할 수 있게 한다. 같은 뉴런을 여러개 복사하는 trick은 수.. 공감수 0 댓글수 0 2016. 8. 15.
딥러닝, NLP, 표현(Deep Learning, NLP, and Representations) Edit 딥러닝, NLP, 표현(Deep Learning, NLP, and Representations) 원문 Introduction 지난 몇년간, 딥 뉴럴 네트워크는 패턴인식을 독점했다. 딥 뉴럴넷은 많은 컴퓨터 비전 문제의 최신 기술을 구식으로 만들었다. 음성 인식도 역시 그 방향으로 가고 있다. 그 결과에도 불구하고, 우리는 궁금하다. 왜 그것들이 잘 동작하는가?이 포스트는 딥뉴럴넷deep neural networks을 natural language processing (NLP)에 적용한 주목할만한 결과를 리뷰한다. 그렇게 함으로써, 왜 딥뉴럴넷이 동작하는지에 대한 답을 찾길 원한다. 나는 그것이 매우 좋은 접근법이라고 생각한다. One Hidden Layer Neural Networks 은닉층hi.. 공감수 2 댓글수 0 2016. 8. 14.
딥러닝 챗봇 , PART 2 – IMPLEMENTING A RETRIEVAL-BASED MODEL IN TENSORFLOW(한글번역) 다음 포스트를, 좀 더 자세히 읽으려는 공부목적으로 번역해보았습니다.The Code and data for this tutorial is on Github.검색기반 봇 RETRIEVAL-BASED BOTS이 포스트에서 검색기반 봇을 구현할 것이다. 검색 기반 모델은 이전에 보지 못했던 응답을 생성하는 생성모델과 달리 선-정의pre-define된 응답의 저장소이다. 좀 더 형식화하면, 검색 기반 모델의 입력은 문맥 s(이 시점까지 대화) 와 잠재적 응답 s 이다. 모델 출력은 응답에 대한 점수이다. 좋은 응답을 찾기 위해선, 여러 개의 응답에 대한 점수를 계산하고, 가장 높은 점수를 골라야 한다. 그러나, 생성모델을 만들 수 있다면, 왜 검색기반 모델을 만들어야 하는가? 선정의된 응답의 저장소가 필요없기 .. 공감수 2 댓글수 0 2016. 8. 14.
딥러닝 챗봇, PART 1 – INTRODUCTION (한글번역) 다음 포스트를, 좀 더 자세히 읽으려는 공부목적으로 번역해보았습니다.Conversational Agents 또는 Dialog Systems이라 불리는 Chatbots은 핫토픽이다. Microsoft는 chatbots에 큰 배팅을 했고, Facebook, Apple, Google, WeChat, Slack같은 회사들도 뛰어들었다. 소비자가 Operator 같은 앱 또는 Chatfuel같은 x.ai, bot platforms를 통해 서비스와 교류할 수 있게 하는 시도를 하는 스타트업의 새로운 물결이 일고 있다. Microsoft는 최근 자신들만의 봇 개발 프레임웍을 출시했다.많은 회사들이 자연스러운, 인간과 구별이 안되는 봇을 개발하기를 원한다. 그리고 많은이들이 NLP 기술과 딥러닝 기술을 사용해서 이것을.. 공감수 3 댓글수 1 2016. 8. 14.
IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW (한글 번역) 다음 원문을 공부목적으로 번역했습니다.전체 코드는 Github에서 볼수 있다.이 포스트는 김윤의 Convolutional Neural Networks for Sentence Classification.과 비슷한 모델을 구현할 것이다. 논문에서 소개된 모델은 텍스트 분류 문제에 좋은 분류 성능을 보였고, 새로운 텍스트 분류 문제의 기본적인 baseline 이 되었다. 독자가 NLP 에 적용되는 CNN에 익숙하다고 가정했다. 그렇지 않다면 이글을 먼저 보라DATA AND PREPROCESSING데이터셋은 Movie Review data from Rotten Tomatoes를 쓴다. 원 논문에서도 사용했던 데이터이다. 10,662개의 리뷰 예제 문장이 포함되어 있고, 반은 긍정, 반은 부정이다. 데이터셋은 2.. 공감수 0 댓글수 0 2016. 8. 14.
자연어 처리 문제를 해결하는 CONVOLUTIONAL NEURAL NETWORKS 이해하기 다음 포스트를, 좀 더 자세히 읽으려는 공부목적으로 번역해보았습니다. Convolutional Neural Network (CNNs)에 대해서 들었을 때, 일반적으로 컴퓨터 비전을 생각한다. CNNs은 페이스북의 자동 포토 태깅부터 자율 주행차까지 이미지 분류와 대부분의 컴퓨터 비전 시스템의 혁명을 책임 졌다.최근엔, CNNs이 자연어처리에 적용되기 시작해서 재밌는 결과를 얻고 있다. 이 포스트에서는 CNN이 NLP에서 어떻게 쓰이고 있는지 요약할 것이다. CNNs에 숨겨진 직관은 컴퓨터 비전 use case에서는 이해하기가 쉽다. 그래서 거기서부터 시작하고 천천히 NLP로 넘어가겠다.WHAT IS CONVOLUTION?나에게 있어서, 합성곱(convolution)를 이해하는 가장 쉬운 방법은 행렬에 적.. 공감수 1 댓글수 0 2016. 8. 14.
쉽게 쓰여진 MCMC 다음 포스트를, 좀 더 자세히 읽으려는 공부목적으로 번역해보았습니다. MCMC sampling for dummies 나는 확률 프로그래밍과 베이지안 통계를 이야기할 때, 보통 추론에 대한 자세한 설명은 얼머무리고 블랙박스로 남겨놓았다. 확률 프로그래밍의 아름다움은 모델을 만들기 위해, 추론이 어떻게 일어나는지 이해할 필요는 없다는 것이다. 물론 이해하는 것이 도움이 된다. 베이지안 통계를 모르지만 알고싶어 하는 Quantopian의 CEO, Fawce 에게 새로운 베이지안 모델을 소개할 때, 그는 내가 얼머무리던 부분에 대해서 묻기 시작했다. “토마스, 추론은 어떻게 동작하는거예요? 사후확률에서 어떻게 이런 마법과 같은 표본을 얻을 수 있죠? “나는 이렇게 대답했다. “그건 쉬워요, MCMC 알고리즘이 .. 공감수 4 댓글수 0 2016. 8. 14.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.