전체 글 썸네일형 리스트형 트랜스포머 네트워크 transformer network seq2seq 모델의 단점을 극복한 모델 s2s와 같이 인코더 디코더 구조 셀프어텐션 기법을 사용해서 문장에 대한 정보를 추출 셀프어텐션이란? 문장에서 각 단어끼리 얼마나 관계가 있는지를 계산해서 반영하는 방법 각 단어를 기준으로 다른 단어들과의 관계 값을 계산한다 어텐션 스코어 단어벡터간의 내적으로 구함 위의 처럼 나머지 단어에 대해서도 동일하게 진행하면 해당 문장에 대한 셀프어텐션이 끝난다 셀프어텐션은 트랜스포머 네트워크의 핵심이다 모델 구현 구현해야 할 것 멀티헤드 어텐션 서브시퀀스 마스크 어텐션 포지션-와이즈 피드 포워드 네트워크 리지듀얼 커넥션 멀티헤드 어텐션 내적 어텐션 구조가 중첩된 형태 1) 스케일 내적 어텐션 쿼리 사전에서 찾고자 하는 단어 키 사전의 색인어 값 색인어의 뜻 2) 순방향 .. 더보기 Cross-Media Similarity Evaluation for Web Image Retrieval in the Wild Given baseline methods that use relatively simple text/image matching, how much progress have advanced models made is also unclear. 이 논문 당시에도(2018) 텍스트와 이미지를 조인트 임베딩 semantic embedding 논문들은 많았지만, 베이스라인 모델과 비교해서 얼마나 좋은지 정확히 연구는 없었다고 한다. 그래서 이 논문은 간단한 베이스라인 모델과 semantic embedding간의 성능에 대한 비교 연구를 한다. 논문이 제시하는 베이스라인 모델이라는 것은 누구나 생각할 수 있는 그러한 간단한 모델이다. 기본적으로는 클릭로그를 이용하는 모델이다 image2text 이미지의 유사 이미지 k를.. 더보기 Design Pattern 30: Fairness Lens 보호되어 있는 글입니다. 더보기 Design Pattern 29: Explainable Predictions 보호되어 있는 글입니다. 더보기 Chapter 7. Responsible AI and Design Pattern 28: Heuristic Benchmark 보호되어 있는 글입니다. 더보기 [MLDP] 디자인 패턴 18 : 지속적인 모델 평가 보호되어 있는 글입니다. 더보기 [MLDP] 디자인 패턴 17 : 배치 서빙 보호되어 있는 글입니다. 더보기 [MLDP] 디자인 패턴 16 : Stateless Serving Function 보호되어 있는 글입니다. 더보기 이전 1 2 3 다음
