Neural networks for Information Retrieval (2018)

Neural Networks for Infomation Retrieval (2018)

Abstact

Machine Learning, Deep learning은 modern IR systems에서도 중요한 역할을 맡고 있다.

이 분야에서 새로운 정보들이 쏟아지고 있기 때문에 

이 tutorial에서 과거에 시도되었던, 효과가 있었떤 IR 방법들에 대한 overview를 제공한다

Motivation

IR pipeline들에 Neural Networks가 사용되고 있다

- click models, core ranking algorithms, dialogue systems, entity retrieval

- Knowledge Graphs, Language Modeling, Question Answering, Test Similarity

많은 구조들과 패러다임들이 제안되고 사용되었다.

- auto-encoders, Recursive NN, RNN, CNN

- 다양한 embedding methods, deep reinforcement learning

Brief outline of the topics to be covered

◇ Preliminaries

- distributed representations / embeddings

- fully-connected layers, convolutional layers

- RNN, seq2seq model

◇ Semantic Matching

- 기존의 방식은 lexical matching (같은 단어 출현 여부를 matching)

- 하지만 단어는 context에 따라 다양한 뜻을 표현 가능하므로 semantic matching을 해야 한다

- supervised fashion, semi-sypervised, unsupervised  <ref>

◇ Learning to Rank

- ranking을 메기기 위해서는 query, documentation, 그리고 둘의 관계에 대한 다양함을 포착해야 한다

- NN model에서 query, document는 수동적으로 처리되어 feature들로 표현되고, 목적에 따라 이 둘을 combine

- 학습 과정을 통해서 latent representation이 학습됨

- supervision/unsupervised, semi/weakly-supervised, fully-supervised(labeled data, interaction data) <ref>

◇ Entities

- Entities는 IR system에서 핵심적인 역할을 한다

- Named Entity Recognition, Expert finding, Product Search, email attachment, graph embedding  <ref>

◇ Recommender Systems

- item(products, users) embeddings <ref>

- deep collaborative filtering <ref>

◇ Modeling User Behavior

- click models based on Probabilistic Graphical Models (PGMs) <ref>

- click models using RNN/PGM-based click model <ref>

◇ Generating Responses

◇ Industry Insights