SOGM'S Data

NDCG란? (Normalized Discounted Cumulative Gain) - 추천시스템에서 랭킹 추천 분야에 많이 쓰이는 평가지표 - 기존 정보검색에서 많이 쓰였으며 , 특히 상위의 랭킹 리스트가 하위 랭킹 리스트 보다 확연하게 중요한 도메인에서는 유용한 평가 기준 Ex) TV나 영화 프로그램 K개를 랭킹순으로 추천해주는 도메인 우선 CG라는 개념을 알아야 합니다. Cumulative Gain(CG)란 관련성 점수를 합한 값입니다. 이때 관련성 점수는(Relavance Score) 는 사용자가 추천된 각 아이템을 얼마나 선호하는지를 나타내는 점수입니다. 보통의 경우 raw_data의 rating 값이 많이 사용됩니다. 이때 사용자 u가 item j에 대한 관련성 점수를 rel_uj라 할 때 이..

이번 포스팅에서는 추천시스템이 개선 해야할 과제들과 고려해야하는 것들에 대해 다뤄보겠습니다. 1. Scalability - 실제 서비스 상황은 다양한 데이터이기 때문에 학습 그리고 분석 데이터와 전혀 다름. - 학습에 이용된 추천알고리즘을 실전에 이용할 수 있는가? 즉, 확장성에 대한 고려가 필요하다. 2. Proactive Recommender System - 모바일 인터넷 등 어디서든 유저에게 끊임없이 좋은 정보를 추천할 수 있는 서비스 3. Cold Start Problem - 추천서비스를 위한 초기 데이터 부족 문제 - 협업 필터링의 대표적 단점 4. Privacy - User의 민감 정보 혹은 개인 정보를 어디까지 추천에 적용할 수 있는지에 대한 윤리적/법적 고려사항 5. Long term an..

카카오에서 지난 11월 if(kakao)2020으로 다양한 강의들이 마련되어있었다. 그중 추천팀에서 시행한 개인화 콘텐츠 푸시 고도화 후기 강의를 듣고 나름대로 정리를 해보았다. 1. 콘텐츠 푸쉬에 대하여. 어떠한 Business Problem을 Machine Learning System를 잘 설계해서 풀고, 서비스에 적용해서 성과를 낼 수 있음. 문제 & 설계 : 문제 정의& 그것을 해결하기 위한 시스템 설계 * 알고리즘은 자세히 다루지 않는다. 콘텐츠를 push 하는 경우의 목적: 유저 활성화 - 잘 안쓰는 사람을 쓰도록 만드는 것. (비활성화 유저) - 이미 쓰는 사람이 더 많이 쓰게 만드는 것. (활성화 유저) 비활성 유저들은 푸시를 거의 클릭하지 않는다!. 해결방안은? 누구나 좋아하는 컨텐츠를 ..

Collaborative Filtering for Implicit Feedback Datasets, IEEE 오늘 날 추천시스템의 가장 큰 줄기가 되는 MF기법중 사용자가 아이템에 남긴 평점(Explicit Datasets)이 아닌 Implicit Feedback Dataset을 이용하는 추천시스템이다. 우리 사회의 대부분의 비지니스는 고객이 어떤 물건에 평가하고 점수를 메기는 데이터를 가지고 있지않다. 즉, 대부분의 데이터는 사용자가 어떠한 item을 봤거나 , 구매 이력, 혹은 마우스 움직임까지 로그로 기록되어 있는 implicit data 이다. 이 논문은 implicit data를 다룰 때 explicit data를 다루는 알고리즘과 구분 짓기 위한 implicit data의 몇 가지 특징들을 다..

이해하면 까먹고 , 손에 잡힐 것 같으면서 안잡히는 PCA를 이해해봅시다. 직관적인 이해를 위해 수학적인 요소는 빼보았습니다! 일단 거두절미하고 PCA의 가장 큰 목적은 차원을 축소하고 차원을 추출하는데 필요합니다. 우선 PCA(Principal component analysis)는 주성분 분석을 뜻하는데, 위와 같은 그림은 우리가 흔히 PCA를 볼때 가장 잘 아는 그림입니다. PCA는 어떠한 데이터 분포를 분산이 가장 큰 방향으로 정사영하며 이뤄진다. 즉, 어떠한 데이터의 분포를 설명할 때 2가지 벡터로만 간단하게 설명하고 싶다면? 위에 있는 두 화살표들(벡터들) 이 데이터의 분포를 가장 잘 설명할 수 있는데 해당 벡터들은 분산이 가장 큰 방향으로 생성된다는 뜻입니다. 아래 쉬운단어로 표현했습니다. 예..