SOGM'S Data

개인용 LLM 내용 정리 개인적으로 공부하면서 플래그를 찍어볼 내용들  (주로 왜?에 대한 것들) 정리 하는 페이지입니다.토큰화 : 텍스트에 숫자부여. 서브위드 토큰화  : 고빈도 단어는 단어 자체로 토큰화(우리, 가족 등) 가끔 나오는 단어는 작은 단어로 토큰화 하는 방식 임베딩 nn.Embedding 클래스 사용, 임베딩 층 자체도 학습이 된다.트랜스포머에서  토큰 임베딩 대신 Wq, Wk 가중치를 사용하는 이유 토큰 자체가 유사성을 찾기 힘들기 때문에 이또한 학습되어함.ex) 내일 점심에 팀장님이랑 밥 약속이 있어.  (내일 점심 팀장)의 관계를 토큰 자체 유사성으로는 알 수 없음  어텐션 스코어를 구할때 분산이 커지면 기울기 소실문제가 있기때문에 임베딩차원의 제곱근으로 나눠준다.# 1. Q와 K의..