SOGM'S Data

개인용 LLM 내용 정리 개인적으로 공부하면서 플래그를 찍어볼 내용들  (주로 왜?에 대한 것들) 정리 하는 페이지입니다.토큰화 : 텍스트에 숫자부여. 서브위드 토큰화  : 고빈도 단어는 단어 자체로 토큰화(우리, 가족 등) 가끔 나오는 단어는 작은 단어로 토큰화 하는 방식 임베딩 nn.Embedding 클래스 사용, 임베딩 층 자체도 학습이 된다.트랜스포머에서  토큰 임베딩 대신 Wq, Wk 가중치를 사용하는 이유 토큰 자체가 유사성을 찾기 힘들기 때문에 이또한 학습되어함.ex) 내일 점심에 팀장님이랑 밥 약속이 있어.  (내일 점심 팀장)의 관계를 토큰 자체 유사성으로는 알 수 없음  어텐션 스코어를 구할때 분산이 커지면 기울기 소실문제가 있기때문에 임베딩차원의 제곱근으로 나눠준다.# 1. Q와 K의..

def train_dataloader(train_dataset): train_sampler = RandomSampler(train_dataset) model_collate_fn = functools.partial( process_batch, tokenizer=tokenizer, max_len=args.max_seq_length ) train_dataloader = DataLoader(train_dataset, batch_size=args.batch_size, sampler=train_sampler, collate_fn=model_collate_fn) return train_dataloader view raw 논문 리뷰내용은 추가예정 1.논문에서 학습에 구현된 wikiDataset class wikiDat..

배경 데스크탑을 샀다. 이번 데스크탑은 반드시 colab 기본보다 좋은 그래픽카드를 사서 로컬에서 모델을 돌리노라 다짐. colab 벤치마킹이 3060이랑 비슷하다해서 3080을 구매했다. 아나콘다 주피터노트북에서 GPU연산을 위해서 CUDA 설치 시작을 마음 먹고... 서치 시작 온라인에 있는 Tensorflow-gpu 설치 자료들은 대부분 window10을 기반으로 작성되어있다보니 cuda 설치과정에서 애를 먹었다. 1. tensorflow 공식홈페이지에서 GPU 지원버전은 tensorflow_gpu-2.10.0 가 마지막이었다. 공홈 : https://www.tensorflow.org/install/source_windows?hl=ko#tested_build_configurations 2. 따라서 ..

1. Learning Deep Features for Discriminative Localization Bolei Zhou, Aditya Khosla, Agata Lapedriza, Aude Oliva, Antonio Torralba Search | arXiv e-print repository Showing 1–50 of 146 results for author: Torralba, A arXiv:2304.11470 [pdf, other] cs.CV cs.AI 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes Authors: Haotian Xue, Antonio Torralba, ..

슈퍼 히어로들간의 관계 즉, 거리를 SPARK BFS로 구현하는 예제입니다. 기본적인 초기 노드는 다음과 같이 나타납니다. - 히어로1_ID , ( 히어로2_ID, 히어로3_ID ... 히어로N_ID) , 거리 , 노드의색(방문여부) = (5983, (2031, 23121, 12313...123) , 9999 , WHITE) * 초기에는 거리를 모르기 때문에 9999로 고정 , WHITE는 방문X 1. BFS전환 함수 converToBFS #Boilerplate stuff: from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("DegreesOfSeparation") sc = SparkCont..