SOGM'S Data

def train_dataloader(train_dataset): train_sampler = RandomSampler(train_dataset) model_collate_fn = functools.partial( process_batch, tokenizer=tokenizer, max_len=args.max_seq_length ) train_dataloader = DataLoader(train_dataset, batch_size=args.batch_size, sampler=train_sampler, collate_fn=model_collate_fn) return train_dataloader view raw 논문 리뷰내용은 추가예정 1.논문에서 학습에 구현된 wikiDataset class wikiDat..

배경 데스크탑을 샀다. 이번 데스크탑은 반드시 colab 기본보다 좋은 그래픽카드를 사서 로컬에서 모델을 돌리노라 다짐. colab 벤치마킹이 3060이랑 비슷하다해서 3080을 구매했다. 아나콘다 주피터노트북에서 GPU연산을 위해서 CUDA 설치 시작을 마음 먹고... 서치 시작 온라인에 있는 Tensorflow-gpu 설치 자료들은 대부분 window10을 기반으로 작성되어있다보니 cuda 설치과정에서 애를 먹었다. 1. tensorflow 공식홈페이지에서 GPU 지원버전은 tensorflow_gpu-2.10.0 가 마지막이었다. 공홈 : https://www.tensorflow.org/install/source_windows?hl=ko#tested_build_configurations 2. 따라서 ..

1. Learning Deep Features for Discriminative Localization Bolei Zhou, Aditya Khosla, Agata Lapedriza, Aude Oliva, Antonio Torralba Search | arXiv e-print repository Showing 1–50 of 146 results for author: Torralba, A arXiv:2304.11470 [pdf, other] cs.CV cs.AI 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes Authors: Haotian Xue, Antonio Torralba, ..

슈퍼 히어로들간의 관계 즉, 거리를 SPARK BFS로 구현하는 예제입니다. 기본적인 초기 노드는 다음과 같이 나타납니다. - 히어로1_ID , ( 히어로2_ID, 히어로3_ID ... 히어로N_ID) , 거리 , 노드의색(방문여부) = (5983, (2031, 23121, 12313...123) , 9999 , WHITE) * 초기에는 거리를 모르기 때문에 9999로 고정 , WHITE는 방문X 1. BFS전환 함수 converToBFS #Boilerplate stuff: from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("DegreesOfSeparation") sc = SparkCont..

SPARK DataFrame 조작 모음 from pyspark.sql import SparkSession from pyspark.sql import Row from pyspark.sql import functions as func spark = SparkSession.builder.appName("FriendsByAge").getOrCreate() lines = spark.read.option("header", "true").option("inferSchema", "true").csv("file:///SparkCourse/fakefriends-header.csv") # Select only age and numFriends columns friendsByAge = lines.select("age", "f..