일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- 로컬 pyspark
- pyspark오류
- 도커오류
- dataframe
- PySpark
- spark #스파크
- explode
- 코테
- Docker error
- 데이터 시각화
- Big Query
- 빅쿼리 튜닝
- 데이터엔지니어링
- docker
- 시각화
- spark df
- sparkdf
- spark explode
- ifkakao2020
- 도커exec
- 프로그래머스 파이썬
- tableau
- airflow
- 빅쿼리
- SparkSQL
- 비주얼라이제이션
- 태블로
- BigQuery
- 도커
- DataFrame Spark
- Today
- Total
목록전체 글 (42)
SOGM'S Data
def train_dataloader(train_dataset): train_sampler = RandomSampler(train_dataset) model_collate_fn = functools.partial( process_batch, tokenizer=tokenizer, max_len=args.max_seq_length ) train_dataloader = DataLoader(train_dataset, batch_size=args.batch_size, sampler=train_sampler, collate_fn=model_collate_fn) return train_dataloader view raw 논문 리뷰내용은 추가예정 1.논문에서 학습에 구현된 wikiDataset class wikiDat..
2023년의 마지막날 집 아래 카페에서 적어보는 2023년 마지막 회고 식상한 얘기지만 해가 지날수록 시간이 점점 빠르게 가는 것 같습니다. 내가 무엇을 했는지, 하는지 인지하지 않고 살아가다 보면 저 같은 평범한 직장인의 삶은 쉽사리 기억에 남기가 어렵더라고요 그래서 올해의 마지막 날 2023년 나는 어떻게 살았는가에 대해 짧은 글로 가볍게 적어보고자 합니다. 저는 데이터 분석가로 IT회사를 재직 중이며 , 작년부터 현재까지 직장 병행 대학원을 다니고 있습니다. 1월, 2월에는 회사 내 새로운 데이터 업무로 바쁘게 지냈고 3월 ~ 6월은 대학원 학기와 병행하며 정신없이 흘러갔던 거 같습니다 7 ~ 8월은 부모님과 누나네 가족과 함께한 스위스여행이 가장 떠오르네요 9월부터는 회사 조직이동과 본격적인 논문..
배경 데스크탑을 샀다. 이번 데스크탑은 반드시 colab 기본보다 좋은 그래픽카드를 사서 로컬에서 모델을 돌리노라 다짐. colab 벤치마킹이 3060이랑 비슷하다해서 3080을 구매했다. 아나콘다 주피터노트북에서 GPU연산을 위해서 CUDA 설치 시작을 마음 먹고... 서치 시작 온라인에 있는 Tensorflow-gpu 설치 자료들은 대부분 window10을 기반으로 작성되어있다보니 cuda 설치과정에서 애를 먹었다. 1. tensorflow 공식홈페이지에서 GPU 지원버전은 tensorflow_gpu-2.10.0 가 마지막이었다. 공홈 : https://www.tensorflow.org/install/source_windows?hl=ko#tested_build_configurations 2. 따라서 ..
1. Learning Deep Features for Discriminative Localization Bolei Zhou, Aditya Khosla, Agata Lapedriza, Aude Oliva, Antonio Torralba Search | arXiv e-print repository Showing 1–50 of 146 results for author: Torralba, A arXiv:2304.11470 [pdf, other] cs.CV cs.AI 3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes Authors: Haotian Xue, Antonio Torralba, ..
빅 데이터(기계학습/패턴분석)의 수학적 이해를 위한 책들 - 성균관대 수학과 교수 정윤모 데이터 과학 (data science) 이 분야를 폭넓게 가리키는 말은 빅 데이터(Big data), 인공지능(Artificial intelligence)이라 할 수 있고, 수학적인 부분을 추린다면 기계학습(machine learning) 또는 패턴 분석(pattern recognition/classification)으로 관심을 좁힐 수 있다. 빅 데이터의 중요성이 점점 더 증가함에 따라 데이터 과학(Data science)라고도 불리며 아래의 데이터 과학 벤 다이어그램(data science venn diagram)에서 볼 수 있듯이 수학은 데이터 과학의 핵심 요소이다. 여기서 Hacking Skills이란 컴퓨터..