일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
- Big Query
- 로컬 pyspark
- 데이터엔지니어링
- SparkSQL
- airflow
- docker
- 프로그래머스 파이썬
- pyspark오류
- 빅쿼리 튜닝
- Docker error
- tableau
- 데이터 시각화
- spark #스파크
- 비주얼라이제이션
- ifkakao2020
- spark explode
- spark df
- 도커오류
- 도커
- 도커exec
- 시각화
- sparkdf
- PySpark
- BigQuery
- dataframe
- explode
- 빅쿼리
- DataFrame Spark
- 태블로
- 코테
- Today
- Total
목록About Data/SQL (3)
SOGM'S Data
얼마전 유튜브에서 SQL 실행계획을 쳐보고 나서 굉장히 SQL에 대해 쉽게 설명을 잘해주시는 강사님을 찾았습니다. 해당 강의자료를 참조합니다. 전광철님 감사합니다 ! (출처 하단 참조) *해당 포스팅은 ORACLE 기준으로 실행계획을 설명합니다. 1.데이터 구조 (급여 테이블, 직원 테이블 각각 인덱스 존재) 2. 실행 쿼리문 사원과 부서테이블을 조인하고 봉급테이블에서 특정 봉급을 제외시키는 로직 3. 실행계획은 다음과 같다. 들여쓰기가 가장 깊은 것 찾아나가며 같은 level의 들여쓰기는 가지쳐진다. 예시) 2,8 / 3,8 / 4,6 4. 해석순서 해석 순서는 왼쪽아래부터 시행한다. 즉 1번의 빨간 점선이 영역이 먼저 시작됨. 4-2. 해석순서2 4-3. 1번 영역 실행계획 살펴보기 왼쪽하단의 5)P..
회사에서 구글 GCP의 빅쿼리를 접하게되었습니다. 빠른 속도와 구글의 다양한 서비스와 접목 시킨다는 것이 강점이었습니다. 제가 생각하는 빅쿼리의 장점 1) 빠른속도, 병렬처리 -- ★ 2) 다양한 서비스, 프로젝트와 연계 - CSV, 스프레드시트, 태블로, APachairflow 등 단점 1) 비싸다. 개인이 사용할 수 없는 수준 (슬롯형, 데이터를 얼마나 쓰냐에 따라 금액 청구) *아래 내용은 (이야기로 배우는 구글 빅쿼리)를 기반으로 공부한 내용과 구글링을 통한 내용을 정리하였습니다 1. SELECT * 사용 X - 빅쿼리는 열 지향 스토리지이기 때문에 SELECT * 보다는 특정 열을 호출해주는게 좋습니다. *열지향 스토리지란: 기존 관계형데이터베이스(RDB)가 1행 ..