일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
Tags
- 시각화
- 데이터엔지니어링
- 데이터 시각화
- tableau
- ifkakao2020
- 도커exec
- 도커오류
- spark #스파크
- 태블로
- spark explode
- pyspark오류
- explode
- docker
- DataFrame Spark
- 빅쿼리
- 도커
- SparkSQL
- 빅쿼리 튜닝
- sparkdf
- 로컬 pyspark
- Docker error
- 비주얼라이제이션
- dataframe
- PySpark
- BigQuery
- Big Query
- airflow
- 프로그래머스 파이썬
- 코테
- spark df
Archives
- Today
- Total
목록SparkSQL (1)
SOGM'S Data
SPARK_02 : DATAFRAME_1
spark 2.0 부터는 RDD 기반의 Dataframe이 지원된다. 기존 DB 언어인 SQL을 사용할 수 있어서 굉장히 편리하다. 기본 SPARK의 구동원리는 RDD와 같다. ( transformation lazy , action시 실제 spark run) 1. 원본 데이터 모습. (예시) 2. 필요 모듈 불러오기 및 sparksession 초기화 from pyspark.sql import SparkSession from pyspark.sql import Row # Create a SparkSession spark = SparkSession.builder.appName("SparkSQL").getOrCreate() 우선 dataframe의 경우 sparksessio..
About Data/Engineering
2022. 2. 17. 00:23