일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- tableau
- airflow
- 도커exec
- Docker error
- 프로그래머스 파이썬
- 데이터엔지니어링
- 도커오류
- PySpark
- spark explode
- 비주얼라이제이션
- 데이터 시각화
- spark #스파크
- explode
- BigQuery
- sparkdf
- DataFrame Spark
- 빅쿼리
- 태블로
- spark df
- 코테
- 로컬 pyspark
- docker
- ifkakao2020
- Big Query
- 시각화
- 빅쿼리 튜닝
- 도커
- dataframe
- pyspark오류
- SparkSQL
- Today
- Total
목록전체 글 (42)
SOGM'S Data
슈퍼 히어로들간의 관계 즉, 거리를 SPARK BFS로 구현하는 예제입니다. 기본적인 초기 노드는 다음과 같이 나타납니다. - 히어로1_ID , ( 히어로2_ID, 히어로3_ID ... 히어로N_ID) , 거리 , 노드의색(방문여부) = (5983, (2031, 23121, 12313...123) , 9999 , WHITE) * 초기에는 거리를 모르기 때문에 9999로 고정 , WHITE는 방문X 1. BFS전환 함수 converToBFS #Boilerplate stuff: from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("DegreesOfSeparation") sc = SparkCont..
H-Index는 과학자의 생산성과 영향력을 나타내는 지표입니다. 어느 과학자의 H-Index를 나타내는 값인 h를 구하려고 합니다. 위키백과에 따르면, H-Index는 다음과 같이 구합니다. 어떤 과학자가 발표한 논문 n편 중, h번 이상 인용된 논문이 h편 이상이고 나머지 논문이 h번 이하 인용되었다면 h의 최댓값이 이 과학자의 H-Index입니다. 어떤 과학자가 발표한 논문의 인용 횟수를 담은 배열 citations가 매개변수로 주어질 때, 이 과학자의 H-Index를 return 하도록 solution 함수를 작성해주세요. 제한사항 과학자가 발표한 논문의 수는 1편 이상 1,000편 이하입니다. 논문별 인용 횟수는 0회 이상 10,000회 이하입니다. 입출력 예 citation return [3, ..
SPARK DataFrame 조작 모음 from pyspark.sql import SparkSession from pyspark.sql import Row from pyspark.sql import functions as func spark = SparkSession.builder.appName("FriendsByAge").getOrCreate() lines = spark.read.option("header", "true").option("inferSchema", "true").csv("file:///SparkCourse/fakefriends-header.csv") # Select only age and numFriends columns friendsByAge = lines.select("age", "f..
spark 2.0 부터는 RDD 기반의 Dataframe이 지원된다. 기존 DB 언어인 SQL을 사용할 수 있어서 굉장히 편리하다. 기본 SPARK의 구동원리는 RDD와 같다. ( transformation lazy , action시 실제 spark run) 1. 원본 데이터 모습. (예시) 2. 필요 모듈 불러오기 및 sparksession 초기화 from pyspark.sql import SparkSession from pyspark.sql import Row # Create a SparkSession spark = SparkSession.builder.appName("SparkSQL").getOrCreate() 우선 dataframe의 경우 sparksessio..
각 열 : stationID(관측소) , entryType(온도 구분) , temperature(섭씨) 정보가 포함된 기상 관측소 데이터 x[0]: stationID(관측소) , x[2]: entryType(온도 구분) , x[3]: temperature(섭씨) step1 : spark conf 생성 from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("MinTemperatures") sc = SparkContext.getOrCreate(conf=conf) #중복 sparkconf 실행 명령어 -> getOrCreate getOrCreate(conf=conf) 명령어의 경우 이미 존재하는 스..