SOGM'S Data

슈퍼 히어로들간의 관계 즉, 거리를 SPARK BFS로 구현하는 예제입니다. 기본적인 초기 노드는 다음과 같이 나타납니다. - 히어로1_ID , ( 히어로2_ID, 히어로3_ID ... 히어로N_ID) , 거리 , 노드의색(방문여부) = (5983, (2031, 23121, 12313...123) , 9999 , WHITE) * 초기에는 거리를 모르기 때문에 9999로 고정 , WHITE는 방문X 1. BFS전환 함수 converToBFS #Boilerplate stuff: from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("DegreesOfSeparation") sc = SparkCont..

SPARK DataFrame 조작 모음 from pyspark.sql import SparkSession from pyspark.sql import Row from pyspark.sql import functions as func spark = SparkSession.builder.appName("FriendsByAge").getOrCreate() lines = spark.read.option("header", "true").option("inferSchema", "true").csv("file:///SparkCourse/fakefriends-header.csv") # Select only age and numFriends columns friendsByAge = lines.select("age", "f..

spark 2.0 부터는 RDD 기반의 Dataframe이 지원된다. 기존 DB 언어인 SQL을 사용할 수 있어서 굉장히 편리하다. 기본 SPARK의 구동원리는 RDD와 같다. ( transformation lazy , action시 실제 spark run) 1. 원본 데이터 모습. (예시) 2. 필요 모듈 불러오기 및 sparksession 초기화 from pyspark.sql import SparkSession from pyspark.sql import Row # Create a SparkSession spark = SparkSession.builder.appName("SparkSQL").getOrCreate() 우선 dataframe의 경우 sparksessio..

각 열 : stationID(관측소) , entryType(온도 구분) , temperature(섭씨) 정보가 포함된 기상 관측소 데이터 x[0]: stationID(관측소) , x[2]: entryType(온도 구분) , x[3]: temperature(섭씨) step1 : spark conf 생성 from pyspark import SparkConf, SparkContext conf = SparkConf().setMaster("local").setAppName("MinTemperatures") sc = SparkContext.getOrCreate(conf=conf) #중복 sparkconf 실행 명령어 -> getOrCreate getOrCreate(conf=conf) 명령어의 경우 이미 존재하는 스..

무비 렌즈 데이터로 영화 평점 COUNT()하는 예제 1. Spark context 생성. 각 메소드는 주석 참조 from pyspark import SparkConf, SparkContext import collections conf = SparkConf().setMaster("local").setAppName("RatingsHistogram") #set master의 경우 cluster가아닌 local에서 실시. 즉 데이터 분산 x #sparkAppname은 spark web ui에서 식별할 수 있는 값. sc = SparkContext(conf = conf) 2. sc객체로 데이터 읽어오기. lines = sc.textFile("file:///SparkCourse/ml-100k/u.data") ra..