SOGM'S Data

* 본 포스트는 SK T아카데미 아파치 스파크 입문 강의를 듣고 요약 정리한 내용입니다. Directed Acyclic Graph(DAG) dag 는 lineage라고 보면됨. 각각의node들은 데이터를 transform할때마다 생기는 rdd n개의 스테이지에서 m개의 태스크로 나뉘는 모습. 스테이지를 구분은 transformation은 같은 stage 로 묶임. reduce , shuffle , join의 경우 다른 stage로 구분됨. 태스크를 나누는 구분은 executer의 개수와 관련이 있다. 가용한 executer가 100개면 100개의 태스크로 나뉨. transformation - narrow vs wide Action은 마지막 단계 . dag가 시행되는 구간임. collect , count ..