SOGM'S Data

아마 SPARK를 이용할때 파이썬을 이용하려는 분들은 - 아나콘다 설치 - JDK 혹은 JRE (JAVA 설치) - SPARK 설치 - 윈도우라면 winutils 설치 4가지를 하셨을 것이고 환경변수 설정과 폴더 설정을 하셨을 것 같습니다. 저 같은 경우는 위 과정을 다거 치고 환경변수 설정까지 마쳤는데 불구하고 anaconda prompt에서 c:\[spark설치폴더] pyspark 로 Pyspark를 실행 시켜도 다양한 warn 오류와 함께 기존 실행되고 있는 PID 프로그램들을 종료했다는 안내가 나왔습니다. (OMGㅜ) 반면 spark-shell을 실행하면 잘되었습니다. 열심히 구글링 하며 환경변수 설정들을 바꿔봐도 해결을 못하여 헤매다 결국 혼자 이런 저런 시도 끝에 해결하였습니다. 결론을 먼저 ..