일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | ||||
4 | 5 | 6 | 7 | 8 | 9 | 10 |
11 | 12 | 13 | 14 | 15 | 16 | 17 |
18 | 19 | 20 | 21 | 22 | 23 | 24 |
25 | 26 | 27 | 28 | 29 | 30 | 31 |
- DataFrame Spark
- spark explode
- SparkSQL
- airflow
- ifkakao2020
- 빅쿼리
- 프로그래머스 파이썬
- 시각화
- 언어모델
- LLM
- 빅쿼리 튜닝
- tableau
- 데이터엔지니어링
- 코테
- 도커오류
- Docker error
- 도커
- PySpark
- 태블로
- BigQuery
- 데이터 시각화
- pyspark오류
- spark #스파크
- Big Query
- 도커exec
- spark df
- dataframe
- docker
- sparkdf
- 로컬 pyspark
- Today
- Total
목록전체 글 (44)
SOGM'S Data

Docker(도커)란? 리눅스의 응용 프로그램들을 프로세스 격리 기술들을 사용해 컨테이너로 실행하고 관리하는 오픈 소스 프로젝트이다. 즉 서버관리를 도와주는 가상화 플랫폼이고, 도커의 핵심인 컨테이너란, 다양한 프로그램과 실행환경을 추상화한 것으로서 어디서나 동일한 인터페이스를 제공하여 배포 및 관리를 용이하게 해준다. 왜 도커에 mssql 가상 컨테이너를? 내가 자주 sql연습으로 사용하려는 mssql의 경우 로컬에 다운로드 할 경우 추후 삭제/재설치 관련하여 애로사항이 많다. 도커로 독립된 가상환경을 띄어서 관리하고 연습하면 관리가 용이하다. (삭제시 도커 컨테이너 사용하지 않거나 삭제하면되니까) 도커에 mssql 가상 컨테이너를 띄어보자! 우선 도커 데스크탑을 다운받는다. https://www.do..

아나콘다 프롬프트에서 가상환경 실행하기 conda activate [가상환경 이름] 파이참 Pycharm의 사용 쥬피터 노트북 특성상 .py 실행의 결과를 즉각 확인하는데 idle로서 조금 무리가 있어서 보 다 장고 개발에 편리한 파이참을 이용했다. ( 파이참을 아나콘다에 연결하여 아나콘다에서 생성한 가상환경을 끌어와 작업할 수 있다) 아나콘다와 파이참 연동은 다음 블로그를 참고 https://velog.io/@gillog/Python-Pycharm-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0 [Python] Anaconda + Pycharm 연동 Anaconda는 수학, 과학 분야에서 사용되는 여러 패키지를 묶어 놓은 Python 배포판이다. Python 기반의 데이터 분석에 필요..

Django (장고)! : "파이썬 웹 개발 대표 프레임워크" 장고로 배워보기로 했다. 배우는 이유는, 1) 파이썬을 사용하며 빠른 웹개발 배포가 가능한 점 2) 웹 개발지식을 쌓으면서 데이터 관련 웹 서비스에 대한 지식 확장 3) 단순 재미이다. (사실 진짜 이유) 블로그나 홈페이지 한 번 만들어보고 배포하는 과정을 경험해보고 싶다 ㅋㅋㅋ 우선 강의와 구글링을 통해 작업하고 있는데 나는 아나콘다 가상환경에서 장고를 통해 개발해보려한다. 우선 아나콘다의 경우 데이터 작업을 손쉽게 처리할 수 있는 서비스다. R , PYTHON뿐만 아니라 다양한 데이터 서비스를 담은 파이썬 배포판이다. 기존에 이걸 사용했기에 쥬피터 노트북을 통해 작업하려한다. 가상환경 만들기 우선 구글링을 통해 주피터 노트북 가상환경 설치..
LOD: 세부 수준 계산식 태블로는 LOD(세부수준계산식) 개념이 있다. 앞서 포스팅에서 태블로는 '집계'의 함수였다. 그렇기 때문에 특정 수준(LEVEL)의 집계가 기본 DEFAULT이다. 예를 들어, 전세계의 GDP의 정보가 담긴 테이블을 태블로에 연동하여 GDP의 합계 혹은 평균 등을 특정 수준 (국가별, 수도별, 주요도시별)로 볼 수 있다. ( 국가, 수도, 주요도시 차원을 선반위로 올려주면 됨 ) 이때 테이블,패널의 범위와 방향에 따라 재계산이 달라질 수 있으므로 유의해야함. 이 LEVEL을 벗어나기 위해서는 LOD와 같은 세부 수준 계산식을 만들어 줘야한다. 계산된 필드에서 LOD를 만들어주는 방법은 다음과 같다. {LOD [차원] : 집계식} 대표적 LOD 사례인 FIXED를 알아보면, FI..

우선 미국주식을 시작하게 된 배경은 꽤 긴데, 처음엔 단순히 23살에 아이폰을 사고 애플 제품에 매력을 느꼈다. (정확히는 애플 브랜드) APPL을 사기 위해 키움증권을 해외계좌를 만들었다. 이전까지는 나는 20살부터 한국주식을 했는데 그동안 해왔던 한국주식과는 규모나 성장 측면에서 너무나도 차이가 났다. 그 이후 돈이 막연한 더 잘 벌린다는 신념아래 내 증권계좌는 미국주식 85%, 한국주식 15%의 비율을 가졌다. 다만 맨날 수익률이 좋은건 아니라 이제부터 공부한 내용을 블로그에 하나씩 정리해보려고한다. -------- 우선 최근에 읽은 뉴욕주민의 미국투자 책을 보면, 미국투자를 해야하는 이유가 3가지가 있다. '미국 투자가 한국 투자 보다 나은 이유 세 가지' 첫째, 정치 리스크이다. 아무래도 한국은..