일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- pyspark오류
- 로컬 pyspark
- spark explode
- DataFrame Spark
- 빅쿼리 튜닝
- 언어모델
- 도커exec
- ifkakao2020
- LLM
- 프로그래머스 파이썬
- PySpark
- 빅쿼리
- 코테
- 데이터엔지니어링
- tableau
- spark df
- 태블로
- airflow
- 데이터 시각화
- spark #스파크
- 도커
- 시각화
- sparkdf
- docker
- 도커오류
- Docker error
- SparkSQL
- dataframe
- BigQuery
- Big Query
- Today
- Total
목록About Data (32)
SOGM'S Data

1.히트맵- 각각의 필드 범위대로 색상 부여하기 1) 현재문제는 여러 필드가 하나의 기준으로인해 색상이 부여된모습. * Quantity는 값 범위가 작아 모든 값이 어두운 모습 2) 측정값 색상 필드 우클릭 - 별도의 범례사용 3) 짜잔 4) 색상이 너무 중구난방이면 1번 더블클릭후 2번에서 조정 * 양수로 뻗어나가는 값은 단일 색상이 좋음 5)짜잔 2. 트리맵 (1개 이상의 차원 1개 or 2개의 측정값) 1) 크기별- sales, 색상별 -profit 으로 설정된 트리맵 해석 예시) - Technology가 다른 카테고리보다 sales 자체가 크다. - Furniture 카테고리에서 Bookcases 서브카테고리는 profit이 좋지 못하다. 단 트리맵의 단점은 넓이로 표현되기 때문에 그 넓이가 직관..

1. 바, 라인차트 그릴때 영(0)기준선 표시해주기 2. 라인 차트의 경우 '마크'- '영역'으로 설정하면 area 차트 설정이 가능하다. 설졍 결과 3. 파이차트 그릴때 '마크'-현재 입력된 레이블 -우클릭 - 퀵 테이블 계산 - 구성 비율 선택하면 비율을 볼 수 있다. 실행 결과 4. 상관관계 나타내기 (이부분은 연속적인 강의 내용이라 스크린샷으로 나타내기 어려워 링크 첨부) * 유투브 링크: https://www.youtube.com/watch?time_continue=115&v=yz8TJrzoGAg&feature=emb_logo 1) 상관관계를 보여주고 싶은 두 변수 더블클릭후 기본셋팅 (할인율, 매출) 2) 제품별로 할인별 매출 상관관계 보기 - 'Product Name'을 '마크'필드 으로 이..
회사에서 구글 GCP의 빅쿼리를 접하게되었습니다. 빠른 속도와 구글의 다양한 서비스와 접목 시킨다는 것이 강점이었습니다. 제가 생각하는 빅쿼리의 장점 1) 빠른속도, 병렬처리 -- ★ 2) 다양한 서비스, 프로젝트와 연계 - CSV, 스프레드시트, 태블로, APachairflow 등 단점 1) 비싸다. 개인이 사용할 수 없는 수준 (슬롯형, 데이터를 얼마나 쓰냐에 따라 금액 청구) *아래 내용은 (이야기로 배우는 구글 빅쿼리)를 기반으로 공부한 내용과 구글링을 통한 내용을 정리하였습니다 1. SELECT * 사용 X - 빅쿼리는 열 지향 스토리지이기 때문에 SELECT * 보다는 특정 열을 호출해주는게 좋습니다. *열지향 스토리지란: 기존 관계형데이터베이스(RDB)가 1행 ..
https://www.dpriver.com/pp/sqlformat.htm Instant SQL Formatter www.dpriver.com HTML로 저장까지 가능하다 sql 쿼리문을 작성하다보면 들여쓰기/내어쓰기가 번거로울 때가 왕왕 있는데 유용할 것 같다

지난 포스팅에서 MLE와 딥러닝과의 관계를 말하면서 결국 우리가 자주 사용하는 CE 손실함수는 LIkelihood를 최소화하는 MLL에서의 파라미터를 찾는 것과 같다는 것을 알았다. 지난 포스팅 참고:walwalgabu.tistory.com/entry/MLE%EC%99%80-MAP-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EB%94%A5%EB%9F%AC%EB%8B%9D%EA%B3%BC%EC%9D%98-%EA%B4%80%EA%B3%84%EC%97%90-%EB%8C%80%ED%95%B41?category=945132 MLE와 MAP 그리고 딥러닝과의 관계에 대해...[1] Likelihood (가능도, 우도) - 입력으로 주어진 확률 분포(파라미터)가 얼마나 데이터를 잘 설명하는지 나타내는 점수 ..