일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
- ifkakao2020
- BigQuery
- 태블로
- explode
- tableau
- 도커exec
- SparkSQL
- airflow
- spark df
- 비주얼라이제이션
- 빅쿼리
- 코테
- 빅쿼리 튜닝
- dataframe
- spark explode
- sparkdf
- docker
- Docker error
- 도커오류
- spark #스파크
- Big Query
- 도커
- DataFrame Spark
- pyspark오류
- PySpark
- 로컬 pyspark
- 시각화
- 프로그래머스 파이썬
- 데이터 시각화
- 데이터엔지니어링
- Today
- Total
목록SOGM'S Data (42)
SOGM'S Data
회사에서 구글 GCP의 빅쿼리를 접하게되었습니다. 빠른 속도와 구글의 다양한 서비스와 접목 시킨다는 것이 강점이었습니다. 제가 생각하는 빅쿼리의 장점 1) 빠른속도, 병렬처리 -- ★ 2) 다양한 서비스, 프로젝트와 연계 - CSV, 스프레드시트, 태블로, APachairflow 등 단점 1) 비싸다. 개인이 사용할 수 없는 수준 (슬롯형, 데이터를 얼마나 쓰냐에 따라 금액 청구) *아래 내용은 (이야기로 배우는 구글 빅쿼리)를 기반으로 공부한 내용과 구글링을 통한 내용을 정리하였습니다 1. SELECT * 사용 X - 빅쿼리는 열 지향 스토리지이기 때문에 SELECT * 보다는 특정 열을 호출해주는게 좋습니다. *열지향 스토리지란: 기존 관계형데이터베이스(RDB)가 1행 ..
https://www.dpriver.com/pp/sqlformat.htm Instant SQL Formatter www.dpriver.com HTML로 저장까지 가능하다 sql 쿼리문을 작성하다보면 들여쓰기/내어쓰기가 번거로울 때가 왕왕 있는데 유용할 것 같다
문제 출처: www.acmicpc.net/problem/1260 1260번: DFS와 BFS 첫째 줄에 정점의 개수 N(1 ≤ N ≤ 1,000), 간선의 개수 M(1 ≤ M ≤ 10,000), 탐색을 시작할 정점의 번호 V가 주어진다. 다음 M개의 줄에는 간선이 연결하는 두 정점의 번호가 주어진다. 어떤 두 정점 사 www.acmicpc.net 총평 및 주의할점: 1. 자꾸 popleft()의 ()를 까먹는 버릇, 습관들이자 2. bfs는 queue 자료형, dfs는 재귀로 풀자!
지난 포스팅에서 MLE와 딥러닝과의 관계를 말하면서 결국 우리가 자주 사용하는 CE 손실함수는 LIkelihood를 최소화하는 MLL에서의 파라미터를 찾는 것과 같다는 것을 알았다. 지난 포스팅 참고:walwalgabu.tistory.com/entry/MLE%EC%99%80-MAP-%EA%B7%B8%EB%A6%AC%EA%B3%A0-%EB%94%A5%EB%9F%AC%EB%8B%9D%EA%B3%BC%EC%9D%98-%EA%B4%80%EA%B3%84%EC%97%90-%EB%8C%80%ED%95%B41?category=945132 MLE와 MAP 그리고 딥러닝과의 관계에 대해...[1] Likelihood (가능도, 우도) - 입력으로 주어진 확률 분포(파라미터)가 얼마나 데이터를 잘 설명하는지 나타내는 점수 ..
Likelihood (가능도, 우도)- 입력으로 주어진 확률 분포(파라미터)가 얼마나 데이터를 잘 설명하는지 나타내는 점수* 데이터를 잘 설명한다 -> 해당 확률 분포에서 높은 확률 값을 가지는 것을 의미한다. 어떠한 현상에 있어 확률 변수 x와 x의 확률의 곱의 합이 가능도가 된다. 그러나 우리는 확률의 곱이 무수히 시행되면 그 값이 작아지게 되고 ( 분모가 무한대로 커지므로 ) 컴퓨터의덧셈 연산의 장점을 위해 , 우도를 출력하는 함수에 log를 씌워서 log-likelihood로 변경한다. 그렇다면 우리가 해야할 일은 위에 있는 log-likelihood를 가장 최대화 하는 세타θ 를 찾아야한다.이때 어떠한 log-likelihood를 우도함수라고 한다면 이 함수는 위로 볼록한 함수이다. 이때 최..