일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- 빅쿼리
- 도커exec
- ifkakao2020
- 빅쿼리 튜닝
- 시각화
- pyspark오류
- tableau
- Big Query
- dataframe
- 로컬 pyspark
- 데이터엔지니어링
- LLM
- 언어모델
- sparkdf
- 데이터 시각화
- 태블로
- spark #스파크
- PySpark
- 도커오류
- SparkSQL
- spark df
- BigQuery
- 코테
- Docker error
- 도커
- 프로그래머스 파이썬
- airflow
- spark explode
- DataFrame Spark
- docker
- Today
- Total
목록About CS (6)
SOGM'S Data
H-Index는 과학자의 생산성과 영향력을 나타내는 지표입니다. 어느 과학자의 H-Index를 나타내는 값인 h를 구하려고 합니다. 위키백과에 따르면, H-Index는 다음과 같이 구합니다. 어떤 과학자가 발표한 논문 n편 중, h번 이상 인용된 논문이 h편 이상이고 나머지 논문이 h번 이하 인용되었다면 h의 최댓값이 이 과학자의 H-Index입니다. 어떤 과학자가 발표한 논문의 인용 횟수를 담은 배열 citations가 매개변수로 주어질 때, 이 과학자의 H-Index를 return 하도록 solution 함수를 작성해주세요. 제한사항 과학자가 발표한 논문의 수는 1편 이상 1,000편 이하입니다. 논문별 인용 횟수는 0회 이상 10,000회 이하입니다. 입출력 예 citation return [3, ..
나 같은 경우는 도커에서 exec -it 명령어로 컨테이너로 실행하여 접속하는 걸로 착각했는데 컨테이너 부팅이 안되어 방법들을 해매었다. 찾아보니 exec는 이미 실행중인 도커 컨테이너에만 사용되는 명령어였다. 만약 stop되어있는 도커 컨테이너를 run하기 위해선 docker run -it [컨테이너이름] 로 해당 컨테이너를 깨우고 아래 코드와 같이 exec -it 명령어로 실행중인 컨테이너 내의 대화형 bash 셸을 실행시키면 된다. docker exec -it [컨테이너이름] "bash" 또한 만약 도커 컨테이너를 run 하자마자 exit된다면, 기존에 있는 컨테이너를 삭제하고 다시 한 번 이미지를 가져와 도커 컨테이너를 새롭게 만들어주는 것도 방법이다. (저는 이렇게 되더라구요, 구글링해보니 방화..

Docker(도커)란? 리눅스의 응용 프로그램들을 프로세스 격리 기술들을 사용해 컨테이너로 실행하고 관리하는 오픈 소스 프로젝트이다. 즉 서버관리를 도와주는 가상화 플랫폼이고, 도커의 핵심인 컨테이너란, 다양한 프로그램과 실행환경을 추상화한 것으로서 어디서나 동일한 인터페이스를 제공하여 배포 및 관리를 용이하게 해준다. 왜 도커에 mssql 가상 컨테이너를? 내가 자주 sql연습으로 사용하려는 mssql의 경우 로컬에 다운로드 할 경우 추후 삭제/재설치 관련하여 애로사항이 많다. 도커로 독립된 가상환경을 띄어서 관리하고 연습하면 관리가 용이하다. (삭제시 도커 컨테이너 사용하지 않거나 삭제하면되니까) 도커에 mssql 가상 컨테이너를 띄어보자! 우선 도커 데스크탑을 다운받는다. https://www.do..

아나콘다 프롬프트에서 가상환경 실행하기 conda activate [가상환경 이름] 파이참 Pycharm의 사용 쥬피터 노트북 특성상 .py 실행의 결과를 즉각 확인하는데 idle로서 조금 무리가 있어서 보 다 장고 개발에 편리한 파이참을 이용했다. ( 파이참을 아나콘다에 연결하여 아나콘다에서 생성한 가상환경을 끌어와 작업할 수 있다) 아나콘다와 파이참 연동은 다음 블로그를 참고 https://velog.io/@gillog/Python-Pycharm-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0 [Python] Anaconda + Pycharm 연동 Anaconda는 수학, 과학 분야에서 사용되는 여러 패키지를 묶어 놓은 Python 배포판이다. Python 기반의 데이터 분석에 필요..

Django (장고)! : "파이썬 웹 개발 대표 프레임워크" 장고로 배워보기로 했다. 배우는 이유는, 1) 파이썬을 사용하며 빠른 웹개발 배포가 가능한 점 2) 웹 개발지식을 쌓으면서 데이터 관련 웹 서비스에 대한 지식 확장 3) 단순 재미이다. (사실 진짜 이유) 블로그나 홈페이지 한 번 만들어보고 배포하는 과정을 경험해보고 싶다 ㅋㅋㅋ 우선 강의와 구글링을 통해 작업하고 있는데 나는 아나콘다 가상환경에서 장고를 통해 개발해보려한다. 우선 아나콘다의 경우 데이터 작업을 손쉽게 처리할 수 있는 서비스다. R , PYTHON뿐만 아니라 다양한 데이터 서비스를 담은 파이썬 배포판이다. 기존에 이걸 사용했기에 쥬피터 노트북을 통해 작업하려한다. 가상환경 만들기 우선 구글링을 통해 주피터 노트북 가상환경 설치..