SQLD는 있지만..SQLD는 있지만 코드는 쳐본적 없다 SQLD 자격증을 손에 쥐었을 때, 저는 SQL을 어느 정도 안다고 생각했습니다.정규화, 조인, 함수 하나하나까지 시험을 위해 꼼꼼히 외웠으니까요.근데 문제는, 실제로 코드를 짜본 적이 없다는 겁니다.현업자들이 무슨 툴을 쓰고, 어떤 문법을 자주 사용하고, 어떻게 코드를 짜는지 모릅니다.자격증은 있는데, 코드는 쳐본 적 없는 분석가. 그게 딱 제 모습이었습니다.이 글은 이 문제를 해결하기 위한 지난 3주간의 학습 기록입니다. 자격증과 실무 사이이론 시험은 통과했는데, 왜 실전은 다를까SQLD 시험은 데이터 모델링과 SQL 문법에 초점이 맞춰져 있습니다.ERD를 해석하고, 정규화 단계를 구분하고, 조인 문법을 정확히 쓰는 능력을 평가하죠.사실 열심히..

인트로수치형 데이터는 주식 데이터 분석을 해보기도 했고, 사실 직관적으로 EDA, 모델 학습 등이 보인다.시각화하기 가장 좋은 데이터 유형이기도 하고. 많이 보이는 데이터 유형이기도 하다.그래서 항상 범주형 데이터에 대한 갈망과 부족함이 있었다고 생각한다. 내가 잘 못다루기도 하고..심장병 데이터셋을 분석하면서 그 갈망을 어느정도 충족해보려고 한다. 핵심 코드 1 : EDAplt.figure(figsize = (12,12))for i, column in enumerate(category_values, start = 1): plt.subplot(3,3,i) data.loc[data['target']==1, column].hist(alpha = 0.5, color = 'red', label = '..

인증 & 필요성 많은 공부 시간을 들여서 따는 자격증은 아니지만, 개인적으로 공부하고 싶었기도 했고,통계학을 복수로 전공하는 입장에서 어짜피 많이 볼 내용이였기에 한 달정도 준비했다. 하루 2시간 정도?데이터에 대한 이해, 기획, 실제 기법 등을 개괄적으로 볼 수 있고 이해할 수 있게끔 내용이 구성되어 있다. 물론 이 자격증을 취득한다고 해서 "분석을 할 수 있다!" 라고는 못한다. 그건 확실하다.하지만 분석 결과를 보고 이해할 수 있고, 차후에 분석법을 배우는 데 큰 도움이 된다.SQLD와 같이 공기업에서 가산점을 주는 경우도 있고, 인턴이나 공모전 등을 준비할 때자신의 역량과 관심사를 어필할 수 있는 수단으로 활용할 예정이다.일단 블로그, 자격증 등 본인이 꾸려낸 무언가가 있어야 하는 것 같다. 공부..

요약파이썬과 주피터 노트북을 활용해서 주가 데이터를 받아온 다음, 시각화를 통해나스닥에 상장된 AI반도체 기업들의 주식에 대한 이동 평균, 일일 수익률, 종목 간 상관성을가시적으로 표현해볼 것이다. 전 단계인 데이터 준비와 전처리 과정은 이전 포스팅을 참고하자.  이동평균 (Moving Averages)보통 시계열 분석을 원래 데이터 그대로 수행하게 되면 추세가 오르락 내리락 하여가시성이 떨어지는 경우가 많다. 물론 실제 데이터가 그렇기 때문에 그것 역시 중요하지만,추세를 확인하고 싶을 때는 보통 이동 평균(Moving Averages)을 많이 사용한다.계속해서 바뀌는 가격을 일정 부분 평균으로 주기적으로 뭉쳐서 데이터를 부드럽게 만든다.ma_day = [10,20,50]for ma in ma_day: ..

개요이전 3개의 포스팅에서 연달아 엔비디아의 주식을 간단하게 분석해 보았다. 하지만 조금 더 깊고 넓게, 엔비디아가 포함된 한 산업군의 주가를 분석하는 것도 재미있을 것 같았다.흥미로운 상관관계가 있을지도 모르고, 조금 더 다양한 기법을 적용해볼 수도 있다.이번 글에서는 나스닥에 상장된 AI 반도체 산업 기업들의 주가 데이터를 가져와서간단하게 분포까지 확인해볼 것이다.  데이터 준비import numpy as npimport matplotlib.pyplot as pltimport pandas as pdimport seaborn as snsimport yfinance as yfimport datetime as dt필요한 라이브러리를 import해준다. 보통 사이킷런 말고는 이렇게 미리 해놓는게 편한 듯. ..

개요이전 편에서 데이터의 시각화를 통해 데이터에 대한 어느 정도의 인사이트를 얻었다. 데이터를 보고 시각화 등의 기법을 통해, 데이터를 다각도로 살펴보고 의미있는 방점들을 찾아내는 것을보통 EDA(Exploratory Data Analysis)라고 한다. 전처리 후엔 EDA를 수행한다.이번 편에는 데이터의 이상치를 제거한 후, sklearn에서 제공하는 여러 모델들을 통해 간단하게 주식 예측 모델 학습과 평가를 해볼 것이다.  이상치plt.figure(figsize = (5,3))sns.boxplot(data = df)plt.show()이상치 확인은 여러 방식으로 할 수 있지만, 박스플롯이 가장 직관적이기에 좋다. 가격들은 비교적 안정적인 반편, 거래량은 가끔씩 껑충 뛰어오를 때가 있나보다. 이상치(흰 ..

개요이전 편에서 야후 금융 데이터를 받아서 필요한 전처리를 모두 수행했다. 올바른 데이터가 모두 갖춰졌다면 분석을 통해서 인사이트를 얻고, 그것을 직관적인 형태로 보고까지 해야한다."숫자가 스스로 말하게 해라" 라는 데이터 분석의 의의를 잊지 말자.Matplotlib, Seaborn 으로 시각화를 수행하고, sklearn 의 여러 모델들을 통해 학습 및 평가까지 수행해보자.  분포 시각화plt.style.use('bmh')sns.set_style('darkgrid')두 패키지를 통해 시각화하기 전, 원하는 스타일을 미리 맞춰주는 것이 좋다. 여기서 사용하는 스타일은 어두운 그리드 스타일로 통일해보자! (가장 깔끔하다고 생각하는 스타일..) plt.figure(figsize = (10,5))sns.viol..

개요데이터분석에 대한 기본 개념과 파이썬이라는 언어에 익숙해졌다면, 여러 종류의 데이터를 가지고 연습을 해봐야실력이 늘기 마련이다. 여러 도메인 (경제, 사회, 자연어, 정치 등) 에 대한 지식을 쌓는 것과 동시에세상을 객관적으로 바라볼 수 있는 능력이 새기는 것이 데이터 분석의 매력인 것 같다.이번 글에서는, 야후에서 제공하는 주가 데이터를 파이썬을 통해 전처리, 시각화, 예측 등을 해볼 것이다.요즘 엔비디아와 관련해서 많은 이야기들이 오고 가는 것 같다. 객관적인 시각이 중요한 시점이다. (사용하는 라이브러리 : pandas, matplotlib, seaborn, sklearn, yfinance)  데이터 생성import numpy as npimport matplotlib.pyplot as pltim..