인트로9월 1일이 개강날이였고, 저는 학교에 적응을 마쳤으니 슬슬 포스팅을 정기적으로해보려고 노력하겠습니다. 그저 평범한 경영학과 학생이 본인이 관심있어하는 영역을 공부하는 기록이지만누군가는 배워갈 것들이 있을수도 있고, 누군가는 영감을 얻어 갈 것이라고 믿습니다.이번 글에는 Python 으로 데이터 분석을 하기 위한 기초 지식과 Colab 소개를 해보겠습니다.   숫자를 잘 다루는 거대한 비단뱀Python. 영어로 번역하면 '거대한 비단뱀' 이라는 뜻인데요, 창작자가 의도한 것인지는 몰라도현존하는 프로그래밍 언어 중 가장 광범위하고 많이 사용되는 언어라고 해도 과언이 아닙니다. 웹 및 앱 개발에서는 백엔드를 도맡아 서비스의 로직을 관리하고,스크래퍼같은 반복 구문 기반 프로그램을 구성하는 언어가 되기도 ..

from bs4 import BeautifulSoupimport requestsimport csvall_songs=[]def melon_scraper(): response=requests.get('https://www.melon.com/chart/index.htm',headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36'}) soup=BeautifulSoup(response.content,'html.parser') songs1=soup.find_all('tr',class_='lst50') so..

많은 시간을 넣어 만든 웹 스크래핑 서비스의 종착지이다.오늘 구현해본 서비스는 다음과 같다.캐시 ( 이미 스크래핑 한 데이터는 로딩 없이 제공 )리디렉션 ( 검색어가 없거나 키워드가 제공되지 않은 경우 홈페이지로 )파일 다운로드결과적으로 나는 Python 과 Flask 프레임워크를 사용하여' 각 프로그래밍 언어의 일자리를 csv 파일에 저장해주는 서비스 ' 를 만든 것이다. 어떤 언어가 많은 일자리를 차지하고 있는지에 대한 그래프도간단히 만들 수 있을 것이다.  Python 언어 하나만으로도프론트엔드, 백엔드를 나름대로 구색 있게 갖출 수 있다는 것은내 인생에서 하나의 ' 능력 ' 을 얻은 것만 같다. / 결과 키워드 입력 해당 키워드의 일자리를 Table 로 제공 ' Export ' 버튼 누르면 cs..

오늘은 지금까지 만들어 온 백엔드를파이썬 프레임워크인 'Flask' 를 활용해 프론트엔드와 연결해보았다.CSS를 배우면서 힘들었던 점이그저 나열식으로 되어 있는 스타일 코드들을 외우려고 접근하는 것이였는데,Flask 로 웹을 만들어보고 나서 그것을 꾸미기 위해꼭 필요한 것이였지 않나 싶다.역시 코딩은 만들면서 배워야 힘이 붙는 것 같다.여러모로 HTML, CSS, Python, Flask 등 다양한 것들을 사용한 프로젝트가 되겠다. / 코드from flask import Flask, render_template, requestfrom DScraper2 import Scrapeapp=Flask('JobScrapper')@app.route('/')def homepage1(): return render_..

1일차와 2일차에 만든 웹 스크래퍼는사용자의 상호작용 없이 그냥 나와있는 내용들을Requests 모듈로 HTML 을 받아 스크래핑했지만, 오늘 만든 웹 스크래퍼는 사용자의 상호작용 (스크롤, 클릭, 엔터 등) 을 해줘야 데이터가 드러나는 웹을 스크래핑했다.이를 위해 Playwright (웹 스크래핑을 위한 자동화 라이브러리) 를 설치해줘야 한다. 오늘 스크래핑한 웹은 구직 사이트 'Wanted' 이다. / 코드from playwright.sync_api import sync_playwright import timefrom bs4 import BeautifulSoupimport csv# playwright 시작p=sync_playwright().start()# chrome 시작# keyword argume..

import requestsfrom bs4 import BeautifulSoup all_jobs=[]def scrape_page(url): print(f'scrapping:{url}') response=requests.get(url) soup=BeautifulSoup(response.content,'html.parser') jobs=soup.find('section',class_='jobs').find_all('li')[1:-1] for job in jobs: title=job.find('spa..