[KT 에이블스쿨] 데이터 수집

데이터 분석을 위한 데이터 크롤링 방법을 학습했다. 

 

1. 웹서버

웹에서 데이터를 가져와야 하기에 먼저, 웹서버의 서버와 클라이언트 동작에 대해 학습했다. 

 

나는 해당 내용을 전공수업에서 배웠는데도 다 까먹어서 ,,, 은근 헷갈리고 어려웠다. 비전공자 분들은 정말 어려우셨을 것 같기도 하다. 

 

2. 정적/동적 페이지

다음은 정적 페이지와 동적 페이지의 데이터를 가져오는 방식의 차이에 대해 학습했다. 

데이터 웹 크롤링을 할 때 해당 페이지가 동적인지, 정적인지에 따라서 크롤링 방법이 다르기 때문이다. 

 

아 그리고 클라이언트의 request 방식인 get인지, post인지에 따라서도 다르다. 

 

3. 실습

실습은 실제 네이버 증권 홈페이지, 직방 홈페이지 등에서 개발자도구(f12)를 켜서 Network탭에서 url을 가져와보며 진행했다. 

url을 알아내서 가져오고 이를 리스트 형태로 변환하고 최종적으로 데이터프레임으로 저장하는 전 과정을 경험할 수 있었다. 

 

또한, 네이버 통합 검색어 트렌드 API를 사용해서 가져오는 실습도 진행했다. 

 

개발자 도구는 항상 f12를 잘못 눌러서 들어가본 적 밖에 없는데 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 거기에서 url을 가져와서 파이싼으로 데이터를 가져온다는 것이 되게 재밌었다. 지금껏 진행한 실습 중 제일...

 

나중에 프로젝트를 진행하거나 잘은 모르지만.. 실무에서도 도움이 될 거 같은 느낌 !!