Web

크롤링이란 간단하게 말하면 인터넷에 있는 웹페이지를 방문해서 그곳에 있는 정보를 수집하는 것이다. 이런 작업을 자동으로 하는 프로그램을 '크롤러' 또는 '스파이더' 라고 부르는데, 이름처럼 웹을 돌아다니며 정보를 수집한다고 생각하면 이해하기 쉽다. 데이터 과학에서 크롤링은 매우 중요한 단계다. 왜냐하면, 데이터를 필요로 하는데 그 데이터를 얻는 가장 풍부한 곳이 바로 인터넷이기 때문이다. 인터넷은 방대한 정보의 바다라고 할 수 있고, 여기서 필요한 정보를 수집해서 데이터 분석에 활용하면 좋다. Python에서는 Beautiful Soup라는 라이브러리를 이용해서 웹 크롤링을 진행할 수 있다. 한번 웹페이지의 HTML 정보를 가져와 보는 간단한 코드를 살펴보자. from bs4..

Input태그는 웹페이지에서 사용자 입력을 받는데 사용된다. 기본 모양은 이렇게 생겼다. 보통 form태그 안에서 사용된다. input태그에는 여러가지 속성이 있다. 속성에 따라 사용자에게 다른 입력값을 받을 수 있다. Input태그의 속성 value: 만약 사용자가 id를 입력하는 창이 있다면 그 창에 미리 개발자가 정한 글자가 쓰여져 있게 하는 태그다. 이 경워 사용자가 이름을 입력하는 곳에 John Doe라는 이름이 쓰여있어고 사용자는 이 값을 사용할 수도 있고 다른 값을 입력 할 수도 있다.. 즉 입력 필드의 초기값을 설정한다. 만약 type속성이 chekbox나 radio로 설정된 경우, value속성은 사용자가 해당 체크박사나 라이오 버튼을 선택하고 폼을 제출했을 때 서버로 전송되는 데이터의 ..

CSRF 란 CSRF(Cross-Site Request Forgery)는 웹 사이트의 취약점을 이용하여 사용자가 자신의 의지와는 무관하게 공격자가 의도한 행동을 하도록 하는 공격 방법이다. 웹사이트에 로그인된 사용자가 공격자가 만든 사이트에 접속하면, 그 사이트는 인증정보를 이용해 공격 대상인 웹사이트에 악의적인 요청을 보낼수 있다. 이때 사용자는 이과정에 전혀 무의식적으로 공격자의 의도대로 움직이며 이런 공격이 일어나고 있다는 것을 알 수 없다. 이렇게 악의적인 요청이 이루어지는 이유는 브라우저가 요청을 보낼 때 자동적으로 사용자의 인증정보(예: 쿠키)를 포함시키기 때문이다. 그결과, 공격 대상 웹사이트는 이를 정상적인 요청으로 인식하게 된다. 이런 공격을 CSRF공격이라고 한다. 이를 방어하기 위한 ..

HTTP GET 요청은 서버에서 정보를 "가져오는" 요청방식이다. 클라이언트(사용자)가 서버로부터 데이터를 요청할 때 사용하는 가장 기본적이 HTTP메서드다. 웹 브라우저에서 URL을 입력하고 엔터를 누르는 것만으로도 GET 요청이 발생하게 된다. GET 요청의 특징 URL에 요청하는 데이터의 정보가 포함된다. 예를 들어,[http://exampla.com/포스트?타이틀=테스트]라는 URL의 경우, 타이틀이 테스트인 포스트를 요청하는 것이다. URL의 ?뒤에 있는 부분을 쿼리 문자열(쿼리 파라미터) 이라고 한다. GET 요청은 캐시가 가능하다는 점에서 POST 요청과 차이가 있다. 즉, 브라우저는 GET 요청을 보낸 결과를 저장하고 나중에 같은 요청이 오면 저장해둔 결과를 보여준다. 캐시가 많이 저장되면..

쿼리 파리미터는 웹페이지의 URL에서 특정 페이지 뷰를 사용자 정의한다. 서버에 추가 정보를 제공하는 데 사용되는 키-값의 쌍이다. URL의 끝부분에 위치하며, 경로(path) 뒤에 오는 ? 기호로 시작한다. 여러 개의 쿼리 파라미터는 & 기호로 구분되고, 각파라미터는 = 기호로 키와 값을 구분한다. https://www.example.com/products?category=shoes&color=black&size=10 이런 주소가 있다고 하면. 여기서 쿼리 파라미터는 category=shoes, color=black, size=10 이다. 이것은 사용자가 "신발(shoes) 카테고리에서 검은색(black)이고 사이즈가 10인 상품을 보고싶다" 라는 의도를 URL에 반영한 것이다. 웹 애플리케이션은 이런..