그 외
robots.txt 확인하고 크롤링(웹스크래핑) 하고 계신가요?
많은 분들이 프로그래밍 언어를 사용해 만든 크롤러, 또는 웹스크래퍼를 이용해서 인터넷 사이트에 있는 웹 사이트의 정보들을 수집합니다. 이러한 행위를 크롤링, 또는 웹스크래핑이라고 하는데, 이렇게 인터넷에 존재하는 자료들을 수집하는 행동을 자동화하려는 사람들의 관심이 얼마나 많은지는 '크롤러 만들기', 또는 '웹스크래퍼 만들기'와 같은 검색어로 검색 포털에서 얼마나 많은 문서들이 검색되는지 확인해보면 쉽게 알 수 있습니다. 크롤러와 웹스크래퍼는 엄밀히 말하면 서로 다른 것이지만, 사실상 웹스크래퍼에 해당하는 것들도 크롤러라고 불리고 있기 때문에 편의상 크롤러로 통합해서 말하겠습니다. 이런 크롤링 봇들이 점점 증가하는 상태에서 이런 크롤링 봇들의 행동을 제한하기 위해서 나타낸게 robots.txt입니다. 그..
2021. 3. 24. 14:03
최근댓글