전체 글 검색 결과
53 개의 검색 결과가 있습니다.
그 외

크롤링이 불법 행위가 되는 경우를 아시나요?

내용 이전 아래 링크에서 확인 가능합니다. https://white.seolpyo.com/entry/40/ 크롤링이 불법 행위가 되는 경우는 따로 있다. - 하얀설표 블로그 읽기 전에 일반인의 관점에서 정리한 내용입니다.법적인 근거 white.seolpyo.com = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 이전 글에서 웹사이트를 크롤링(웹스크래핑)할 때 참고해야하는 robots.txt에 대해서 알아보았습니다. 이전 글을 읽어보지 않았다면 이전 글을 읽은 다음에 이 글을 읽는 것을 추천합니다. 이전 글 robots.txt 확인하고 크롤링(웹스크래핑) 하고 계신가요? 많은 분들이 프로그래밍 언어를 사용해 만든 크롤러, 또는 웹스크래퍼를 이용해서..

2021. 3. 26. 17:45
그 외

robots.txt 확인하고 크롤링(웹스크래핑) 하고 계신가요?

많은 분들이 프로그래밍 언어를 사용해 만든 크롤러, 또는 웹스크래퍼를 이용해서 인터넷 사이트에 있는 웹 사이트의 정보들을 수집합니다. 이러한 행위를 크롤링, 또는 웹스크래핑이라고 하는데, 이렇게 인터넷에 존재하는 자료들을 수집하는 행동을 자동화하려는 사람들의 관심이 얼마나 많은지는 '크롤러 만들기', 또는 '웹스크래퍼 만들기'와 같은 검색어로 검색 포털에서 얼마나 많은 문서들이 검색되는지 확인해보면 쉽게 알 수 있습니다. 크롤러와 웹스크래퍼는 엄밀히 말하면 서로 다른 것이지만, 사실상 웹스크래퍼에 해당하는 것들도 크롤러라고 불리고 있기 때문에 편의상 크롤러로 통합해서 말하겠습니다. 이런 크롤링 봇들이 점점 증가하는 상태에서 이런 크롤링 봇들의 행동을 제한하기 위해서 나타낸게 robots.txt입니다. 그..

2021. 3. 24. 14:03
블로그

왜 티스토리 사용자들은 다음이 아닌 구글과 네이버 VIEW 탭 노출에 매달릴까?

티스토리 블로그를 운영하는 사람들이 모여있는 커뮤니티를 보면 다음 검색 포털에 노출되는 것보다는 구글, 또는 네이버 검색 포털에 자신의 블로그 게시물이 게시되는 것을 더 중요하게 다뤄지고 있습니다. 특히 네이버 노출의 단순히 네이버에 티스토리 게시글이 노출되는 것으로 끝나는 것이 아니라, 티스토리 결과물이 웹사이트 영역에 노출되는지, view 탭에 티스토리 블로그 글이 게시되는지가 중요하게 다뤄지고 있습니다. 이것이 어느 정도냐면, 구글에 [티스토리 네이버 view 탭 노출 방법]으로 검색해보면 이와 관련된 수많은 문서들을 발견할 수 있다는 것으로 대체하겠습니다. 이런 글이 많다는 것은, 그만큼 이런 정보를 찾는 사람들이 많다는 반증이니까요. 개중에는 일반적인 방법과는 다르게, [낙장 블로그]라는 다른 ..

2021. 3. 5. 20:00
그 외

파워쉘 ps1 파일을 로드할 수 없습니다. 에러 해결방법

에러 파워쉘에서 Activate.ps1 파일을 실행해 가상환경을 실행하려는데 다음과 같은 에러 메시지가 출력되었습니다. .\Scripts\Activate.ps1 >> .\Scripts\Activate.ps1 : 이 시스템에서 스크립트를 실행할 수 없으므로 {경로명}\{파일명}.ps1 파일을 로드할 수 없습니다. 자세한 내용은 about_Execution_Policies(https://go.microsoft.com/fwlink/?LinkkID=135170)를 참조하십시오. 위치 줄:1 문자: 1 + .\Scripts\Activate.ps1 + ~~~~~~~~~~~~~~~~~~~~~~ + CategoryInfo: 보안 오류: (:) [], PSSecurityException + FullyQualifiedEr..

2021. 3. 5. 13:32
그 외

파워쉘 'ExecutionPolicy' 매개 변수를 바인딩할 수 없습니다. 에러 해결방법

에러 파워쉘을 통해 명령어를 입력해서 작업을 해야할 때가 있는데.. 그 중 하나가 Set-ExecutionPolicy 명령입니다. 제 경우에는 가상환경을 작동시키기 위해 해당 명령어를 사용해야 했는데.. 다음과 같은 에러 메시지가 노출되었습니다. Set-ExecutionPolicy : 'ExecutionPolicy' 매개 변수를 바인딩할 수 없습니다. 값 "RemoteSighned"을(를) "Microsoft.PowerShell.ExecutionPo licy" 유형으로 변환할 수 없습니다. 오류: "식별자 이름 RemoteSighned을(를) 유효한 열거자 이름과 일치시킬 수 없습니다. 다음 열거자 이 름 중 하나를 지정한 후 다시 시도하십시오. Unrestricted, RemoteSigned, AllS..

2021. 3. 5. 11:00
그 외

VScode에서 32비트용 파이썬 사용을 위한 가상환경 만들기

참고) vscode도 터미널을 사용하기 때문에 다음 방법을 따라해도 가상환경 생성이 가능합니다. 라즈베리파이 파이썬 가상환경 설치 방법 설치 환경 이전에는 기본 파이썬 버전을 원하는 버전의 파이썬으로 변경해서 사용했지만, 이제부터는 가상환경을 만들어서 사용하려고 합니다. 라즈베리파이에 파이썬 3.7이 아닌 다른 버전의 redfox.tistory.com 개요 한국투자증권에서 제공하는 주식 api를 이용해보려 했는데.. api 이용을 위해 요청한 파이썬 예제 코드를 실행해보려 했더니 에러 코드만 출력되는 겁니다. 다른 증권사들의 api의 경우 64비트 환경은 지원하지 않고 32비트 환경에서만 지원한다는 말이 생각나서 한국투자증권 측에 혹시 64비트 환경이 아닌 32비트 환경에서 api를 실행해야 하는지 문의..

2021. 3. 5. 08:52