project/Expert (7) 썸네일형 리스트형 [MongoDB] BulkWriteError:duplicate Key Error (E11000) 문제해결 2차 년도에서는 셀레니움을 이용한 Crawler 개발을 주로 수행하였고,, 2022년이 접어들면서 전문가 지수를 계산하는 부분을 담당하게 되었다... 2차 년도에서는 통합 지수를 개발을 해야되는 상황이었고, 이미 전임자가 통합 지수를 1차 개발을 해놓은 상황에서 업무 인수인계를 받았다. 코드 인수인계를 받은 뒤 통합 지수 개발을 위해서 코드를 수정하는 과정에서 몇 가지 수정을 한 이후 MongoDB 저장하는 부분에서 아래와 같은 BulkWriteError 가 발생되었다. 해당 포스팅은 아래 에러를 해결하기 위해 시도했던 방법들을 시간 순서대로 작성할 예정이며, 마지막으로 해결된다면, 해당 오류 밑에 해결방법에 대해 업데이트 하는 형식으로 포스팅 진행하겠다. 해당 오류는 MongoDB에 이미 저장된 값이 .. [python] selenium으로 자동 로그인 하기 앞 포스터에서는 웹이 실행되고 팝업창이 뜨는 경우 팝업창을 닫는 방법에 대해 포스팅 하였다. 이전 포스팅 2021.08.25 - [project/Expert] - [python] selenium 설치하기 및 예제 2021.08.31 - [project/Expert] - [python] selenium 팝업창 닫기 [python] selenium 팝업창 닫기 셀레니움을 이용하여 웹 크롤러를 만들 때 예상치 못한 팝업창이 떠서 작동이 안되는 경우가 발생할 수 있다. 이 때 사용할 수 있는 코드를 포스팅 하겠다. (프로젝트에서 개발중인 사이트에서 ssanggo.tistory.com [python] selenium 설치하기 및 예제 1차 년도에 진행한 프로젝트의 주요 내용들도 정리를 하지 못했는데,, 생각치 못.. [python] selenium 팝업창 닫기 셀레니움을 이용하여 웹 크롤러를 만들 때 예상치 못한 팝업창이 떠서 작동이 안되는 경우가 발생할 수 있다. 이 때 사용할 수 있는 코드를 포스팅 하겠다. (프로젝트에서 개발중인 사이트에서는 팝업창이 떠서 다른 곳도 많겠지 생각했는데, 포스팅하려고 팝업창 뜨는 사이트를 찾으려고 하니 의외로 팝업창 뜨는 사이트를 찾기가 쉽지가 않다..) 이전 발행글 2021.08.25 - [project/Expert] - [python] selenium 설치하기 및 예제 1. 이전에 포스팅 했던, 예제 코드에서 url 을 국민건강보험 주소로 수정하였다. from selenium import webdriver import time path = "크롬드라이버 설치 경로" url = "https://www.nhis.or.kr" .. [python] selenium 설치하기 및 예제 1차 년도에 진행한 프로젝트의 주요 내용들도 정리를 하지 못했는데,, 생각치 못했던 2차년도를 진행함에 따라 시간이 날때마다 틈틈히 관련된 내용들을 정리해 보고자 한다.. 나의 얇팍한 지식으로 Static한 환경에서의 Crawling은 requests 라이브러리를 사용하고, Dynamic 한 웹 환경에서의 Crawling은 selenium을 사용하는 것으로 알고 있다. 1차 년도에서는 Open API를 이용한 Crawling을 진행했었는데, 2차년도에서는 selenium을 이용한 crawl 개발이 필요할 것 같다. 거두 절미 하고,, selenium 설치부터 간단한 예제로 포스팅을 마치도록 하겠다... 0. 개발환경 Python 3.8.1 1. selenium 설치 pip install selenium .. [MongoDB] dump하고 backup 하기 - ③ 이전 포스팅에서는 MongoDB dump를 할 때, 순서대로 시도했었던 방법들과 오류들에 대해서 포스팅 하였다. 이번 포스팅 역시 오류 발생이 주 내용이다. ssanggo.tistory.com/55 [MongoDB] dump하고 backup 하기 - ②(오류 대잔치) 이전 포스팅에서는 MongoDB dump 하는 방법을 알아 보았다. MongoDB dump 방법에 대해 궁금한 사람은 아래 링크를 통해 확인해 보길 바랍니다. ssanggo.tistory.com/54 [MongoDB] dump하고 backup 하기 - ① 프로.. ssanggo.tistory.com 6. 구글링을 하다보니, Cache 문제일 수 있다는 내용을 보아서 Mongod.conf 설정을 바꿔 실행을 하기로 하였다. Mongod.con.. [MongoDB] dump하고 backup 하기 - ②(오류 대잔치) 이전 포스팅에서는 MongoDB dump 하는 방법을 알아 보았다. MongoDB dump 방법에 대해 궁금한 사람은 아래 링크를 통해 확인해 보길 바랍니다. ssanggo.tistory.com/54 [MongoDB] dump하고 backup 하기 - ① 프로젝트 막바지에 접어들면서 포팅 준비를 하기 위해서 각 팀원별 맡은 바 업무를 진행하기로 하였다. 나는 DB backup 과 restore 를 실행시키기 위한 프로그램을 만드는 것이었다. 우선, MongoDB DB를 ssanggo.tistory.com 쉘 스크립트 사용 방법과 권한설정은 추후 별도 포스팅을 통해 남기도록 하겠다.. 결론부터 먼저 말하자면, 특정 DB에서 지속적으로 오류가 발생하여 역시나 쉽게 쉽게 해결되지 않았다. 먼저, 내가 시도한 .. [MongoDB] dump하고 backup 하기 - ① 프로젝트 막바지에 접어들면서 포팅 준비를 하기 위해서 각 팀원별 맡은 바 업무를 진행하기로 하였다. 나는 DB backup 과 restore 를 실행시키기 위한 프로그램을 만드는 것이었다. 우선, MongoDB DB를 복사하기 위해서는 mongodump 를 사용한다. 아래의 명령어를 실행하게 되면 내 현재 위치에 dump라는 폴더가 생기게된다. 더보기 mongodump --host 127.0.0.1 --port 27017 역시나, 한 번에 될 리는 없다. 아래와 같은 오류가 발생하였고, 발생원인을 구글링해보니 MongoDB version(v4.2) 보다 CLI 클라이언트 버전(v3.6)이 낮아서 생기는 문제로 확인하였다. 더보기 Failed: error writing data for collection .. 이전 1 다음
