project (9) 썸네일형 리스트형 [MongoDB] BulkWriteError:duplicate Key Error (E11000) 문제해결 2차 년도에서는 셀레니움을 이용한 Crawler 개발을 주로 수행하였고,, 2022년이 접어들면서 전문가 지수를 계산하는 부분을 담당하게 되었다... 2차 년도에서는 통합 지수를 개발을 해야되는 상황이었고, 이미 전임자가 통합 지수를 1차 개발을 해놓은 상황에서 업무 인수인계를 받았다. 코드 인수인계를 받은 뒤 통합 지수 개발을 위해서 코드를 수정하는 과정에서 몇 가지 수정을 한 이후 MongoDB 저장하는 부분에서 아래와 같은 BulkWriteError 가 발생되었다. 해당 포스팅은 아래 에러를 해결하기 위해 시도했던 방법들을 시간 순서대로 작성할 예정이며, 마지막으로 해결된다면, 해당 오류 밑에 해결방법에 대해 업데이트 하는 형식으로 포스팅 진행하겠다. 해당 오류는 MongoDB에 이미 저장된 값이 .. [python] selenium으로 자동 로그인 하기 앞 포스터에서는 웹이 실행되고 팝업창이 뜨는 경우 팝업창을 닫는 방법에 대해 포스팅 하였다. 이전 포스팅 2021.08.25 - [project/Expert] - [python] selenium 설치하기 및 예제 2021.08.31 - [project/Expert] - [python] selenium 팝업창 닫기 [python] selenium 팝업창 닫기 셀레니움을 이용하여 웹 크롤러를 만들 때 예상치 못한 팝업창이 떠서 작동이 안되는 경우가 발생할 수 있다. 이 때 사용할 수 있는 코드를 포스팅 하겠다. (프로젝트에서 개발중인 사이트에서 ssanggo.tistory.com [python] selenium 설치하기 및 예제 1차 년도에 진행한 프로젝트의 주요 내용들도 정리를 하지 못했는데,, 생각치 못.. [python] selenium 팝업창 닫기 셀레니움을 이용하여 웹 크롤러를 만들 때 예상치 못한 팝업창이 떠서 작동이 안되는 경우가 발생할 수 있다. 이 때 사용할 수 있는 코드를 포스팅 하겠다. (프로젝트에서 개발중인 사이트에서는 팝업창이 떠서 다른 곳도 많겠지 생각했는데, 포스팅하려고 팝업창 뜨는 사이트를 찾으려고 하니 의외로 팝업창 뜨는 사이트를 찾기가 쉽지가 않다..) 이전 발행글 2021.08.25 - [project/Expert] - [python] selenium 설치하기 및 예제 1. 이전에 포스팅 했던, 예제 코드에서 url 을 국민건강보험 주소로 수정하였다. from selenium import webdriver import time path = "크롬드라이버 설치 경로" url = "https://www.nhis.or.kr" .. [python] selenium 설치하기 및 예제 1차 년도에 진행한 프로젝트의 주요 내용들도 정리를 하지 못했는데,, 생각치 못했던 2차년도를 진행함에 따라 시간이 날때마다 틈틈히 관련된 내용들을 정리해 보고자 한다.. 나의 얇팍한 지식으로 Static한 환경에서의 Crawling은 requests 라이브러리를 사용하고, Dynamic 한 웹 환경에서의 Crawling은 selenium을 사용하는 것으로 알고 있다. 1차 년도에서는 Open API를 이용한 Crawling을 진행했었는데, 2차년도에서는 selenium을 이용한 crawl 개발이 필요할 것 같다. 거두 절미 하고,, selenium 설치부터 간단한 예제로 포스팅을 마치도록 하겠다... 0. 개발환경 Python 3.8.1 1. selenium 설치 pip install selenium .. [스마트팜] 클라우드 기반의 스마트팜 기술 얼마만큼 사용자가 관리하고 얼마만큼 클라우드에서 제공받는가에 따라 다음과 같이 네 가지로 나누어 볼 수 있다. Packaged Software : 그림에서 보이는 것과 같이 직접 인프라와 플랫폼, 어플리케이션까지 모두 구성하여 관리하는 모델을 의미합니다. IaaS : Infrastructure 레벨을 제공하는 서비스를 의미합니다. 위에 보이는 것과 같이 사용자는 OS를 직접 올리고 그 상위 계층만 구성하면 되는 모델입니다. è AWS EC2 PaaS : 개발자가 응용 프로그램을 작성할 수 있도록 플랫폼 및 환경을 제공하는 모델입니다. è 제공업체 : Google App Engine, IBM Bluemix, Openshift, SalesForce SaaS : 설치할 필요도 없이 클라우드를 통해 제공되는 S.. [스마트 팜] 인공지능이 농사짓는 시대 스마트 팜(Smart Farm) 더보기 정보통신기술을 농업에 접목해서 작물과 가축의 생육환경을 자동/원격으로 적정하게 유지/관리 시스템을 갖춘 농장을 말하며, 분야별로는 스마트 온실, 스마트 과수원, 스마트 축사 등이 대표적인 스마트 팜의 예시이다. 등장배경 세대별 스마트 팜 모델 1세대 -. 농가 편의성 향상을 목적으로 개발된 1세대 스마트 팜은 자동화 및 ICT 기술을 적절히 조합한 모델이다. -. 1세대 스마트팜을 실제 도입한 농가는 편의성과 생산성 30% 증가하는 큰 효과를 얻었지만 농업인이 직접 환경을 설정하기 때문에 농사 지식은 있지만, ICT에 익숙치 않은 농업인에게 어려움이 있었다. 2세대 -. 2세대 스마트 팜은 인공지능이 빅데이터와 연상 정보로 생육을 진단하여 의사결정을 도와주는 시스템.. [MongoDB] dump하고 backup 하기 - ③ 이전 포스팅에서는 MongoDB dump를 할 때, 순서대로 시도했었던 방법들과 오류들에 대해서 포스팅 하였다. 이번 포스팅 역시 오류 발생이 주 내용이다. ssanggo.tistory.com/55 [MongoDB] dump하고 backup 하기 - ②(오류 대잔치) 이전 포스팅에서는 MongoDB dump 하는 방법을 알아 보았다. MongoDB dump 방법에 대해 궁금한 사람은 아래 링크를 통해 확인해 보길 바랍니다. ssanggo.tistory.com/54 [MongoDB] dump하고 backup 하기 - ① 프로.. ssanggo.tistory.com 6. 구글링을 하다보니, Cache 문제일 수 있다는 내용을 보아서 Mongod.conf 설정을 바꿔 실행을 하기로 하였다. Mongod.con.. [MongoDB] dump하고 backup 하기 - ②(오류 대잔치) 이전 포스팅에서는 MongoDB dump 하는 방법을 알아 보았다. MongoDB dump 방법에 대해 궁금한 사람은 아래 링크를 통해 확인해 보길 바랍니다. ssanggo.tistory.com/54 [MongoDB] dump하고 backup 하기 - ① 프로젝트 막바지에 접어들면서 포팅 준비를 하기 위해서 각 팀원별 맡은 바 업무를 진행하기로 하였다. 나는 DB backup 과 restore 를 실행시키기 위한 프로그램을 만드는 것이었다. 우선, MongoDB DB를 ssanggo.tistory.com 쉘 스크립트 사용 방법과 권한설정은 추후 별도 포스팅을 통해 남기도록 하겠다.. 결론부터 먼저 말하자면, 특정 DB에서 지속적으로 오류가 발생하여 역시나 쉽게 쉽게 해결되지 않았다. 먼저, 내가 시도한 .. 이전 1 2 다음
