본문 바로가기

728x90
반응형

분류 전체보기

(98)
[MongoDB] BulkWriteError:duplicate Key Error (E11000) 문제해결 2차 년도에서는 셀레니움을 이용한 Crawler 개발을 주로 수행하였고,, 2022년이 접어들면서 전문가 지수를 계산하는 부분을 담당하게 되었다... 2차 년도에서는 통합 지수를 개발을 해야되는 상황이었고, 이미 전임자가 통합 지수를 1차 개발을 해놓은 상황에서 업무 인수인계를 받았다. 코드 인수인계를 받은 뒤 통합 지수 개발을 위해서 코드를 수정하는 과정에서 몇 가지 수정을 한 이후 MongoDB 저장하는 부분에서 아래와 같은 BulkWriteError 가 발생되었다. 해당 포스팅은 아래 에러를 해결하기 위해 시도했던 방법들을 시간 순서대로 작성할 예정이며, 마지막으로 해결된다면, 해당 오류 밑에 해결방법에 대해 업데이트 하는 형식으로 포스팅 진행하겠다. 해당 오류는 MongoDB에 이미 저장된 값이 ..
[Kubernetes] 쿠버네티스 설치없이 웹에서 실습하기 쿠버네티스를 실습하기 위해서 내 컴퓨터에 VMware를 설치해서 직접 설치하는 방법도 있겠지만, 간단하게 실습하는 정도는 웹에서 제공하는 서비스를 이용하면 충분할 것이다. 본 포스팅에서는 2가지 웹을 소개한다. 1. 카타코다 쿠버네티스 플레이그라운드 https://katacoda.com/courses/kubernetes/playground Kubernetes Playground | Katacoda Use Kubernetes in a hosted sandboxed interactive environment katacoda.com 1) 해당 링크로 들어가면 아래와 같은 화면이 뜰 것이다. 이메일 주소와 패스워드를 입력하여 로그인을 하면 된다. 2) 로그인을 하게 되면 다음과 같은 설명 화면이 나오는데 STA..
[백준] 11047. 동전 0(using python) * 문제의 저작권은 백준에 있습니다. https://www.acmicpc.net/problem/11047 11047번: 동전 0 첫째 줄에 N과 K가 주어진다. (1 ≤ N ≤ 10, 1 ≤ K ≤ 100,000,000) 둘째 줄부터 N개의 줄에 동전의 가치 Ai가 오름차순으로 주어진다. (1 ≤ Ai ≤ 1,000,000, A1 = 1, i ≥ 2인 경우에 Ai는 Ai-1의 배수) www.acmicpc.net 문제 준규가 가지고 있는 동전은 총 N종류이고, 각각의 동전을 매우 많이 가지고 있다. 동전을 적절히 사용해서 그 가치의 합을 K로 만들려고 한다. 이때 필요한 동전 개수의 최솟값을 구하는 프로그램을 작성하시오. 입력 첫째 줄에 N과 K가 주어진다. (1 ≤ N ≤ 10, 1 ≤ K ≤ 100,0..
[python] 단어의 첫번째 모음 기준으로 split 하는 함수 입력 받은 word의 첫 번째 모음 기준으로 split 하는 함수를 만들어 보자 def split(word): vowels = ['a', 'e', 'o', 'i', 'u'] for _ in word: if _ in vowels: return word[:word.index(_)], word[word.index(_):] word = 'goat' word2 = 'sheep' print(word) print(word2) ## 출력 결과 ## ('g', 'oat') ('sh', 'eep') 위와 같이 구현을 하면 소문자로 받은 'goat', 'sheep' 과 같은 단어들은 ('g', 'oat'), ('sh', 'eep') 과 같이 잘 출력이 될 것이다. 하지만, 대문자로 입력을 받는다면 어떻게 될까? word =..
dblp v10 json 파일 읽는 방법 with open("C:/Users/ohy36/Desktop/python workspace/논문/dblp/dblp-ref/dblp_ref_3.json", "r", newline = "\n") as f: lines = [line.strip() for line in f.readlines()] for i,line in enumerate(lines): print(line) if i == 2: break # 기존 실패한 방법 import json with open("파일위치", "r") as f: lines = json.load(f) for line in lines: print(line) 오류코드 json.decoder.jsondecodeerror: extra data: line 2 column 1 (char 1..
[python] selenium으로 자동 로그인 하기 앞 포스터에서는 웹이 실행되고 팝업창이 뜨는 경우 팝업창을 닫는 방법에 대해 포스팅 하였다. 이전 포스팅 2021.08.25 - [project/Expert] - [python] selenium 설치하기 및 예제 2021.08.31 - [project/Expert] - [python] selenium 팝업창 닫기 [python] selenium 팝업창 닫기 셀레니움을 이용하여 웹 크롤러를 만들 때 예상치 못한 팝업창이 떠서 작동이 안되는 경우가 발생할 수 있다. 이 때 사용할 수 있는 코드를 포스팅 하겠다. (프로젝트에서 개발중인 사이트에서 ssanggo.tistory.com [python] selenium 설치하기 및 예제 1차 년도에 진행한 프로젝트의 주요 내용들도 정리를 하지 못했는데,, 생각치 못..
[python] selenium 팝업창 닫기 셀레니움을 이용하여 웹 크롤러를 만들 때 예상치 못한 팝업창이 떠서 작동이 안되는 경우가 발생할 수 있다. 이 때 사용할 수 있는 코드를 포스팅 하겠다. (프로젝트에서 개발중인 사이트에서는 팝업창이 떠서 다른 곳도 많겠지 생각했는데, 포스팅하려고 팝업창 뜨는 사이트를 찾으려고 하니 의외로 팝업창 뜨는 사이트를 찾기가 쉽지가 않다..) 이전 발행글 2021.08.25 - [project/Expert] - [python] selenium 설치하기 및 예제 1. 이전에 포스팅 했던, 예제 코드에서 url 을 국민건강보험 주소로 수정하였다. from selenium import webdriver import time path = "크롬드라이버 설치 경로" url = "https://www.nhis.or.kr" ..
[python] selenium 설치하기 및 예제 1차 년도에 진행한 프로젝트의 주요 내용들도 정리를 하지 못했는데,, 생각치 못했던 2차년도를 진행함에 따라 시간이 날때마다 틈틈히 관련된 내용들을 정리해 보고자 한다.. 나의 얇팍한 지식으로 Static한 환경에서의 Crawling은 requests 라이브러리를 사용하고, Dynamic 한 웹 환경에서의 Crawling은 selenium을 사용하는 것으로 알고 있다. 1차 년도에서는 Open API를 이용한 Crawling을 진행했었는데, 2차년도에서는 selenium을 이용한 crawl 개발이 필요할 것 같다. 거두 절미 하고,, selenium 설치부터 간단한 예제로 포스팅을 마치도록 하겠다... 0. 개발환경 Python 3.8.1 1. selenium 설치 pip install selenium ..

728x90
반응형