Study/spark (2) 썸네일형 리스트형 [Spark] chapter 2 스파크 간단히 살펴보기 Chapter 2. 스파크 간단히 살펴보기 스파크 기본 아키텍처 '컴퓨터' 라고 하면, 집이나 직장 책상 위에 놓인 장비 한대를 떠올림, 이 컴퓨터는 영화를 보거나 문서작업을 하기 아주 적합함. 한 대의 컴퓨터로 수행하기 힘든 작업이 존재, 특히 대용량 데이터(빅데이터)를 처리하는 경우 한 대의 컴퓨터는 대규모 정보를 연산할 만한 자원이나 성능을 갖지 못함, 연산이 가능하더라도 많은 시간이 소요 컴퓨터 클러스터는 여러 컴퓨터의 자원을 모아 하나의 컴퓨터처럼 사용할 수 있게 만듦. 클러스터 구성하는 것만으로는 부족, 작업을 조율할 수 있는 프레임워크가 필요(스파크) 스파크 어플리케이션 드라이버 프로세스와 익스큐터 프로세스로 구성 드라이버 프로세스(필수 프로세스) 클러스터 노드 중 하나에서 실행 main().. [Spark] chapter 1 아파치 스파크란? Chapter 1. 아파치 스파크(Apache Spark)란? 가장 활발하게 개발되고 있는 병렬 처리 오픈소스 엔진, 통합 컴퓨팅 엔진이며 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합 단일 노트북 환경에서부터 수 천대의 서버로 구성된 클러스터까지 다양한 환경에서 실행 가능 1.1 스파크 등장 배경 새로운 처리 엔진과 프로그래밍 모델이 필요한 이유? 컴퓨터 어플리케이션과 하드웨어의 바탕을 이루는 경제적 요인의 변화 프로세서의 성능 향상이 해마다 빨리지고 있으며, 어플리케이션은 코드를 수정하지 않아도 자연스럽게 빨라지고 있음. 대규모 어플리케이션은 이런 경향에 맞춰 만들어져, 대부분 단일 프로세서에서만 실행 되도록 설계 대규모 데이터 처리를 프로세서의 성능 향상에 맡겼던 것 하드웨어 성능의 성.. 이전 1 다음
