데이터브릭스 (1) 썸네일형 리스트형 Databricks 데이터 엔지니어링 실습 정리: Delta Lake와 워크플로우 중심으로 요즘 데이터 관련 플랫폼 공부를 하다 보니 Databricks가 자주 언급되길래직접 자료도 찾아보고 공식 영상도 보면서 내용을 정리해봤다.특히 나는 데이터 엔지니어링 쪽이 관심이 많아서, 관련 내용을 위주로 메모한 내용이다.📌 데이터브릭스란?"데이터브릭스는 빅데이터, 데이터 엔지니어링, 데이터 사이언스, 인공지능(AI) 업무를 하나의 플랫폼에서 수행할 수 있는 통합 데이터 분석 플랫폼이다."즉, 분석이든 머신러닝이든 하나의 환경에서 처리 가능하다는 것이 핵심이고 그 배경에는 Databricks가 제안하는 Lakehouse Architecture가 있다. 정리하자면,구성 요소설명Lake비정형/원시 데이터를 빠르게 쌓아둘 수 있는 공간 (ex. Data Lake)Warehouse정형화된 쿼리 성능 중심의 .. 이전 1 다음
