분류 전체보기 (110) 썸네일형 리스트형 Databricks에서 말하는 Catalog란? — 전통 DBMS와의 차이까지 정리 📚 Databricks에서 말하는 Catalog란 무엇인가?Databricks를 공부하다 보면 Catalog라는 단어가 자주 등장한다.처음엔 익숙하지 않았지만, 정리해보니 기존 데이터베이스의 개념을 확장한 매우 중요한 단위라는 걸 알 수 있었다. 이 글에서는 Databricks의 Catalog가 무엇이고, 기존 DBMS와 어떤 차이가 있는지 정리해본다.✅ 1. Catalog란?Catalog는 Databricks에서 데이터 자산을 논리적으로 구분하고 관리하는 최상위 단위다.Databricks의 구조는 다음과 같다:Catalog > Schema > Table(View)예를 들어 main.sales.customers라는 테이블이 있다면,main → Catalogsales → Schema (기존 DBMS의 D.. Databricks 데이터 엔지니어링 실습 정리: Delta Lake와 워크플로우 중심으로 요즘 데이터 관련 플랫폼 공부를 하다 보니 Databricks가 자주 언급되길래직접 자료도 찾아보고 공식 영상도 보면서 내용을 정리해봤다.특히 나는 데이터 엔지니어링 쪽이 관심이 많아서, 관련 내용을 위주로 메모한 내용이다.📌 데이터브릭스란?"데이터브릭스는 빅데이터, 데이터 엔지니어링, 데이터 사이언스, 인공지능(AI) 업무를 하나의 플랫폼에서 수행할 수 있는 통합 데이터 분석 플랫폼이다."즉, 분석이든 머신러닝이든 하나의 환경에서 처리 가능하다는 것이 핵심이고 그 배경에는 Databricks가 제안하는 Lakehouse Architecture가 있다. 정리하자면,구성 요소설명Lake비정형/원시 데이터를 빠르게 쌓아둘 수 있는 공간 (ex. Data Lake)Warehouse정형화된 쿼리 성능 중심의 .. Redroid, ADB, SCRCPY가 무엇인지? IrisPy2 라이브러리에 대한 설명 1. Redroid: 루팅된 Android 환경을 위한 가상화 솔루션Redroid는 Docker 기반의 Android 가상화 솔루션으로, 루팅된 Android 환경을 손쉽게 구축할 수 있습니다. 이를 통해 실제 디바이스 없이도 Android 애플리케이션을 테스트하거나 자동화 작업을 수행할 수 있습니다.주요 특징:컨테이너 기반 실행: Docker를 활용하여 Android 환경을 컨테이너로 실행합니다.멀티 아키텍처 지원: arm64 및 amd64 아키텍처를 모두 지원합니다.GPU 가속: 그래픽 성능 향상을 위해 GPU 가속을 지원합니다.다중 인스턴스 실행: 하나의 호스트에서 여러 Android 인스턴스를 동시에 실행할 수 있습니다.이러한 기능을 통해 Redroid는 테스트 자동화, 클라우드 게임, 앱 개발 .. 카카오톡 챗봇 만들기 (Iris + IrisPy2 활용) 2025.04.01 - [project] - Kakao Chat-bot 만들기 - 오픈빌더와 Flask를 이용한 MVP 제작 Kakao Chat-bot 만들기 - 오픈빌더와 Flask를 이용한 MVP 제작1. 프로젝트 개요나는 매일 오딘 길드의 보스 스케줄을 공지하는 역할을 맡고 있었다. 하지만 이 작업은 생각보다 꽤 번거롭고, 매일 밤마다 수동으로 시간을 확인하고 텍스트를 작성해야 했기ssanggo.tistory.com 이전에 발행한 게시글에서 단톡방에 내가 만든 bot을 초대해서 사용할 수 없는 문제가 있어서, 초대할 수 있는 챗봇을 만드는 것이 이번 목표였다. 단톡방에 초대할 수 있는 챗봇을 만들기 위해서는 우선, "새로운 카카오톡 계정"을 만들어야 한다. 그래서 통신사 부가서비스에 있는 듀얼넘버(.. Kakao Chat-bot 만들기 - 오픈빌더와 Flask를 이용한 MVP 제작 1. 프로젝트 개요나는 매일 오딘 길드의 보스 스케줄을 공지하는 역할을 맡고 있었다. 하지만 이 작업은 생각보다 꽤 번거롭고, 매일 밤마다 수동으로 시간을 확인하고 텍스트를 작성해야 했기 때문에, 반복적이고 소모적인 작업이 되었다. 길드 내에서 이 역할을 대신할 사람이 없었기에, **“차라리 이걸 자동화할 수는 없을까?”**라는 생각을 갖게 되었고, 이것이 챗봇 프로젝트의 출발점이었다. GPT와의 대화를 통해 이 아이디어를 구체화하면서, 단순히 스케줄 공지에 그치지 않고 오딘 전용 AI 비서 챗봇으로도 확장 가능성이 있다는 걸 깨달았다. 예를 들어, /boss 명령으로 보스 시간을 확인하거나, /ask로 사냥터를 추천받는 기능까지 가능할 수 있겠다는 생각이 들었고, 그때부터 이 프로젝트를 본격적으로 시작.. 이상금융거래 탐지 시스템 구축 프로젝트 회고 1. 프로젝트 개요이번 프로젝트는 금융권에서 이상금융거래를 탐지하기 위한 FDS 시스템을 신규 구축하는 프로젝트였다. 프로젝트 기간은 2024년 9월부터 2025년 3월까지 진행되었으며, PM 1명, 배치 개발자 1명, 엔진 개발자 1명, 컨설팅 및 데이터 분석 담당 2명으로 구성된 5명의 팀으로 진행되었다.나는 데이터 분석 역할을 맡아 현업에서 사용 중인 ASIS 룰과 금융투자업권에서 제시한 신규 룰을 분석하고 구현하는 업무를 담당했다.기존 시스템은 사용자 친화적이지 않고, 담당자의 부재로 인해 실제로 운용되지 못하고 있었다. 또한 데이터 분석 관점에서는 중복된 룰이 많아 관리가 어려웠다. 이번 프로젝트에서는 중복 룰을 제거하고 최신 금융투자업권의 가이드에 맞는 신규 시나리오를 반영하여 시스템을 개선하.. pandas 영업일 변경 기존 pandas 에서 정의되어 있는 영업일 'B' 시간 단위에 대해서 Custom business day로 간단하게 수정하는 방법 from pandas.tseries.offsets import CustomBusinessDaypd.tseries.offsets.B = CustomBusinessDay(holidays=cs_holydays) # 매개변수로 전달해야함.print(pd.date_range('2024-01-01','2024-01-31',freq='B')) # 기존print(pd.date_range('2024-01-01','2024-01-31',freq=pd.tseries.offsets.B)) # 명시적으로 작성해야함. [프로젝트명 : 미정] 그래프 시각화 이전 포스팅에서는 Docker를 활용하여 Kafka로 데이터를 수집하고, mysql에 데이터를 저장하는 것 까지 수행하였다. 이번 포스팅에서는 수집한 데이터들에 대해서 시각화를 나타내기 위해서 수행한 내용들에 대해서 기록하고자 한다. 2024.08.31 - [Toy Project] - [프로젝트명 : 미정] ETL 구축하기 - ① 데이터 수집2024.09.02 - [Toy Project] - [프로젝트명 : 미정] ETL 구축하기 - ② 데이터 수집2024.09.02 - [Toy Project] - [프로젝트명 : 미정] ETL 구축하기 - ③ Docker 환경 구축1. 네트워크 분석우선, 주식 종목 데이터를 보고서 생각했었던 것은 그래프와 같이 노트와 엣지 형태로 시각화를 나타낼 수 있겠다고 생각을 하.. 이전 1 2 3 4 ··· 14 다음
