본문 바로가기

728x90

전체 글

(116)

NPS 조사 시스템 구축 프로젝트 회고 1. 프로젝트 개요본 프로젝트는 NPS 관리 시스템 구축 프로젝트로, 계열사 각 데이터를 분석 및 서비스하는 데이터/AI 플랫폼 구축이었다. 나는 프로젝트 중간에 투입되었으며, 특정 모듈에 한정되지 않고 전반적인 기술 공백을 메우는 역할을 수행하였다.공식적으로 정해진 Task 범위는 없었지만, 실제로는 공통모듈 개선, 배치 운영 안정화, 인프라 문제 해결, 품질 및 보안 대응까지 다양한 영역을 맡았다. 특히 전임자가 구축한 공통모듈(ConfigManager, DBManager, LogManager)을 인수받아 실무에서 사용할 수 있는 수준으로 재설계하는 것이 핵심 역할이었다.Language: PythonLibrary: pandas, pymysql, logging, threading, queueDB: My..

AI Multi Agent 프레임워크 개발 프로젝트 회고 본 프로젝트는 A2A(Agent-to-Agent) 구조로 동작하는 멀티에이전트 기반 AI 서비스 개발 프로젝트이다.1. 개요이번 프로젝트에서 나는 SecuXper¹ 기반 보안 필터링 시스템과 질문 정제를 수행하는 필터 모듈을 설계·구현하는 Task를 맡았다. 사용자가 챗봇에 입력하는 모든 질의는 SecuXper와 필터모듈을 가장 먼저 거치도록 구성하여, 후속 에이전트가 처리하기 적합한 형태의 안전하고 정제된 입력을 만드는 것을 목표로 하였다. 입력 단계(input)에서는 사용자의 질문에 포함된 개인정보·민감정보·악의적 표현 등을 탐지하고, 출력 단계(output)에서는 후속 에이전트가 생성한 응답에서 민감 정보가 다시 노출되지 않도록 검사하는 양방향 보안 필터 구조를 구축하였다.이어지는 필터모듈(Qu..

요즘 우아한 AI 개발 4. 프롬프트 엔지니어링으로 메뉴 이미지 품질 검수하기 과제 배경배달의민족은 고객들이 음식을 주문할 때 메뉴 이미지를 가장 중요하게 여긴다는 점에 주목했습니다. 실제로 고객의 90% 이상이 메뉴 이미지가 가게 선택의 핵심 요소라고 답했습니다. 이에 따라 기존의 가게 중심 리스팅 방식에서 벗어나, 메뉴 중심의 리스팅 방식으로 전환을 추진하게 되었습니다. 문제 분석사장님들이 직접 메뉴 이미지를 등록하는 구조로 인해 하루 약 1만 건 이상의 이미지가 수집되었고, 이를 운영자가 수작업으로 검수하는 데 시간과 인력 소모가 매우 컸습니다.명절, 주말, 연휴 등 비업무 시간대에는 검수 지연으로 이미지 등록이 누락되는 사례도 자주 발생했습니다.검수 결과는 단순 텍스트 형태로 안내되어, 사장님들이 이미지 정책을 정확히 이해하기 어렵고 반복되는 반려로 이어지는 문제도 발생했습..

Databricks | 복잡한 데이터 변환 (Complex Transformations) Spark SQL을 활용한 데이터 분석 실무에서는 단순한 테이블 조회를 넘어서 복잡한 구조의 데이터를 다루는 일이 자주 발생합니다. 이번 글에서는 Databricks 강의 중 5 - Complex Transformations 섹션을 바탕으로 JSON 파싱, 배열 처리, 구조체 해제, 조인, 피벗 테이블 등 Spark SQL에서 자주 활용되는 고급 기능들을 체계적으로 정리합니다.🧷 0. Nested JSON 이란?Nested JSON은 JSON 데이터 내부에 또 다른 JSON 객체(혹은 배열)가 중첩된 구조를 말합니다.예를 들어, 다음은 Nested JSON의 전형적인 예입니다:{ "user_id": "123", "device": "Linux", "ecommerce": { "purchase_revenue..

Databricks로 배우는 데이터 정제 (Cleaning Data) 실습 정리 Databricks의 Basic Transformations 시리즈 중 4. Cleaning Data 파트는 Spark SQL을 활용하여 데이터셋을 정제(clean)하고, 분석 가능한 형태로 가공하는 일련의 과정을 다룹니다.정제는 단순한 작업 같지만, 실무에서는 데이터 분석의 절반 이상을 차지할 만큼 중요한 단계이기도 하다. 이번 실습은 users_bronze라는 원시 테이블에서 시작해 users_silver라는 클린 테이블로 가공하는 흐름으로 구성된다.1️⃣ Cleaning Data 소개이 강의에서는 다양한 컬럼 표현식과 SQL 쿼리를 사용하여 데이터를 정제하는 방법을 배운다.Spark SQL에서는 일반적인 SQL 문법들(DISTINCT, WHERE, GROUP BY 등)을 사용할 수 있으며, 내장 함..

Databricks Basic Transformations 강의 정리 이 글은 Databricks에서 제공하는 "Basic Transformations" 강의 내용을 정리한 포스팅입니다. Spark SQL과 Delta Lake를 활용한 기초적인 데이터 변환 작업을 중심으로 학습한 내용을 단계별로 소개합니다. 실습 기반으로 진행되며, 실무에 바로 활용 가능한 팁들이 많이 포함되어 있습니다.1. 가이드 목표 (Learning Objectives)Spark SQL 을 이용해 외부 데이터의 처리와 계산을 구성DDL (Data Definition Language) 문자를 통해 테이블 생성Managed Table vs External Table 차이 이해저장 위치 관리 방식 환경 이해2. MERGE INTO 메서드 (최가하기)MERGE INTO 문는 "UPSERT"와 유의하며, 데이..

Databricks에서 말하는 Catalog란? — 전통 DBMS와의 차이까지 정리 📚 Databricks에서 말하는 Catalog란 무엇인가?Databricks를 공부하다 보면 Catalog라는 단어가 자주 등장한다.처음엔 익숙하지 않았지만, 정리해보니 기존 데이터베이스의 개념을 확장한 매우 중요한 단위라는 걸 알 수 있었다. 이 글에서는 Databricks의 Catalog가 무엇이고, 기존 DBMS와 어떤 차이가 있는지 정리해본다.✅ 1. Catalog란?Catalog는 Databricks에서 데이터 자산을 논리적으로 구분하고 관리하는 최상위 단위다.Databricks의 구조는 다음과 같다:Catalog > Schema > Table(View)예를 들어 main.sales.customers라는 테이블이 있다면,main → Catalogsales → Schema (기존 DBMS의 D..

Databricks 데이터 엔지니어링 실습 정리: Delta Lake와 워크플로우 중심으로 요즘 데이터 관련 플랫폼 공부를 하다 보니 Databricks가 자주 언급되길래직접 자료도 찾아보고 공식 영상도 보면서 내용을 정리해봤다.특히 나는 데이터 엔지니어링 쪽이 관심이 많아서, 관련 내용을 위주로 메모한 내용이다.📌 데이터브릭스란?"데이터브릭스는 빅데이터, 데이터 엔지니어링, 데이터 사이언스, 인공지능(AI) 업무를 하나의 플랫폼에서 수행할 수 있는 통합 데이터 분석 플랫폼이다."즉, 분석이든 머신러닝이든 하나의 환경에서 처리 가능하다는 것이 핵심이고 그 배경에는 Databricks가 제안하는 Lakehouse Architecture가 있다. 정리하자면,구성 요소설명Lake비정형/원시 데이터를 빠르게 쌓아둘 수 있는 공간 (ex. Data Lake)Warehouse정형화된 쿼리 성능 중심의 ..

이전 1 2 3 4 ··· 15 다음

728x90

티스토리툴바