Databricks 플랫폼 소개

클라우드 기반의 통합 데이터 플랫폼으로, 데이터 처리, 데이터 과학, 기계 학습, 분석 기능을 하나로 통합하여 제공합니다. Apache Spark 오픈소스 프레임워크와 독자적인 Lakehouse 구조를 바탕으로 데이터 웨어하우스와 데이터 레이크의 장점을 결합했습니다.

주요 특징

• Lakehouse 구조: 데이터 웨어하우스의 안정성과 데이터 레이크의 융통성을 함께 확보하여 모든 데이터 작업에 대한 단일 정보 소스 역할

• 통합 데이터 및 인공지능 환경: ETL, 데이터 저장, 실시간 스트리밍 분석, 기계 학습, 생성형 AI 등 전체 작업 과정 지원

• 협업 중심 작업 공간: 대화형 노트북과 공유 환경을 통해 데이터 전문가들이 SQL, Python, R, Scala 등 여러 언어로 실시간 협업

• 고급 기계 학습 도구: MLflow를 통한 실험 기록 및 모델 관리, Hugging Face/DeepSpeed 연결을 통한 대형 언어 모델 맞춤 설정, AI 모델 제공 기능

• 강화된 데이터 관리: Unity Catalog 기반의 중앙 집중식 세부 접근 제어와 안전한 데이터 공유 체계

• 클라우드 연결 최적화: 주요 클라우드 서비스와의 원활한 연동, 기존 BI 및 데이터 수집 도구와 호환

주요 사용 분야

• 데이터 처리 및 ETL: 대량의 원본/정형 데이터 처리 및 변환을 통한 분석/AI 응용 프로그램 준비

• 기계 학습 및 AI 개발: 기업 데이터 기반 기계 학습 모델과 생성형 AI 애플리케이션 구축/학습/배포

• 실시간 및 일괄 분석: 비즈니스 인텔리전스와 운영 통찰력 도출을 위한 대화형 SQL 분석 및 실시간 스트리밍 처리

• 협업 데이터 과학: 다양한 부서 팀의 공동 데이터 탐색, 모델 개발, 시각화 작업 지원

• 안전한 데이터 관리 및 공유: 조직 내외부 데이터 접근 통제 및 규정 준수 관리와 함께 보안 데이터 공유 기능 제공