Structured Streaming
-
[스파크 완벽 가이드] Chapter 21 - 구조적 스트리밍의 기초Dev/Spark 2020. 12. 20. 02:33
* 해당 포스트는 "스파크 완벽 가이드" 책을 읽고 난 이후의 정리 내용입니다. 자세한 내용은 "스파크 완벽 가이드" 책을 통해 확인해주세요. 구조적 스트리밍의 기초 구조적 스트리밍: Spark SQL 기반 스트림 처리 프레임워크(Dataframe, Dataset, SQL 사용) 스트리밍 연산(배치 연산과 동일하게 표현) 사용자: 스트림 처리용 코드, 목적지 정의 구조적 스트리밍 엔진: 신규 데이터에 대한 증분 & 연속형 쿼리 실행 구조적 스트리밍 엔진: 카탈리스트 엔진(코드 생성, 쿼리 최적화 등의 기능 지원) 사용해 연산에 대한 논리적 명령 처리 여러 부가 기능 제공: 정확히 한 번 처리(exactly once 처리), checkpoint, WAL(write-ahead log) -> 내고장성 제공 핵..