dataset
-
[스파크 완벽 가이드] Chapter 11 - DatasetDev/Spark 2020. 11. 15. 04:44
* 해당 포스트는 "스파크 완벽 가이드" 책을 읽고 난 이후의 정리 내용입니다. 자세한 내용은 "스파크 완벽 가이드" 책을 통해 확인해주세요. Dataset? Dataset: 구조적 API의 기본 데이터 타입, Scala와 Java에서만 사용 가능 Dataframe: Dataset[Row] 11.1 Dataset을 사용할 시기 DataFrame 기능만으로는 수행할 연산을 표현할 수 없을 때 복잡한 비즈니스 로직을 SQL이나 DataFrame 대신 단일 함수로 인코딩해야 하는 경우 성능 저하를 감수하면서 타입 안정성(type-safe)을 가진 데이터 타입을 사용하고 싶을 때 사용할 Function과 대상 Object의 데이터 타입이 맞지 않는 경우 처럼 데이터 타입이 유효하지 않은 작업을 수행하지 못하도록..