개발일지 개발일지

SparkSession

• 2020.05.08 오늘의 일지

  Dev/개발일지 2020. 6. 1. 02:57

  SparkSession 실행 관련 1 2 3 4 5 6 7 8 9 10 11 12 13 public SparkSession setSpark(){ SparkSession spark = SparkSession.builder() .master("local[*]") // Cluster DeployMode일 경우 주석처리 .config("spark.submit.deployMode","cluster") // Local 마스터일 경우 주석처리 .config("spark.driver.host", "localhost") // Cluster DeployMode일 경우 주석처리 .config("spark.cleaner.referenceTracking.cleanCheckpoints", "true") .appName("MyAp..

  Read More
• 2020.05.25 오늘의 일지

  Dev/개발일지 2020. 5. 25. 17:41

  SparkSession을 종료할 일이 생겼다. 종료 요청이 온 경우 SparkSession.stop()과 SparkSession.close()를 사용해 종료를 하고 이를 SparkSession.sparkContext().isStopped()를 통해 종료했는지 아닌지를 체크해 연관된 다른 프로세스에서도 종료하도록 설정함. 뜯어봐야될 부분이 좀 더 많아진 느낌.

  Read More