Dev
-
2020.07.20 오늘의 일지Dev/개발일지 2020. 7. 20. 20:58
X-Frame-Options을 켜고(1) 사설 인증을 서버에 추가(2)하며 에러 핸들링을 추가적으로 수행(3)하도록 서버 설정을 변경함. (1)web app의 web.xml에 설정을 추가함. 1 2 3 4 5 6 7 8 9 10 11 12 httpHeaderSecurity org.apache.catalina.filters.HttpHeaderSecurityFilter antiClickJackingOption SAMEORIGIN httpHeaderSecurity /* Colored by Color Scripter cs Tomcat 7.0.7.7 이후부터는 httpHeaderSecurity를 사용할 수 있고, 이를 활용해 antiClickJackingOption을 설정함. 이를 통해 iFrame을 덮어씌우는 ..
-
2020.06.30 오늘의 일지Dev/개발일지 2020. 7. 1. 02:04
이전 기록 https://povia.tistory.com/10 https://povia.tistory.com/19 Timer와 TimerTask에서 10초에 한 번 데이터를 출력하도록 설정하는 것은 성공. 시스템의 하드웨어 자원을 모니터링하려고 찾아보는데 Java 1.7부터 추가된 com.sun.management.OperatingSystemMXBean라는 Interface가 존재하길래 사용. 일단 정보를 추가하기는 했는데 이걸 추가 작업해서 봤을 때 이해 가도록 수정해야할 것 같다. 추가한 내용은 다음과 같다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 OperatingSystemMXBean bean = (..
-
2020.06.26 오늘의 일지Dev/개발일지 2020. 6. 26. 17:45
이전 기록 https://povia.tistory.com/10 2020.06.04 오늘의 일지 google의 json-simple을 사용해 Json 메시지를 만드는 테스트용 java 프로그램을 만들었다. 물론 메시지는 지금은 단 한개만 출력하고 종료하지만 주기적으로 내 하드웨어 자원들을 파일로 저장하거나, povia.tistory.com 만들었던 테스트용 java 프로그램에서 일단 Timer와 TimerTask를 추가했다. 시간은 시작 시 바로, 10초 간격으로 json 메시지를 출력하도록 설정했다. 추가적으로 얼른 시스템 정보를 출력하도록 추가해봐야겠다. 주소는 여기에 https://github.com/povia/jsonMsgGenerator povia/jsonMsgGenerator Json Parsi..
-
[Hadoop] Hadoop 2 vs 3Dev/BigData 2020. 6. 26. 17:43
예전에 입사 후 했던 하둡 버전 비교. 1. 자바 최소 요구 버전 Hadoop 2.x: Java 7 Hadoop 3.x: Java 8 2. Fault Tolerance Hadoop 2.x : can be handled by replication (which is wastage of space) Hadoop 3.x : can be handled by Erasure coding Erasure Coding •Fault-tolerance를 위한 데이터 보존 기법 중 하나 •흔히 RAID-5에서 사용됨 •데이터 저장 시 EC Codec으로 데이터를 균일한 사이즈의 Data Cell/Parity Cell로 인코딩 •데이터 로드 시 Data Cell과 Parity Cell로 구성된 EC Group에서 유실된 Cell..
-
[백준] 1822 java 풀이법Dev/알고리즘 2020. 6. 26. 17:28
분류가 어떻게 되는지는 모르겠다. 일단 풀이 방법은 각 배열 aSet, bSet을 오름차순으로 정렬해주고, 정렬한 후 aSet을 bSet과 비교하며 aSet의 각 원소가 bSet의 비교 대상 원소보다 클 때에는 bSet의 포인터를 1 증가하고, bSet의 원소가 aSet의 원소보다 클 때에는 결과 셋에 저장하면서 aSet의 포인터를 1 증가, aSet의 원소와 bSet의 원소의 값이 동일하다면 두 포인터 모두 증가시키는 방법으로 수행했다. 예시를 가지고 설명한다면 4 3 2 5 11 7 9 7 4 에서 정렬을 하고 나면 2 5 7 11 4 7 9 가 될 것이고, 2부터 비교를 시작한다면 2 2를 결과 셋에 저장 후 aSet 포인터 1 증가, 5>4 => bSet의 포인터를 1 증가, 5 5를 결과 셋에 ..
-
[스파크] RDD, Dataframe, DatasetDev/BigData 2020. 6. 18. 15:15
(빅데이터 분석을 위한 스파크2 프로그래밍 1.1.5의 내용을 제 입맛대로 이해해본 내용입니다) ○모델 (프로그래밍에서) 현실 세계의 사물, 개념을 프로그래밍 언어로 설명하는 과정 데이터를 처리하기 위한 스파크 모델 -> RDD, Dataframe, Dataset RDD는 스파크에서 데이터를 처리하기 위해 가장 처음으로 나온 모델 Dataframe과 Dataset은 RDD의 단점 혹은 아쉬운 점을 해소하기 위해 나온 모델 ○RDD "분산 데이터"에 대한 모델. "값"으로 표현되는 데이터만 가리키는 것이 아님 -> 데이터를 다루는 방법까지 포함(Java의 클래스를 생각하면 된다) "스파크가 사용하는 핵심 데이터 모델로서 다수의 서버에 걸쳐 분산 방식으로 저장된 데이터 요소들의 집합을 의미하며, 병렬처리가 ..
-
2020.06.17 오늘의 일지Dev/개발일지 2020. 6. 17. 18:10
InfluxDB의 데이터를 주기적으로 삭제하기 위해 retention policy를 적용했다. Retention Policy는 InfluxDB에서 데이터베이스의 데이터를 저장하고 있는 기간을 의미한다. Influx의 Documentation 주소는 다음과 같다. https://docs.influxdata.com/influxdb/v1.8/query_language/manage-database/#create-retention-policies-with-create-retention-policy InfluxData Documentation | InfluxData Documentation docs.influxdata.com RETENTION POLICY를 생성/수정/확인/삭제하는 방법은 다음과 같다. 1 2 3 ..