분류 전체보기
-
2020.06.30 오늘의 일지Dev/개발일지 2020. 7. 1. 02:04
이전 기록 https://povia.tistory.com/10 https://povia.tistory.com/19 Timer와 TimerTask에서 10초에 한 번 데이터를 출력하도록 설정하는 것은 성공. 시스템의 하드웨어 자원을 모니터링하려고 찾아보는데 Java 1.7부터 추가된 com.sun.management.OperatingSystemMXBean라는 Interface가 존재하길래 사용. 일단 정보를 추가하기는 했는데 이걸 추가 작업해서 봤을 때 이해 가도록 수정해야할 것 같다. 추가한 내용은 다음과 같다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 OperatingSystemMXBean bean = (..
-
2020.06.26 오늘의 일지Dev/개발일지 2020. 6. 26. 17:45
이전 기록 https://povia.tistory.com/10 2020.06.04 오늘의 일지 google의 json-simple을 사용해 Json 메시지를 만드는 테스트용 java 프로그램을 만들었다. 물론 메시지는 지금은 단 한개만 출력하고 종료하지만 주기적으로 내 하드웨어 자원들을 파일로 저장하거나, povia.tistory.com 만들었던 테스트용 java 프로그램에서 일단 Timer와 TimerTask를 추가했다. 시간은 시작 시 바로, 10초 간격으로 json 메시지를 출력하도록 설정했다. 추가적으로 얼른 시스템 정보를 출력하도록 추가해봐야겠다. 주소는 여기에 https://github.com/povia/jsonMsgGenerator povia/jsonMsgGenerator Json Parsi..
-
[Hadoop] Hadoop 2 vs 3Dev/BigData 2020. 6. 26. 17:43
예전에 입사 후 했던 하둡 버전 비교. 1. 자바 최소 요구 버전 Hadoop 2.x: Java 7 Hadoop 3.x: Java 8 2. Fault Tolerance Hadoop 2.x : can be handled by replication (which is wastage of space) Hadoop 3.x : can be handled by Erasure coding Erasure Coding •Fault-tolerance를 위한 데이터 보존 기법 중 하나 •흔히 RAID-5에서 사용됨 •데이터 저장 시 EC Codec으로 데이터를 균일한 사이즈의 Data Cell/Parity Cell로 인코딩 •데이터 로드 시 Data Cell과 Parity Cell로 구성된 EC Group에서 유실된 Cell..
-
[백준] 1822 java 풀이법Dev/알고리즘 2020. 6. 26. 17:28
분류가 어떻게 되는지는 모르겠다. 일단 풀이 방법은 각 배열 aSet, bSet을 오름차순으로 정렬해주고, 정렬한 후 aSet을 bSet과 비교하며 aSet의 각 원소가 bSet의 비교 대상 원소보다 클 때에는 bSet의 포인터를 1 증가하고, bSet의 원소가 aSet의 원소보다 클 때에는 결과 셋에 저장하면서 aSet의 포인터를 1 증가, aSet의 원소와 bSet의 원소의 값이 동일하다면 두 포인터 모두 증가시키는 방법으로 수행했다. 예시를 가지고 설명한다면 4 3 2 5 11 7 9 7 4 에서 정렬을 하고 나면 2 5 7 11 4 7 9 가 될 것이고, 2부터 비교를 시작한다면 2 2를 결과 셋에 저장 후 aSet 포인터 1 증가, 5>4 => bSet의 포인터를 1 증가, 5 5를 결과 셋에 ..
-
[스파크] RDD, Dataframe, DatasetDev/BigData 2020. 6. 18. 15:15
(빅데이터 분석을 위한 스파크2 프로그래밍 1.1.5의 내용을 제 입맛대로 이해해본 내용입니다) ○모델 (프로그래밍에서) 현실 세계의 사물, 개념을 프로그래밍 언어로 설명하는 과정 데이터를 처리하기 위한 스파크 모델 -> RDD, Dataframe, Dataset RDD는 스파크에서 데이터를 처리하기 위해 가장 처음으로 나온 모델 Dataframe과 Dataset은 RDD의 단점 혹은 아쉬운 점을 해소하기 위해 나온 모델 ○RDD "분산 데이터"에 대한 모델. "값"으로 표현되는 데이터만 가리키는 것이 아님 -> 데이터를 다루는 방법까지 포함(Java의 클래스를 생각하면 된다) "스파크가 사용하는 핵심 데이터 모델로서 다수의 서버에 걸쳐 분산 방식으로 저장된 데이터 요소들의 집합을 의미하며, 병렬처리가 ..
-
2020.06.17 오늘의 일지Dev/개발일지 2020. 6. 17. 18:10
InfluxDB의 데이터를 주기적으로 삭제하기 위해 retention policy를 적용했다. Retention Policy는 InfluxDB에서 데이터베이스의 데이터를 저장하고 있는 기간을 의미한다. Influx의 Documentation 주소는 다음과 같다. https://docs.influxdata.com/influxdb/v1.8/query_language/manage-database/#create-retention-policies-with-create-retention-policy InfluxData Documentation | InfluxData Documentation docs.influxdata.com RETENTION POLICY를 생성/수정/확인/삭제하는 방법은 다음과 같다. 1 2 3 ..
-
[알고리즘] DFS와 BFS 정리Dev/알고리즘 2020. 6. 12. 01:53
DFS: Depth First Search 깊이를 우선으로 하는 검색 방법이다. 재귀 함수, 스택으로 구현한다. BFS: Breadth First Search 너비를 우선으로 하는 검색 방법이다. 큐로 구현한다. 위의 그림은 7을 찾아가는 과정을 DFS, BFS로 표현한 그림이다. DFS는 빨간색으로, BFS는 파란색으로 그려봤다. DFS는 tree의 level과 관계 없이 최상단(1)부터 각각의 leaf node까지를 찾아본 후, 다음 leaf node까지를 계속해서 검색하다 7이 나오면 종료한다. BFS는 같은 level의 node들을 모두 검색하고, 검색한 node들의 하위 node들을 검색하는 방식으로 작업이 수행된다. 그래서 DFS의 경우 5번, BFS의 경우 6번만에 7을 찾아 작업을 종료했다.
-
2020.06.10 오늘의 일지Dev/개발일지 2020. 6. 10. 15:05
html table을 수정하다가 innerText를 썼는데도 td의 값이 찍히지 않았다. 0 td는 속성이 "visibility:hidden;position:absolute;"로 되어 있어 보이지 않는 상태이고, td 내부에는 값을 0으로 준 상태이다. 이 상태에서 rows.cells[0].innerText를 수행할 경우 ""라는 결과가 나오길래 이유를 확인해보니 visibility가 hidden인 경우 브라우저 화면 상에 나오는 출력이 없기 때문에 innerText가 존재하지 않았던 걸로 해석이 됐다. 그래서, innerHTML을 사용해보니 "0"이라는 값이 정상적으로 찍히기에 js 상에서 $("tbody")[0].rows[0].cells[0].innerHTML; 을 사용해 값 처리를 했다.