Dev/개발일지
-
2020-10-26 오늘의 일지Dev/개발일지 2020. 10. 26. 15:55
Hive에서 Table을 생성할 경우 CREATE 문에 COMMENT를 한글로 작성하면 깨져서 저장됨. 해결 방법: Hive Metastore의 character set을 변경 heum-story.tistory.com/34 [리눅스] mysql,mariadb 한글 깨짐 현상 해결 방법(hive metastore) Hive에서 desc로 테이블 조회 시 한글 comment가 깨지는 경우가 있는데 hive의 metastore DB 한글 설정이 안되서 그럽니다. 아래 조치 방법입니다. 1. my.cnf 수정 [root@localhost]$ vi /etc/my.cnf my.cnf 파일.. heum-story.tistory.com 이 페이지에 자세하게 적혀있으니 확인해서 사용하면 결과가 정상적으로 출력되는 것을 ..
-
2020-09-17 오늘의 일지Dev/개발일지 2020. 9. 17. 17:59
WebMvcConfigurer의 addResourceHandlers addResourceHandler는 요청하기 위한 식별자 addResourceLocations는 실제 파일의 경로 의 형식으로 지정한다. 예를 들어 /etc/img/126.jpg를 읽어오기 위해서 addResourceHandlers에 ("/image_view/**")라고 addResourceHandler("/image_view/**").addResourceLocations( "file:/etc/img/" ); 로 설정한 경우 jsp에서는 로만 적용한다면 이미지가 정상적으로 출력된다.
-
2020-09-08 오늘의 일지Dev/개발일지 2020. 9. 8. 15:21
mysql 쿼리를 작성하다 보니 불현듯 까먹을까봐 저장. limit의 경우 몇개까지를 제한한다의 의미도 있지만 파라메터를 두개 사용할 경우 앞의 숫자는 skip의 의미를, 뒤의 숫자는 제한의 의미를 갖게 된다. 예를 들어 select ~~~~ limit 10,10의 경우 모든 결과 셋이 나온 다음에 그 중에서 앞의 10개는 건너뛰고 10개를 출력하라는 의미가 된다. limit 10이라고 작성을 할 경우 앞의 0개를 건너뛰고(0이 생략된 것) 10개 제한으로 출력하라는 의미로 이해했다. 페이징 처리에서 이를 사용해야겠다.
-
2020-08-13 오늘의 일지Dev/개발일지 2020. 8. 13. 14:49
Oracle Tablespace를 크게 만드는 두가지 방법 Oracle은 block size에 따라 생성할 수 있는 테이블스페이스 크기의 제한이 존재한다. 공식은 DB_BLOCK_SIZE*4194303 DB_BLOCK_SIZE는 기본 8k, 최대 설정할 수 있는 값은 32K이다. db_block_size maximum allowed size for datafile 2K 8GB 4K 16GB 8K 32GB 16K 64GB 32K 128GB 그래서, 테이블 스페이스를 저 제한 이상으로 만들었을 때 이런 에러가 나온다. 1 2 CREATE TABLESPACE err_space DATAFILE '/u01/app/oracle/oradata/orcl/err.dbf' SIZE 150g; cs 그렇다고 이 이상의 테이..
-
2020-08-12 오늘의 일지Dev/개발일지 2020. 8. 12. 17:48
aws의 s3에서 데이터를 받아와 Spark에서 이를 csv로 저장하는 프로토타입을 만들기로 했다. 구현 방향을 잡기 위해 일단 awssdk(v2)를 사용해 s3의 데이터를 작업용 랩탑에 저장하고, 저장된 데이터들을 Spark를 사용해 csv로 변환 후 저장하는 방향으로 두개로 나눠 구현했다. 1) s3 데이터 -> 로컬 데이터의 형식은 parquet이고, s3의 버킷 내에 폴더/년/월/일/parquet파일 구조로 이루어져 있었다. AwsCredentials을 사용해 인증키들을 설정하고(accessKeyId, secretAccessKey) S3Client Object를 빌드해 가져왔다. (인증키가 이미 PC에 있다면 EnvironmentVariableCredentialsProvider.create()를 ..
-
2020-07-31 오늘의 일지Dev/개발일지 2020. 7. 31. 17:01
서버 모니터링을 위해 작업 수행했던 내역 1) 컴퓨터 현황 모니터링 vmstat -nt 1 vmstat은 리눅스 자원 모니터링 도구로 메모리, cpu 사용률을 조회할 수 있다. 자세한 설명은 여기에. https://zetawiki.com/wiki/%EB%A6%AC%EB%88%85%EC%8A%A4_vmstat 리눅스 vmstat - 제타위키 다음 문자열 포함... zetawiki.com 결과 2) 전체 프로세스의 상태 조회 top을 사용해 각 프로세스의 점유 현황을 모니터링한다. top 화면이 나타나면 shift+m을 눌러 메모리 사용 순으로 조회. 3) jps 현재 실행 중인 "java" 프로세스들의 pid 조회용 jps bootstrap의 pid를 따로 저장함. 4) java 프로세스의 정보 확인 ji..
-
2020.07.27 오늘의 일지Dev/개발일지 2020. 7. 27. 13:10
Elastic Search의 설정을 변경하기 위해 elasticsearch.yml을 수정하다가 찾은 에러들. 사용 환경은 Windows 10. 1) 설정 항목명: 설정 값 사이에 한 칸씩 띄워줘야 한다. claster.name:test 가 아니라 claster.name: test 처럼 한 칸씩 띄워줘야 elastic search를 켤 때 에러가 나지 않는다. 2) 위치 설정 Windows의 경우 역슬래시를 경로 지정에 사용하고 있다. Elastic Search는 Java 기반이기 때문에 역슬래시를 사용할 때 항상 한번 더 사용해줘야 한다 (Java에서 역슬래시는 이스케이프 문자의 의미로 쓰임.) path.repo: ["C:\elastic\book_backup\search_example", "C:\elas..
-
2020.07.20 오늘의 일지Dev/개발일지 2020. 7. 20. 20:58
X-Frame-Options을 켜고(1) 사설 인증을 서버에 추가(2)하며 에러 핸들링을 추가적으로 수행(3)하도록 서버 설정을 변경함. (1)web app의 web.xml에 설정을 추가함. 1 2 3 4 5 6 7 8 9 10 11 12 httpHeaderSecurity org.apache.catalina.filters.HttpHeaderSecurityFilter antiClickJackingOption SAMEORIGIN httpHeaderSecurity /* Colored by Color Scripter cs Tomcat 7.0.7.7 이후부터는 httpHeaderSecurity를 사용할 수 있고, 이를 활용해 antiClickJackingOption을 설정함. 이를 통해 iFrame을 덮어씌우는 ..