전체 글 썸네일형 리스트형 [ELK] Linux 내부 로그 가져오기 Data Flow 데이터 분석 흐름을 풀어 설명해보자면 , Filebeat로 log파일을 catch하여 전처리 log 파일을 Logstash로 data loading한다음 ElasticSearch로 data를 보내 분석한 후 Kibana를 통해 시각화 및 관리 터미널에서 실행하는 순서는 ( 순서 중요 ) elasticsearch 실행 kibana 실행 작성한 logstash conf파일 실행 filebeat 실행 구성 및 선결요건 elasticsearch-7.15.0 logstash-7.15.0 filebeat-7.15.0 kibana-7.15.0 elasticsearch 설정 및 실행 elasticsearch 설정 vi ~/prod/elk/elasticsearch-7.15.0/config/elastic.. 더보기 [Linux] $JAVA_HOME 설정 리눅스 $JAVA_HOME 환경변수 설정 # JAVA_HOME 설정확인 echo $JAVA_HOME # jdk 버전 확인 javac -version # jdk 버전 확인 javac -version # javac 위치 확인 which javac /usr/bin/javac readlink -f /usr/bin/javac /usr/lib/jvm/java-8-openjdk-amd64/bin/javac # $JAVA_HOME 설정 vi /etc/profile export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 # $JAVA_HOME 설정 확인 echo $JAVA_HOME /usr/lib/jvm/java-7-openjdk-amd64 $JAVA_HOME/bin/javac -ve.. 더보기 [Linux] Oracle 11g 설치 참고 https://sarc.io/index.php/oracledatabase/506-linux-oracle-database-11g-express-edition-oracle-xe-11-2-0-1-0-x86-64 https://community.oracle.com/tech/developers/discussion/4287159/oracle-database-11g-release-2-express-edition-for-windows-64 ■ 설치 (참고: 설치가이드 url(https://shineum.tistory.com/133)) 설치경로: https://www.oracle.com/database/technologies/xe-prior-release-downloads.html 설치파일: Oracle Datab.. 더보기 클러스터 운영 cf) 루씬인덱스: 엘라스틱서치는 루씬을 기반으로 사용함 샤드는 루씬의 단일 검색 인스턴스 처음 생성된 샤드는 프라이머리 샤드라 함 샤드가 똑같이 분배되지 않을때, POST, PUT, 샤드 강제 분배를 진행함 다이나믹 인덱스 운영중에 인덱스 세싱 변경 restapi를 이용해서 처리가능 템플릿을 만듦 curl 9200 : 엘라스틱서치 _template : 템플릿 httpd-access-log-d 아파치 웹서버와 관련된 로그 설정 ip,host, uri, datetime, @timestamp 등 을 이용해 하나의 템플릿을 만들고, 템플릿의 타입이 맞으면 데이터가 인덱싱된다. 더보기 Kibana 활용 Aggregation -> 집계 Time Lion -> 시계열 분석기 Dev Tools -> SQL의 Group By 와 유사 시계열 데이터를 분석하는 것 Timelion 표현식들을 잘활용해서 의미있는 시계열 데이터를 뽑아낼 수 있음 이렇게 한꺼번에 상황판처럼 쓸 수가 있음 Dev Tools x-Pack Profiler -> 성능에 대한 판단을 할 수 있음 더보기 elk setting elasticsearch-7.15.0 filebeat-7.15.0 kibana-7.15.0 logstatsh-7.15.0 도커로 oracle 띄우기 https://dbwriter.io/oracle-installation-with-docker/ 도커로 Oracle 간단 설치하기 Docker를 이용하여 Oracle 간단히 설치하는 방법 dbwriter.io docker start oracle11g netstat -ntlp | grep 9200 cd ~/prod/elk/elasticsearch-7.15.0/config cd bin/elasticsearch cd ~/prod/elk/logstash-7.15.0/bin ./logstash -r -f "../config/logstash-test.conf" 더보기 [Elastic Search] 클러스터 구성하기 클러스터 이름은 같게 설정해야 함 (아님 다른 클러스터로 인식함) 클러스터 2개 - 노드 2개 클러스터 1개 - 노드 1개 #기존에 만든 elasticsearch 복사 $ cp -r es-716/ node-1 # config 파일 수정 vi config/elasticsearch.yml/ cluster.name: "cluster-1" node.name: "node-1" #실행 ./bin/elasticserach #이미 실행된 경우, 죽이고 다시 실행 $ ps -ef | grep elasticsearch hyper 3542 2700 0 22:41 pts/0 00:00:00 grep --color=auto elasticsearch $ kill 2700 #실행여부 확인 $ curl localhost:9200 $.. 더보기 vscode 오프라인 extension 설치 https://smilekimna.tistory.com/m/entry/vscode-%EC%98%A4%ED%94%84%EB%9D%BC%EC%9D%B8%EC%97%90%EC%84%9C-extension-%EC%84%A4%EC%B9%98 vscode 오프라인에서 extension 설치 1) 마켓 플레이스 접속하여 다운받고 싶은 툴 선택! https://marketplace.visualstudio.com/ Visual Studio Marketplace Extensions for Visual Studio family of products on Visual Studio Marketplace marketpl.. smilekimna.tistory.com 더보기 이전 1 2 3 4 5 6 7 ··· 26 다음
