본문으로 바로가기

IT PROGRAM & 가상화폐 SINCE 2006

현재위치 :: HOME BLOG CATEGORY SEARCH ARCHIVE TAGS MEDIA LOCATION GUESTBOOK

네비게이션

  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록
관리자
  • 블로그 이미지
    영진은정아빠

    프로그래밍 언어 관련 지식 & 가상화폐 관련 내용 공유 블로그 입니다.

    링크추가
  • 글쓰기
  • 환경설정
  • 로그인
  • 로그아웃

NBA 보스턴, 필라델피아 꺾고 동부 결승행…테이텀 51점 원맨쇼

미국프로농구(NBA) 보스턴 셀틱스가 플레이오프(PO) 역대 7차전 최다인 51점을 쓸어 담은 제이슨 테이텀의 신들린 활약을 앞세워 동부 콘퍼런스 결승에 진출했다. 보스턴은 15일(이하 한국시간) 미국 매사추세츠주 보스턴의 TD가든에서 열린 2022-2023시즌 NBA 동부 PO 2라운드(7전 4승제) 7차전에서 필라델피아 세븐티식서스에 112-88로 이겼다. 이로써 보스턴은 두 시즌 연속 콘퍼런스 결승 진출에 성공, 18일부터 마이애미 히트와 챔피언결정전 진출을 다투게 됐다. 보스턴은 지난 시즌 콘퍼런스 결승에서도 마이애미를 만나 4승 3패로 눌렀다. 챔프전에서는 골든스테이트 워리어스에 패했다.

카테고리 없음 2023. 5. 16. 13:14

'서머타임' 오는 일요일, 11월 3일 해제

올해 서머타임(Daylight Saving Time·DST: 일광절약시간제)이 오는 일요일, 11월 3일 오전 2시 해제된다. 3일 오전 2시를 1시로 한시간 뒤로 돌리면 된다. 이를 보통 Fall Back(서머타임 시작은 Spring Forward)이라 한다. 이에 따라 뉴욕, 워싱턴DC 등 미 동부지역과 한국의 시차는 13시간에서 14시간으로, LA등 서부는 16시간에서 17시간으로 각각 늘어난다. 즉 미국 동부시간 11월 3일 오전 7시는 한국시간으로는 14시간 빠른 3일 오후 9시가 된다. 서머타임 해제 후 미국 다른 지역과 한국의 시차를 보면 △시카고 등 미국 중부지역 15시간 △덴버 등 산악지역 16시간 등이다. 다만 하와이와 사모아, 괌, 푸에르토리코, 미국령 버진 아일랜드, 애리조나주 등은..

카테고리 없음 2020. 2. 19. 11:13

[MySQL, MariaDB] Redo log 속도Insert (innodb_flush_log_at_trx_commit

innodb_flush_log_at_trx_commit MySQL, MariaDB에서 사용되는 Redo log 옵션(innodb_flush_log_at_trx_commit)에 대해 알아본다. Redo log의 기록 옵션은 총 3가지로 innodb_flush_log_at_trx_commit 옵션에 의해 결정된다. innodb_flush_log_at_trx_commit 는 커밋 로그에 대하여 Disk Flush를 언제 발생 시킬지에 대한 옵션이다. 기본값은 1로 설정이 되어있고 1은 트랜젝션이 발생할 때마다 디스크에 플러시가 발생한다. 2로 설정하면 1초마다 디스크로 플러시가 발생하게되고, 그만큼 io가 줄어들기때문에 성능 향상을 기대할 수 있다. (단 장애시 1초 정도의 트랜젝션은 유실될 수 있다.) 1...

DBMS/MySQL 2019. 9. 10. 10:17

[CentOS 7] MongoDB(몽고DB) 설치 가이드

CentOS 7 몽고DB 설치 가이드 몽고DB는 크로스 플랫폼 도큐먼트 지향 데이터베이스 시스템이다. NoSQL 데이터베이스로 분류되는 몽고DB는 JSON과 같은 동적 스키마형 도큐먼트들을 선호함에 따라 전통적인 테이블 기반 관계형 데이터베이스 구조의 사용을 삼간다. [출처 : 위치백과] * 설치되는 몽고DB 버전은 4.2버전을 기준으로 한다. 1. CentOS YUM 리파지토리(repository) 추가하기 몽고DB는 CentOS에 기본 리파지토리에 포함되어 있지 않다. 리파지토리 파일을 생성하기 위해 아래 내용을 입력하여 파일을 생성한다. 경로 : /etc/yum.repos.d/mongodb-org.repo $[mongo@localhost ~]# sudo vi /etc/yum.repos.d/mongo..

DBMS/MongoDB 2019. 8. 29. 09:23

Java, max user processes, open files

올해 사내 블로그 포스팅 주제로 Linux의 open files, max user processes 설정에 대해 정리하게 되었습니다. 계기는 단순했습니다. 팀에서 서버 작업하던 중 쓰레드와 관련해서 문제가 발생했는데요. 제가 진행하던 일이 아니라서 옆에서 해결하는 과정을 지켜봤습니다. 부끄럽게도 전혀 모르는 내용이 오고 갔습니다. 복기가 필요하단 생각에 정리를 진행 하던 중, 이왕 하는김에 회사 블로그에 올리면 좀 더 자세히 공부하지 않을까 하는 마음에 선택하게 되었습니다. (퀄리티는 에피타이저, 마음만은 메인 디쉬로 가겠습니다!) 여기에서 사용된 코드는 실제 회사에서 사용한 코드는 아니며, 포스팅을 위해 최대한 유사하게 만들어진 별도의 샘플 코드임을 먼저 말씀드립니다. 1. Max user proces..

JAVA 2019. 4. 25. 15:10

Google Cloud의 Speech API 사용해보기

Google Cloud의 Speech API 사용해보기 아래 내용은 https://jungwoon.github.io/google%20cloud/2018/01/17/Speech-Api/ 사이트가 출처 입니다.이번에는 구글의 Speech API를 한번 정리해보도록 하겠습니다.Speech API는 구글의 머신러닝 기술을 이용하여 음성을 분석해주는 기술입니다.크게 아래와 같은 기능들을 이용할 수 있습니다.오디오를 텍스트로 변경노이즈 켄슬링스트리밍 제공전 세계 80가지 이상의 언어와 방언을 인식자세한 부분은 공식 문서를 확인해주세요사전 준비이제 개발을 하기 전에 필요한 사전 설정부분에 대해서 설명 드립니다.Cloud Translation API 사용 허용해주기먼저 Cloud Translation API의 사용 설..

JAVA 2018. 9. 13. 17:41

웹 취약점 (RSA 알고리즘) 로그인 아이디, 패스워드 암호화

웹 취약점 (RSA 알고리즘) 로그인 아이디, 패스워드 암호화 해커로 부터 웹 사이트를 방어하는 일은 생각보다 까다롭고 귀찮은 작업입니다.HTTPS를 적용한다고 하더라도 인증서 교환 방식, Proxy 방식등 여러 기법들을 이용해서 해커는 사용자의 중요한 정보(패스워드, 계좌번호, 개인정보 등)를 훔쳐가게 됩니다. 여기서 다룰 내용은 완벽하게 해커가 해킹을 하지 못하게 한다기 보다는 해커가 중요정보를 가져가는 행위를 조금더 복잡하고 어렵게 하기 위한 방법입니다.결국, 암호화라는 방식도 언젠가는 복호화가 되기 마련입니다.(키가 업더라도...) 단, 복호화에 들어가는 시간이 얼마나 걸리냐의 문제겠지요. RSA는 비대칭 방식으로 암호화 하여 공개키(공개된 키)와, 개인키를 이용한 암호화 방식입니다. 사용자가 로..

웹 보안 (CC인증) 2018. 9. 12. 09:12

메이븐(MAVEN) RPM 플러그인으로 RPM 생성하기

메이븐(MAVEN) RPM 플러그인으로 RPM 생성하기 최근 수행한 프로젝트에서 스프링부트로 만든 어플리케이션의 최종 빌드 모습은 다음과 같았다.myapp.warmyapp-run.shconf/application.propertiesmyapp을 yum으로 설치해야 한다는 요구사항이 생겨서 위 파일들을 rpm 파일로 만들어야 할 일이 생겼다. 다행히 메이븐의 rpm-maven-plugin 플러그인을 사용하면 쉽게 rpm 파일을 만들 수 있다. * 참고로, rpm-maven-plugin은 rpmbuild를 사용하므로 rpmbuild를 먼저 설치해야 rpm-maven-plugin이 올바르게 동작한다. rpm-maven-plugin 설정 예제 다음은 rpm-maven-plugin의 설정 예제이다. org.code..

JAVA 2018. 9. 7. 15:23

Apache Solr 쿼리

Apache Solr 쿼리 검색 쿼리 parameter sort - 정렬과 관련된 파라미터[Example] parameterdescriptionsort=score desc정확도를 높은데서 낮은데로 정렬한다.sort=price ascprice필드를 오름차순 정렬sort=inStock desc, price ascinStock필드를 내림차순 정렬한 후 price 필드를 오름차순 정렬한다. start - 검색된 결과값중 몇번째일지 ( default : 0)row - 결과값을 얼마나 출력할지[Example] parameterdescriptionstart=0&rows10첫번쨰 문서부터 총 10개의 문서를 출력한다. fq (Filter Query) - 검색된 결과중 또 한번 쿼리에 부합하는 검색 결과를 찾는다. AN..

색인/Apache Solr 2018. 8. 9. 17:41

Linux에서 자바 어플리케이션 서버 실행 쉘(Shell) 스크립트

Linux에서 자바 어플리케이션 서버 실행 쉘(Shell) 스크립트 JAVA로 작성한 jar파일을 데몬으로 돌려야할 때 필요한 쉘 스크립트 정리 기본적으로 java -jar 를 이용해 jar파일을 실행하는 것을 서비스 운영 모드로 동작하게 해주는(관리 측면 효율성) 쉘 스크립트이다. #!/bin/sh SERVICE_NAME=서비스명 PATH_TO_JAR=실행할 JAR 파일 path.jar PID_PATH_NAME=./서비스명.pid JAVA_OPT="-Xms2048m -Xmx2048m -XX:PermSize=256m -XX:MaxPermSize=512m" case $1 in start) echo "Starting $SERVICE_NAME ..." if [ ! -f $PID_PATH_NAME ]; then..

JAVA 2018. 8. 7. 11:09

조민기, 경찰조사 앞두고 9일 사망

조민기, 경찰조사 앞두고 9일 사망 ‘성추행 혐의’로 경찰 출두를 앞두고 있는 배우 조민기가 유명을 달리했다. 조민기는 9일 오후 4시 경 서울 광진구 구의동에 위치한 아파트에서 숨진채 발견됐다. 아내가 발견해 구급대에 신고한 것으로 알려졌다. 조민기는 자신의 모교인 청주대학교에서 교수로 재직하던 당시 수명의 제자들을 성추행한 혐의로 결찰 조사를 앞두고 있었다. 충북지방경찰청 측은 10여명의 피해자의 진술을 확보하고 오는 12일 오후 조민기를 소환할 예정이었다.

카테고리 없음 2018. 3. 9. 17:14

Spring에서 RequestMapping 전체 목록 화면에 출력 하기

Spring에서 RequestMapping 전체 목록 화면에 출력 하기 오늘 소개해 드릴 내용은 Spring에서 작성된 RequestMapping 전체 목록을 화면에 출력하는 내용입니다. 스프링으로 개발하다보면 전체 RequestMapping 리스트가 필요하게 되는데 다음과 같이 작성 하시면 됩니다. 아래 코드는 /endPoints URL 호출을 하게 되면 화면에 RequestMapping 리스트를 출력 할 수 있도록 데이터를 생성하는 과정입니다. import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Map.Entry; import org.springframe..

JAVA/Spring 2018. 3. 7. 11:01

Spring 스케쥴러를 이용한 파일 삭제 (수정한 날짜 기준 데이터 삭제)

Spring 스케쥴러를 이용한 파일 삭제 (수정한 날짜 기준 데이터 삭제) 프로그래밍을 하다보면 가비지(Garbage) 파일에 대한 처리를 해야 할 때가 발생하곤 합니다. 때로는 가비지(Garbage) 파일이 생기지 않도록 설계를 하는 것이 좋은 방법이긴 하지만, 상황에 따라 발생하게 되는 경우가 종종 생깁니다. 이때 필요한 방법 중 한가지를 소개 하려고 합니다. 다음과 같은 전재 조건이 발생 한다면, 좋은 참고 자료가 될 것 같습니다.(가비지(Garbage)파일이 수정한 날짜 기준으로 7200초(2시간)가 지난 파일은 삭제 처리를 해야 한다.) 삭제 처리 방식1. spring 스케쥴링을 이용하여 1시간 간격으로 파일 모니터링2. 파일의 수정한 날짜가 2시간이 경과한 경우 삭제 처리 import java..

JAVA 2018. 3. 7. 10:43

HTML5 VIDEO 스트리밍(STREAMING) 서버 프로그래밍 - JAVA

HTML5 VIDEO 스트리밍(STREAMING) 서버 프로그래밍 - JAVA 오늘은 HTML5 태그 중 VIDEO 기능에 대해 소개 하려고 합니다.VIDEO 태그는 웹에서 동영상을 플레이 하기 위한 기능입니다. 예전에는 active X 방식이나 별도의 플러그인 형태로 동영상을 재생 했었습니다. 하지만, 동영상을 재생하기 위해 스트리밍을 할 필요가 있습니다. 꼭 스트리밍 방식이 아니여도 상관은 없을테지만 용량이 큰 동영상의 경우에는 반드시 스트리밍 방식이 필요합니다. 아래는 스트리밍 처리를 위한 서버사이드(java)측 내용을 공유 하려고 합니다. 아래 내용에서 주요 관심 포인트는 다음과 같습니다.1. HTTP RESPONSE 응답 코드2. HTTP REQUEST 헤더의 RANGE 우선 HTML의 VIDE..

JAVA 2018. 3. 7. 10:33

MySQL Rhel7 5.7 설치

MySQL 5.7 버전 설치 가이드 필자의 경우 mysql Ver 14.14 Distrib 5.7.20, for Linux (x86_64) using EditLine wrapper 버전을 설치 하였으며, 리눅스 rhel7 64비트 버전이다. 1. Add New Repositoryyum localinstall https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm(대상 버전은 https://dev.mysql.com/downloads/repo/yum/ 에서 최신버전 확인 가능) 2. Install MySQL 5.7yum -y install mysql-community-server 3. Start MySQL and Enable Start a..

DBMS/MySQL 2018. 1. 15. 20:17

Node JS 채팅 jsp 소스

Node JS 채팅 소스 이번 포스팅에서는 Node JS를 활용한 채팅 소스 중 JSP 소스를 공유하려고 합니다. 먼저 소스 내용은 아래와 같습니다. 아래 소스를 보시고 궁금하신 내용이나 질문사항은 문의 주세요. Ready...

JAVASCRIPT/Node.js 2018. 1. 3. 16:28

모든 코인 트위터 주소

에이다-https://twitter.com/ADAcoin_ 뉴메레르-https://twitter.com/numerai 인터넷오브피플-https://twitter.com/IoP_community 메메틱-https://twitter.com/pepecoins 블록틱스-https://twitter.com/blocktix 바이트볼-https://twitter.com/ByteballOrg 엘라스틱-https://twitter.com/elastic_coin 디크레드-https://twitter.com/decredproject 페이션토리-https://twitter.com/patientory 디센트럴랜드-https://twitter.com/decentraland 라이즈-https://twitter.com/RiseVis..

가상화폐 2018. 1. 3. 14:11

2018년에도 폭풍랠리 합니다. 비트코인 호재 모음

(2018년에도 폭풍랠리 합니다.) #1/1 텐엑스페이토큰 (PAY) 전 세계적 카드 발급 * 2018년 1분기 초 예정 1/1 비트코인캐시 (BCC/BCH) 코인베이스 등록 1/1 코모도 (KMD) Bitcoindark 교환 1/1 아더 (ADOR) 플랫폼 런칭 1/1 유빅 (UBQ) 투표 토큰 * 균형을 유지하는 주소에 월간 토큰 배포 1/1 익스펜스 (EXP) DAO 테스트 런칭 1/2 비트코인 (BTC) 비트코인캐시플러스 포크 1/3 퀀텀 (QTUM) 유나이티드 비트코인 에어드랍 1/5 에이다 (ADA) 로드맵 업데이트, 다음 업데이트 1/5 골렘 (GNT) 첫 번째 사용 사례 * 블렌더 렌더링 1/5 비트코인 (BTC) 피어 서밋 1/5 비트코인캐시 (BCC) 사기 논박 마감 deadlin to..

가상화폐 2017. 12. 26. 15:50

카카오 루빅스

카카오 루빅스 발췌 루빅스는 실시간으로 사용자 반응을 분석하여 콘텐츠를 추천하는 카카오의 추천 시스템입니다. 2015년 5월에 다음 포털 뉴스 서비스의 일부 사용자를 대상으로 뉴스 기사를 추천하기 시작했고, 한달 뒤인 6월부터 전체 사용자에게 확대 적용했습니다. 현재는 다음 뉴스 뿐 아니라 카카오톡 채널 등 다양한 콘텐츠 서비스에서 루빅스의 추천 서비스를 사용하고 있습니다. 다음 뉴스에 루빅스를 적용한 후에 나타난 긍정적인 효과와 지표 상승에 관한 이야기는 이전에 몇 차례 다룬 적이 있습니다.(관련 글 참고)이번 글에서는 루빅스가 실시간 추천 시스템으로서 어떤 특징을 가지고 있고 어떻게 구현하였는가를 이야기해 보려고 합니다.실시간 데이터 처리루빅스의 첫 적용 사례는 다음 뉴스 서비스 였습니다. 그런 이유..

카테고리 없음 2017. 12. 6. 11:42

배우 김주혁.. 구탱이형.. 교통사고 사망. 오보이길 바랍니다.

배우 김주혁씨 우리에겐 구탱이형으로 잘 알려진 배우. 사망 소식입니다. 오보이길 바랍니다. 무슨 까닭인지 모르겠지만 벤츠 SUV가 전복된 사진을 보고 놀랐는데, 그게 배우 김주혁씨 였다고 하니 더욱 놀랍고 충격적이다. 드라마를 챙겨보는 편은 아니지만 얼마전 드라마 앵커로도 나오신 것 같은데,, 전에 1박2일에서도 몇번 봤던터라 그냥 동네형님 같은 친근감 있는 배우셨는데 삼가 고인의 명복을 빕니다.부디 좋은곳으로 가시기 바랍니다.

카테고리 없음 2017. 10. 30. 19:33

linux OpenSSL 1.0.2 설치

linux OpenSSL 1.0.2 설치 1. 설치파일 다운로드 하기http://www.openssl.org/source/ 2. 압축풀기tar xvfz openssl-1.0.2.tar.gz 3. 설치하기# cd openssl-1.0.2# ./config# make# make install config를 실행할 때 prefix를 주지 않으면 /usr/local/ssl 에 설치된다.다른 디렉토리에 설치를 하고 싶으면# ./config --prefix=/usr/local -- openssldir=/usr/local/openssl나는 --prefix=/usr/로 주었다. openssl의 실행파일 : /usr/local/ssl/bin인증서비스를 위한 파일 : /usr/local/openssl 에 설치된다. 4. ..

WAS/Apache Tomcat 2017. 10. 26. 20:31

Tomcat(톰캣)에서 HTTP/2 (HTTP 2.0) 사용하기

Tomcat(톰캣)에서 HTTP/2 (HTTP 2.0) 사용하기 버전 : Apache Tomcat 8.5.15 이상만 가능설정 : 로그 :26-May-2017 04:59:37.248 INFO [main] org.apache.coyote.http11.AbstractHttp11Protocol.configureUpgradeProtocol The ["http-nio-8080"] connector has been configured to support HTTP upgrade to [h2c]

WAS/Apache Tomcat 2017. 10. 26. 17:55

이클립스 한글 검색

이클립스 한글 검색 혹시 한번쯤 그런 고민 해본적 있으신가요? 전체 소스 코드에서 한글이 들어있는 곳을 검색해야 할때! 이클립스 검색창에 특정 키워드를 입력해서 검색하는 일은 쉽지만,전체 한글이 포함된 모든 파일과 라인을 찾기란 어려운 일이죠. 아래 그림과 같이 입력하여 검색 해보세요~ (?=((? * Regular expression 항목에 반드시 체크 되어야 합니다. 검색 후 결과는 아래 그림과 같습니다.

Tool/Eclipse 2017. 10. 25. 14:37

SK인터넷키폰 VOIP 웹접속하기 2편

SK인터넷키폰 VOIP 웹접속하기 2편 PC에서 전화기로 접속하는 방법 웹접속을 하기 위해서는 전화기에서 먼저 접속을 허용한후PC에서 전화기로 접속을 하여야 합니다. 오늘은 PC에서 전화기로 접속하는 방법을 알려드리겠습니다. 웹접속을 이용하면 PC에서 다양한 기능을 구현하여사용할 수 있으며, 대표적인 기능으로는 전화번호부 일괄 등록 허용을 할 수 있어서전화번호부로 사용할 수 있습니다. 접속을 위해서는 내 인터넷전화기의 IP주소를 알아야 합니다. 내 인터넷전화 IP주소 확인하는 방법은 아래와 같습니다. 내 전화기의 고유전화번호입니다. 전화기 하단의 화살표 메뉴버튼을 눌러보세요 위의 사진과 같이 화면이 뜨시나요? 전화기 버튼 2나 볼륨(VOL.) 버튼을 이용하여 '상태정보'를 지정해 보세요.전화기 버튼을 누..

인터넷 전화기 2017. 10. 25. 14:29

SKB 사무실키폰 VOIP 웹 접속 하기

SKB 사무실키폰 VOIP 웹 접속 하기 SK인터넷키폰 VOIP 웹접속하기 1편 / 전화기에서 허용하는 방법 인터넷키폰에서 웹접속을 하기 위해서는 전화기에서 먼저 허용을 해주어야 합니다. 현재 사용중인 IP335 전화기에서 허용하는 법을 알려드리겠습니다. IP335 전화기 하단의 메뉴버튼을 누르고 전화기 버튼 5 또는 볼륨버튼을 이용하여 '유지보수' 기능을 선택합니다. 위와 같이 '관리자 인증' 으로 관리자 암호를 입력하라는 메시지가 뜹니다. 관리자 인증 암호는 skb_ipp 이며 전화기 버튼에서 하나씩 찾아서 입력을 하시면 됩니다.skb 는 전화기버튼 752 , 언더바(_) 는 ** , ipp는 전화기버튼 477을 이용하고 하나씩 입력할때 마다볼륨버튼 ▼ 이용하면 됩니다. s (전화기 버튼 7) 볼륨버..

인터넷 전화기 2017. 10. 25. 14:23

Node JS 채팅

Node JS 채팅 소스 이번 포스팅에서는 Node JS를 활용한 채팅 소스를 공유하려고 합니다.우리가 개발해오면서 웹에서 채팅은 기술적으로 한계를 많이 느끼곤 했었습니다.처음 개발할때는 polling방식으로 iframe에 요청을 주기적으로 했었습니다. 문제는 불필요한 요청이 너무 많고 주기적으로 호출하는 시간이 너무 애매하다는 결론에 도달 하였고, Long polling 방식인comet 기술을 사용했었는데요. 어째든 결론은 부족하다 였습니다. 현재는 websocket 기술도 대중화 되어가는 시점인 듯 합니다. 아래는 제가 간단히 작성한 코드입니다.서버측 소스인 Node JS 스크립트 입니다.실행을 하게되면 3303포트를 Listen 하게 됩니다. 아래 소스는 첨부파일을 로컬 경로에 저장하는 부분도 포함..

JAVASCRIPT/Node.js 2017. 10. 25. 13:59

Apache Tomcat HTTPS 인증서 생성 / 적용 방법

HTTPS 인증서 생성 방법 인증서 생성은 RHEL6.8을 기준으로 작성 되었습니다. 인증서 생성 시 아래 내용은 서버에서 실행합니다. 1. UI서버에 SecureCRT 또는 Putty로 서버에 접속합니다. 2. 하단의 명령어를 입력합니다. keytool -genkey -keyalg RSA -sigalg SHA256withRSA -keysize 2048 -genkeypair -validity 365 -alias xcurenet -keystore -storepass password -keypass password -dname "CN=, OU=단체명, O=조직명, ST=seoul, C=KR" 예를 들어 UI접속 하는 IP주소가 192.168.0.1에 /users/apache/conf 경로에 key.keyst..

WAS/Apache Tomcat 2017. 10. 25. 13:09

SOLR 한글 웹문서 색인을 위한 Tokenizer, Filter세팅방법

HTML로 구성된 웹문서를 색인하기 위해서는 기본적으로 HTML테그의 내용을 제거하는 필터링 작업이 필요하다. solr는 이미 HTMLStripWhitespaceTokenizerFactory라는 HTML의 테그를 제거하고 색인할 수 있는 방법을 제공한다.schema.xml파일 하지만, 위의 그림과 같이 한글의 경우에는 space단위로 token이 나누어 지기 때문에 CJKTokenizerFactory와 같은 검색결과를 얻을 수가 없다. 하여, solr 1.3에서 새롭게 추가된 NGramFilterFactory를 추가로 이용하여 ngram색인을 해보기로 하였다.schema.xml파일 CJKTokenizerFactory와 같지는 않지만 그런대로 결과는 만족!!!하지만, 영문도 ngram을 해버리기 때문에 다..

색인/Apache Solr 2017. 10. 24. 11:45

Solr 스키마

schema.xml 1. Schema의 정의- 데이터베이스의 구조와 제약조건에 관한 전반적인 명세를 기술한 것- 데이터베이스를 구성하는 데이터 개체, 속성, 관계 및 제약조건 등에 관해 전반적으로 정의함- 스키마는 데이터 사전에 저장되며 메타 데이터라고도 불린다. 2. Solr의 schema.xml (http://wiki.apache.org/solr/SchemaXml)- The schema.xml file contains all of the details about which fields your documents can contain, and how those fields should be dealt with when adding documents to the index, or when querying..

색인/Apache Solr 2017. 10. 24. 11:45

Web Site 본문 추출(요약)

프로젝트 첫 번째. Web Site 본문 추출에 대한 프로젝트를 진행 하려고 합니다. 무수히 많은 Web Site에서 무작위 Crawling을 통한 웹사이트의 정보를 추출하기란 매우 어려운 일 입니다.가령 특정 사이트만을 전재로 한다면 별 어려움 없이 개발이 가능 할 수도 있겠습니다.예를 들어 java의 open LIB인 jsoup을 활용한다면, 불과 몇 줄의 코딩 만으로도 웹사이트 내용을 불러올 수 도 있겠지요. 제가 진행하려고 하는 내용은 아래와 같습니다. 1. 특정 도메인으로 한정되지 않아야 한다.2. 웹 사이트의 title, description, 대표 이미지, 본문 내용 추출3. 본문 내용은 html 태그가 포함된 내용과 텍스트 내용과 분리 추출4. 사이트 별 내용을 DB 저장 및 색인 처리 다..

WEB Scraping(Crawling) 2017. 10. 24. 11:35
  • 이전
  • 1
  • 2
  • 다음

사이드바

반응형

NOTICE

  • 전체 보기
MORE+

CATEGORY

  • 분류 전체보기 (32)
    • 가상화폐 (2)
    • JAVA (9)
      • Spring (1)
    • JAVASCRIPT (2)
      • Node.js (2)
    • WEB Scraping(Crawling) (1)
    • 색인 (3)
      • Apache Solr (3)
    • WAS (3)
      • Apache Tomcat (3)
    • 인터넷 전화기 (2)
    • Tool (1)
      • Eclipse (1)
    • DBMS (3)
      • MySQL (2)
      • MongoDB (1)
    • 안드로이드 (0)
    • 웹 보안 (CC인증) (1)

RECENTLY

  • 최근 글
  • 최근 댓글

최근 글

최근댓글

Trackback

  • 홈으로
  • 방명록
  • 로그인
  • 로그아웃
  • 맨위로
SKIN BY COPYCATZ COPYRIGHT IT PROGRAM & 가상화폐 SINCE 2006, ALL RIGHT RESERVED.
IT PROGRAM & 가상화폐 SINCE 2006
블로그 이미지 영진은정아빠 님의 블로그
MENU
  • 홈
  • 태그
  • 미디어로그
  • 위치로그
  • 방명록
CATEGORY
  • 분류 전체보기 (32)
    • 가상화폐 (2)
    • JAVA (9)
      • Spring (1)
    • JAVASCRIPT (2)
      • Node.js (2)
    • WEB Scraping(Crawling) (1)
    • 색인 (3)
      • Apache Solr (3)
    • WAS (3)
      • Apache Tomcat (3)
    • 인터넷 전화기 (2)
    • Tool (1)
      • Eclipse (1)
    • DBMS (3)
      • MySQL (2)
      • MongoDB (1)
    • 안드로이드 (0)
    • 웹 보안 (CC인증) (1)
VISITOR 오늘 / 전체
  • 글쓰기
  • 환경설정
  • 로그인
  • 로그아웃
  • 취소

검색

티스토리툴바