검색엔진 sphinx 사용방법

sphinx.conf 파일을 설정하는데 조금 많은 내용이 있다.

이제 설정파일을 어떻게 설정할지 최대한 간단하게 설명하겠다.

아래 내용중 다루지 않은 설정이 있으니 첨부된 파일이나, 더보기를 통해 확인하여 예제를 진행하도록 한다.

sphinx.conf

1. 설정파일 열기

설정 파일을 연다.

2. source 설정

sphinx.conf 내용중 source 부분이다.

source 부분에서는 인덱스명을 지정하고, 어떤 데이터를 인덱싱 할 것이지 등등 설정하는 부분이다.

source명 : zipcode (테이블명으로 하는 것이 편하다.)

sql_query_pre : 한글 데이터를 위해 utf8로 설정한다.

sql_query : 어떤 데이터를 인덱싱 하기 위해서는 MySQL로부터 데이터를 가져와야 한다. 자신이 Sphinx를 통해 검색 할 데이터 내용, 검색 결과에 표시할 내용을 포함하도록 MySQL 쿼리문을 작성하면 된다. 단, 첫번째 필드는 절대로 중복되지 않는 Primary Key 또는 Unique Key 값을 줘야 한다. 따라서 이런 필드가 없다면 DB에 만들어야 한다.

sql_field_string : Sphnx가 데이터를 다루기 위해 필요한 선언이라고 생각하면 된다. 즉, 데이터 타입을 지정해주는 것으로 int, string, float 등 이라고 생각하면 된다.

sql_field_string 외에 아래와 같은 데이터 타입이 있다.

sql_attr_uint

sql_attr_bigint

sql_attr_timestamp

...

...

일단은 정상적인 실행이 되는지 확인하기 위한 차원이므로 데이터 형태에 따른 차이와 그에대한 자세한 내용은 다음 3부에서 다루도록 하겠다. (중요하기 때문에 필수적으로 봐야 할 것이다.)

2. index 설정

index 설정에는 한글 설정, 검색 방법 등등의 설정을 다루게 된다.

sphinx.conf 내용중 index 부분이다.

index명 : source명과 동일하게 해준다.

path : 인덱스한 파일이 저장되는 장소다. 위치는 상관없지만 데이터명은 쉽게 알아보기 위해 source명과 동일하게 처리해 주도록 한다.

charset_type : 한글 설정을 위해 utf-8로 해준다.

charset_table : sphinx.conf.dist 파일을 열어보면 utf-8 기본값으로 이미 위처럼 설정되어 있다. 그대로 복사해 사용한다.

ngram_len : 한글 검색을 위해 ngram을 설정해야 한다. 1값으로 설정한다.

ngram_chars : ngram을 검색하기 위해 나눌 단위를 설정한다. 한국어, 중국어, 일본어 모두 검색이 가능하도록 CJK를 사용하며 된다.

(CJK http://sphinxsearch.com/wiki/doku.php?id=charset_tables#cjk_ngram_characters)

n-gram이란?

sphinx.conf 내용중 type이 rt인 index 부분이다.

이제 2개 이상의 단어 검색을 해보자

이처럼 여러개를 검색 할 수 있다. 하지만 아래처럼 띄어 쓰기 없이 다시 입력해 보자

결과값이 동일하다는 것을 알 수 있다.

이것이 바로 n-gram 검색방식의 특징이다. 

'홍성갈산', '갈산홍성', '홍산갈성', '갈홍산성' 등등 글자 순서를 변경해도, 동일한 검색 결과를 가져오는 것을 알게 될 것이다.

구문 검색 (Parse Search)

일단 아래처럼 검색해보자

검색해보면 서울도 나오고, 전북도 나온다.

전북이 나온 Row를 보면 

전북 전주시 완산구 서서학동 산 81 라고 되어있다. 즉 서와 산자가 총 4개 포함되어 있기 때문에 상위 결과값으로 나온것이다. 

1위로 나온 Row는 5자가 포함되어 있음을 학인 할 수 있다. 

이처럼 일치하는 검색이 몇개이고, 얼마나 연관성이 있는지에 따라 weight값이 결정이 되면 가장 높은 weight값 순으로 정렬되어 검색 결과가 나오는 것이다.

그럼 이제 구문으로 검색하기 위해 검색어 양 옆에 따옴표를 붙이도록 하자.

공주라고 검색해보자

모든 필드에서 공주라는 검색어를 찾게된다.

만약 내가 원하는 것이 suburb에 있는 공주라고 한다면 필드명을 명시해주면 된다.

필드 검색시에는 필드명 앞에 @를 붙이고 한칸 뛰면 된다.

만약 검색할 필드가 2개 이상이라면 아래처럼 가로안에 필드명을 적고 쉼표로 구분해 주면 된다. 주의할점은 쉼표뒤에 공백이 없어야 한다는 점이다.

여러 필드를 검색했을때, 검색된 단어가 가장 많은 데이터부터 나오게 된다.

만약 검색시 title에 일치된 값이 다른 필드에서 일치된 값보다 더 중요한 검색 결과값을 가지고 있기 때문에 상위 결과값으로 출력해 줘야 한다면 필드별로 weight값을 주면 된다.

일단 아래처럼 검색해보자

검색 결과에서 title에 어린이 라는 값이 없음에도 publisher에서 어린이가 있기에 상위로 들어왔다.

책을 찾고 싶은데, 제공사의 책 결과값을 가져오는 것은 검색에 비효율적이다.

아래처럼 weight값을 줘보자.

필드 title에 2값을 주고, publisher에는 1값의 weight 값을 주었다. (1값은 기본값으로 명시하지 않아도 된다.)

따라서 만약 title에 어린이가 일치하면 weight값이 publisher에서 일치하는 값보다 커지게 되어 검색 결과에 상위로 나온다.

이제 검색시 책 위주로 검색을 하도록 한 것이다.

와일드카드 검색 (Wildcard Search)

만약에 일부분을 검색해야 한다면, 와일드카드를 사용하면 된다.

예를 들면 아래처럼 검색 한다면 오로지 7000값만을 찾게 된다.

하지만 와일드카드인 *을 사용해서 아래처럼 검색하면 다음과 같은 결과를 얻을 수 있다.

바로 앞에 *을 붙이면 검색어와 일차하는 값과 더불어 *가 붙은 부분에서 일치하는 모든 결과값을 가져오게 된다.

하지만 와일드카드를 사용하려면 sphinx.onf 파일에 설정을 따로 해줘야 한다.

설정을 해주지 않는다면, *값을 인식하지 못하게 된다.

설정은 다음과 같이 한다.

enable_star는 와일드카드를 사용한다는 것으로 1값이면 사용한다는 뜻이다.

min_infix_len과 min_prefix_len의 길이는 최소 몇개의 값으로 쪼갤 것인가이다.

예를 들면 test를 2로 쪼개면, te, es, st, tes, est, test 등으로 최소 크기인 2부터 인덱싱을 해두는 것이다.

따라서 만약 *st 라고 검색하면 test가 검색되는 것이다.

infix와 prefix의 차이점은 다음 사이트를 참고한다. 

http://sphinxsearch.com/docs/manual-2.0.8.html#conf-min-prefix-len

참고로, enable_star=1값으로 하면 모든 필드에 적용된다. 만약, 특정한 필드만 와일드카드를 사용한다면 아래처럼 설정 할 수 있다.

주의할 점으로는 min_infix_len와 min_prefix_len은 동시에 사용 할 수 없으므로 둘중 하나만 선택해야 한다. 

(단, infix_fields 처럼 필드별 설정을 한다면 동시사용 가능)

정렬

MySQL에서 처럼 정렬 기능이 필요 할때 ORDER BY 구문을 사용하면 된다.

하지만 조금 다른점은 반드시 ASC나 DESC 둘중 하나를 반드시 써줘야 한다. 보통 MySQL에서는 ASC를 생략하고 쓰는데, Sphinx에서는 생략을 할 수 없다는 것이다.

이제 아래처럼 정렬해보자.

가격이 높은 순으로 잘 정렬되어 있다.

그럼 이제 정렬할 필드를 s_price로 바꿔 다시 검색해보자.

분명 price와 s_price는 필드명만 다를뿐 같은 값을 가진 필드이지만, 정렬된 결과값은 서로 다르다.

이제 이런 이유를 잠시 설명해보기 위해 sphinx.conf에 설정된 값을 볼 필요가 있다.

이상으로 간단한 SphinxQL의 사용법을 사용해 봤다.

더 다양한 옵션과 방법은 Sphinx 홈페이지의 문서를 통해 참조하면 되겠다.

xQL Reference : http://sphinxsearch.com/docs/manual-2.0.8.html#sphinxql-reference

Full-Text Query : http://sphinxsearch.com/docs/manual-2.0.8.html#extended-syntax

참고로 여기서 다룬 xQL은 SphinxAPI를 사용하는 것보다 빠르다고 한다.

다음 4부에서는 인덱싱을 하는 방법을 다루겠다.

2013/05/31 - [Database/Sphinx 검색엔진] - [Sphinx] 검색 엔진 Sphinx 2부 - Sphinx와 MySQL 연동 및 테스트

2013/06/23 - [Database/Sphinx 검색엔진] - [Sphinx] 검색 엔진 Sphinx 4부 - 인덱싱 설정과 데몬 설정

2013/07/01 - [Linux Debian 7/Sphinx 검색 엔진] - [Debian] 검색 엔진 Sphinx 5부 - PHP와의 연결

3부에서는 검색을 통해 결과값을 가져왔다.

이제 4부에서는 데이터를 인덱싱하는 방법과, 데몬 등록을 통한 주기적인 인덱싱 설정을 통해, Sphinx의 인덱스 데이터를 유지 하는 방법을 다루겠다.

명령어를 PATH에 등록하지 않았다면 아래 링크를 통해서 등록을 해주거나, 

2013/06/22 - [Linux Debian 7] - [Debain] 어느 위치에서든 프로그램 실행시키도록 PATH 설정하기

아래처럼 명령어가 있는 디렉토리에가서 명령어를 실행하면 된다.

전체 인덱싱

전체 인덱싱은 말 그대로, 환경설정에 있는 모든 인덱스를 인덱싱 하는 것이다.

만약, SphinxQL을 사용하기 위해, 혹은 서비스 제공을 위해 searchd 프로세스를 실행시켰다면, 항상 --rotate를 추가로 붙여주면 된다. 그렇지 않다면 에러가 발생할 것이다.

전체 인덱싱은 모든 인덱스의 데이터를 인덱싱하기때문에 인덱스의 크기와 데이터의 크기에 의해 시간이 결정될 것이다.

(main + delta 방식인 경우 전체 인덱싱 하고나서 merge 명령어를 해줘야 delta에서 인덱싱된 데이터를 Sphinx에 반영하게 된다.)

부분 인덱싱

환경설정에 설정된 인덱스 리스트가 많다면, 전체 인엑스보다는 특정 인덱스만을 인덱싱 함으로서 시간을 줄일 수 있다.

예를 들면, 예제에서 제공된 sphinx.conf에는 zipcode, book, delta, shop이라는 4가지의 인덱스가 있다.

이 이름을 통해 인덱싱을 하면 되는 것이다.

인덱스 업데이트 (Delta Index Updates)

인덱스 업데이트는 3가지가 있다.

위에 나온 것처럼 데이터가 적은경우 전체 또는 부분 인덱싱을 통해 인덱스 전체를 처음부터 다시  생성하는 방법과 라이브 인덱싱, 그리고 Delta 방식 인덱싱이 있다.

여기서는 Delta 업데이트 방법을 소개한다.

Delta 업데이트는  Main + Delta 방식으로, 먼저 주된 인덱스를 Main이 갖게하고, MySQL에 추가된 데이터를 Delta에서 인덱싱 하도록 한다.

그리고나서 Delta의 데이터를 Main에 건네주어 데이터를 합친다.

따라서 추가된 데이터만 인덱싱하면 되므로 인덱스 전체를 인덱싱 할 필요가 없다.

예제로 첨부한 sphinx.conf에 있는 인덱스들 중에 shop 인덱스가 Delta 업데이트 방식을 사용한다.

설정을 보면 main + delta에서 main에 해당하는 것이 shop다. 그리 delta에 해당하는 것이 delta이다.

자심 아래의 쿼리 일부분을 보면 아래처럼 되어 있다.

main의 sql_query : ... WHERE sphinx_yn='Y'

delta의 sql_query : ... WHERE sphinx_yn='N'

delta의 sql_query_post : UPDATE shop SET sphinx_yn='Y' WHERE sphinx_yn='N'

즉, MySQL에서 main이 인덱싱하는 부분은 Y값이고 delta에서 인덱싱 하는 부분은 N값 부분이다.

그리고 delta가 인덱스를  마치면 sql_query_post를 통해 N값을 Y값으로 바꿔줌으로서 다시는 delta 인덱싱할때 인덱스 범위에 잡히지 않도록 해준다.

이로서 추가된 데이터를 인덱스하는 것이다.

다음은 이 과정을 명령어로 나타낸 것이다. (서비스중이면 --rotate 추가할 것)

1. delta 인덱싱

2. main + delta 인덱스 데이터 합치기

만약 MySQL에서 일부 데이터가 변경된 것을 Sphinx에 반영하려면 변경된 데이터의 sphinx_yn값을 delta에서 인덱싱 할 수 있도록 Y값을 N값으로 변경만 해주면 데이터를 업데이트 할 수 있다.

만약, MySQL의 데이터중 일부가 삭제 됐다면, 전체, 혹인 부분 인덱싱을 해야한다. 하지만 삭제하기전에 Sphinx에서 데이터를 먼저 빼도록 할 수 있다.

바로 delta의 sql_query_killlist가 그 역할을 한다.

delta의 sql_query_killlist : SELECT sn FROM shop WHERE sphinx_yn='D'

sphinx_yn의 값을 D로 해두면, killlist의 인덱스 범위내로 들어온다. 이때, 인덱스의 기준이 되는 id값을 넘겨주기만 하면 된다. (여기 예제에서는 id가 sn값이다.)

이제 delta를 인덱싱하고 merge지를 하면 데이터가 사라져있다.

시작 등록

리눅스가 재시작 했을 경우 Sphinx가 자동으로 서비스를 시작하게 만들기 위해서 간단한 쉘스크립트를 등록 해야한다.

먼저, 시작할 스크립트는 init.d에 위치해 있어야 하므로 디렉토리를 이동한다.

파일 내용은 아래처럼 적는다. (만약 환경 설정이 기본디렉토리에 없다면, --config 옵션으로 환경설정 위치를 잡아주도록 한다.)

2. 부분 업데이트

부분적으로 업데이트를 하기 위해 Shellscript를 만들도록 하자.

sphinx_partial_updater.sh 내용에는 아래처럼 부분 업데이트 명령어를 넣도록 한다.

3. Crontab 등록

만든 스크립트 경로를 통해 크론을 실행하도록 한다. (아래의 예는 매 분마다 실행한다.)

일정한 시간 설정 등은 다음 링크를 참고하도록 한다.

2013/01/09 - [Linux] - [Linux] crontab

이상으로 Sphinx 검색 엔진을 통해 데이터를 인덱싱하고, 업데이트 및 삭제 그리고, 리눅스가 알아서 업데이트 되도록 했다.

다음 5부에서는 웹서비스를 위해 PHP와의 연결 부분을 다루겠다.

1. 소개

4부까지 했다면, 현재 Sphinx 검색 엔진이 설치되어 있고, 예제 test.sql 데이터를 통해 검색도 잘 될 것이다.

PHP에서 MySQL 접속을 통해 사용했던 것처럼 사용하면 되므로 아주 간단하다.

2. 접속

아래와 같은 mysql_connect를 사용하여 접속하는 예제이다.

아쉽게도 현재 Sphinx는 ID와 Password를 설정 할 수 없다고 한다.

따라서 ID와 Password는 비워두고 접속하면 된다.

웹브라우저를 통해 아래처럼 접속하면 간단하게 검색된 결과가 나온다.

이제 검색 엔진 서비스가 모두 완료되었다.

MySQL이 like 문으로 힘들게 데이터를 검색하는 것보다 Sphinx를 사용하면 무척 빠르고, 정확한 결과값을 내준다.

따라서 데이터가 많다면, 검색 엔진을 사용하는 것이 큰 이익이 될 것이다.