내부DB 중심의 통합검색이 부른 ‘딜레마’

복사문서 판독시스템도 허술
전문가 “기반 허물어야 개선”

검색 전문가인 전병국 검색엔진마스터 대표는 “구글과 네이버 검색의 차이는 웹을 기반으로 출발했느냐, 내부 콘텐츠에서 출발했느냐에서 생겨난다”며 “퍼온 글 문제는 내부 데이터베이스 기반의 검색이 가져온 구조적 악순환으로, 이를 바꾸려면 기술적 개선 못지않게 기존의 기반을 허무는 차원의 일대전환이 필요하다”고 말한다.

네이버는 웹에서 만들어진 데이터를 수집하고 갱신하고 관리하려는 의지가 내부 콘텐츠에 비해서 뒤지기 때문에 끊임없이 ‘퍼온 글’이 문제된다는 것이다. 포털을 겸하는 검색업체들이 확보한 지식검색, 블로그, 카페 등의 내부 콘텐츠는 검색 경쟁 기술 싸움이라기보다 더 나은 데이터베이스 확보 다툼을 하게 만들었다는 게 전 대표의 생각이다.

네이버도 더 나은 검색 품질을 위해 다양한 시도를 하고 있다. 블로거들의 ‘퍼온 글’ 우선노출 문제제기에 대해 2007년 초부터 ‘복사문서 판독 시스템’을 적용해 복사한 글이 원저작자의 문서보다 우대받는 일이 없도록 개선했다고 밝힌 바 있다. 올해 상반기에는 블로그 등 독립 사이트들이 네이버 검색로봇에 최적화될 수 있도록 도와주는 ‘신디케이션 도구’(API)를 배포해, 두달 만에 보급 건수가 10만번을 넘기기도 했다. 물론 바람직한 시도이긴 하지만, 구글이나 야후 등이 검색로봇과의 간단한 소통수단을 보급하는 것에 비하면 복잡하고 어렵기 때문에 여전히 개발자 위주라는 지적이 있다. ‘복사문서 판독 시스템’은 4년째 적용중인데, 여전히 검색에서 퍼온 글을 제대로 골라내지 못하고 있으며 이를 우회하려는 인터넷 마케팅업자들의 시도 앞에서 별다른 효과를 거두지 못하는 상태다.(위 사진 참조)

‘통합검색’은 카페나 블로그 등 콘텐츠 장르별로 검색 결과를 구분해 보여주는 장점이 있다. 대신 퍼온 글을 제대로 걸러내지 못하는 상황에서는 취약점으로 기능할 수도 있다. 기사나 블로그 글을 그대로 퍼와 한두 줄 짧게 덧붙인 글이 블로그, 카페, 웹문서, 지식인 등에 중복노출돼 검색 품질을 떨어뜨리고 원저작자의 불만을 부르기 때문이다. 전병국 대표는 “통합검색 모델을 버려야 국내 검색의 품질이 비로소 개선될 수 있다”고 말했다. 국내 검색엔진은 대부분 통합검색을 기본으로 적용해 분류된 결과를 내놓고 있지만, 구글과 빙 같은 외국 업체들은 전체 웹문서를 통합해 뒤섞인 검색 결과를 내놓는다. 국내 인터넷 환경도 이제 다양하고 전문적인 콘텐츠가 풍부해지는 등 초기와 부쩍 달라지고 있어, 그동안 각광받던 자체 데이터베이스와 통합검색의 효용성을 재검토하도록 만들고 있는 상황이다.

구본권 기자 [e-mail]