[조영환의 검색 문명 유람기] 나팔꽃 지능과 인터넷 집단지성


인터넷에서 나팔꽃의 반칙(?) 배우기

덩굴식물인 나팔꽃은 햇빛을 받기 위해 다른 물체에 붙어 왼쪽으로 돌면서 태양을 향해서 감아 올라간다. 감각기관도 없고, 뇌도 없으면서도 절묘하게 햇빛을 차지한다. 나팔꽃은 햇빛을 받는 부분의 성장을 빠르게 하는 단순한 메커니즘으로 생명을 이어간다.

나팔꽃에 지능이 있다고 하여도 될까? 잠시 고민스럽기는 하지만, 나팔꽃은 주변의 장애물들을 적절하게 피해서 햇볕을 차지하면서 살아나가는 모습이 지능적으로 보인다. 아마도 지능의 최초의 단계인 지각(知覺, perception) 시점에서 무조건반사적인 메커니즘을 통해 이루어지는 단순하지만 매우 효과적인 지능인 것 같다.

인터넷을 통해 퍼지는 '집단지성'

최근에 인터넷을 매개로 하여 집단지성(Collective Intelligence)이라는 개념이 현실화되고 있다. 집단지성에 대한 이해는 크게 두 가지로 나뉘어 있는 것 같다. 하나는 ('집단의 지식'이라고 해야 할) 위키피디아와 같이 다수의 지식 생산에 의한 광범위한 지식 구축으로 해석하는 것이 있다. 다른 하나는 ('집단의 지능'이라고 해야 할) 아마존의 도서 추천, 구글의 페이지랭크와 같이 다수의 행동을 관찰해서 광범위한 개별 사안에 대한 의사결정으로 해석하는 것이 있다. 아마도 Intelligence라는 단어의 두가지 사전적 의미인 '지능'과 '정보'의 혼용에서 기인하는 것 같다.

'집단의 지능'의 관점에서, 인터넷 검색엔진 구글의 시도를 시초로 보는 시각도 있다. 하이퍼텍스트(HyperText)인 WWW의 기본 원리를 페이지와 링크로 단순화하고 많은 링크를 받은 웹 페이지가 링크를 받지 못한 페이지보다 중요도가 높을 수 있다는 아이디어를 구현하였기 때문이었다.

이러한 아이디어는 원래 참조논문으로 많이 인용된 논문의 가치가 높다는 인용 점수(Citation Count)를 웹문서에 적용한 것이었다. 수백억 개의 웹 문서를 수작업으로 중요도 점수를 부여하는 것은 불가능하지만, 웹문서의 링크를 분석하는 방법으로는 얼마든지 가능하다. 단순한 아이디어였지만 인터넷의 현상을 컴퓨터의 도움으로 자동으로 수집하고 컴퓨터의 도움으로 자동으로 계산해서 현실화시킨 것이다.

우리나라 검색 서비스에서 아마도 세계 최초로 '집단의 지능'을 구현한 서비스가 있는데, 그것은 연관검색어를 검색 질의어로부터 자동으로 추출해 낸 것이다. 이것은 검색엔진에 입력되는 검색 질의어들을 개인별로 나열하고 하나의 키워드 뒤에 검색한 다른 키워드가 서로 연관되어 있을 것이라는 아이디어에서 나왔다.

즉, 특정 키워드를 입력한 뒤에 여러 사람들이 공통으로 입력한 '다음 키워드'를 연관검색어로 보여 주면, 그 다음번에 검색할 때에 새롭게 입력하는 수고를 덜어줄 수 있지 않을까 했던 것이다. 그런데, 이 연관검색어가 '켓츠'를 '캣츠'나 '뮤지컬 캣츠' 'Cats' 와 같은 것을 보여주면서, 자동으로 철자 교정도 해주고, 개념을 확장시켜 주거나, 때로는 답변을 주기도 한다.

수고를 덜어주려고 만든 장치가 지능적인 반응을 보여주었던 것이다. 몇 년전에는 사람의 손으로 일일이 만들었기 때문에 수천개 수준의 관련어를 유지하고 보수하는데에도 많은 비용이 들어 갔는데, 최근에는 수십억 건의 검색 키워드에서 자동으로 추출하기 때문에 순식간에 수십만 단어에 대한 연관 검색어를 자동으로 만들어 낼 수 있게 되었다.

인터넷 서비스에서 사람들의 행위(behavior)를 어텐션이라고 하고, 집단지성의 근원을 어텐션(Attention, 주목, 주의력)이라고 정의하면 쉽게 적용할 수 있다. 정보 그 자체인 인터넷 콘텐츠에는 존재하지 않지만, 그 정보를 사용하는 행태가 새로운 차원의 정보원으로 이용될 수 있다고 보는 것이다.

구글의 페이지 랭크는 웹 페이지의 링크로 표현되어 있는 어텐션이고, '다음 키워드'는 검색 쿼리에 나열되어 있는 어텐션으로 보는 것이다.

검색엔진에서 매우 중요하게 다루고 있는 정보원 중에 하나가 QCTR이라는 어텐션이다. 이것은 '검색 쿼리를 입력한 후에 클릭한 URL'인데, 이것은 해당 URL이 '검색 쿼리'와 무엇인가 연관성이 높을 가능성이 있다고 가정할 수 있기 때문이다. 철자 오류가 포함된 쿼리(내이버, ekdma, yahho 등과 같은)는 보통의 검색 질어어 보다는 발생빈도는 높지만 클릭은 거의 이루어지지 않는 성격을 가지고 있기 때문에 검색 질의어에서 틀린 철자를 제거하는데에도 사용할 수 있다. 이렇게 어텐션으로부터 뽑아낸 정보를 '메타 컨텐츠'라고 할 수 있겠다.

블로그가 최고의 지식소스가 될 듯

인터넷 검색엔진 구글, 네이버 지식iN의 성공으로 집단지성과 검색을 연결시키는 새로운 도전들이 시도되고 있다. 집단지식이나 집단지능 모두 검색에는 아주 유용한 정보원이기 때문에 집단지성을 가동할 만큼의 군집 만들기만 한다면 구글과 네이버를 능가할 만한 힘을 충분히 얻을 수 있을 것이다. 문제는 어떻게 사용자의 어텐션을 수집할 수 있을 것인가 하는 것이다.

국내에는 다음의 카페와 네이버의 지식iN과 같이 포털 내 다른 특성의 서비스에서 발생한 콘텐츠를 자신의 독점적인 검색 콘텐츠로 주장하는 낯뜨거운 일이 벌어지고 있다. 거대 포털은 콘텐츠와 어텐션을 자체 서비스로부터 수급받을 수 있기 때문에, 집단 지성을 위한 어텐션의 수집에도 유리한 위치에 있다. 정보를 많이 소유하고 있기 때문에 많은 어테션을 수집할 수 있고, 그 어텐션을 서비스에 다시 녹여낼 수 있는 것이다.

어텐션의 매력적인 장점인 콘텐츠와 서비스를 정제하는 기능은 이미 승자의 소유가 되어 버린 것으로 보아야 한다. 승자가 되기 전에는 절대로 가치있는 분량의 어텐션을 수집할 수 없기 때문이다.

서비스가 성장함에 따라서 어텐션을 수집할 수 있다는 것을 가정으로 해서 서비스를 기획해서는 승자가 될 수가 없다. 충분하지 못한 어텐션은 어텐션의 치명적인 단점인 어뷰징(abusing, 고의로 결과를 조작할 의도의 어텐션)의 비중이 너무 높게 나타나 광고판 서비스가 되어 버리기 쉽상이기 때문이다. 어떻게든 승자가 된 후에야 어텐션을 제대로 사용할 수 있는데, 승자가 되는 과정에서 충분한 양의 어텐션이 필요하다는 것이 문제인 것이다.

블로그는 서비스의 속성상 블로거 개인의 출판물로 인정되고 있기 때문에 블로그 콘텐츠를 대상으로 하는 서비스가 거대 포털의 정보 독점을 피하여 실현할 수 있는 가능성이 높은 분야로 인식되고 있다. 특히 블로그를 통한 지식 저장의 가속도가 카페나 질의응답 서비스보다 높은 것 같다. 그러므로 앞으로는 블로그가 최고의 지식 소스로 자리잡게 될 것이고 '집단의 지식'으로 인정받을 수 있을 것 같다.

그런데, 콘텐츠 자체로는 '집단의 지능'이 채워지지 않는다. 블로그 검색에도 어텐션을 보유하고 있지 않다면 블로그 포스트의 중요도를 계산하거나 키워드 정제작업 등에 어려움을 격게 된다. 거대 포털이 하고 있는 반칙을 염두에 둔다면, 나팔꽃에게서 약간의 반칙(?)을 배우면 어떨까 하는 생각이 든다. 물론, 기존의 포털들이 제공하는 것보다 훨씬 가치있는 서비스를 제공하기 위한 생존전략이어야 한다.

새로운 가치창출 위해 포털을 이용하는 것도 방법

나팔꽃의 시각으로 보면 또 하나의 새로운 정보원이 보인다. 집단지성이 콘텐츠 서비스에서 발생한 사용자의 어텐션을 다시 정보로 인식해서 '메타 콘텐츠'를 추출하는 것처럼, 기존의 검색엔진 업체나 서비스 업체에서 서비스 중인 '메타 콘텐츠'를 새로운 정보원으로 인식할 수 있지 않을까?

상상력에 따라서 상당히 많은 것이 가능할 것 이지만, 몇가지 생각을 해보자. 검색 질의어로 많이 사용되는 어텐션이 필요하다면 검색어 순위를 구하면 될 것인데, 검색엔진에서 제공하는 자동완성에 나타나는 추천단어의 상대적인 순위를 종합해보면 거꾸로 만들어 낼 수 있을 것이다.

'다음 검색어'를 만들고 싶다면, 현재 서비스 중인 연관검색어를 크롤해서 자신의 분야에 합당한 단어들만 선택하면 간단하게 해결된다. 최신의 이슈를 구하고 싶다면, 실시간 검색순위와 실시간 급상승 검색어 그리고 가장 많이 본 뉴스 등을 참조하면 간단하게 해결이 가능하겠다. 최근에 발생한 새로운 토픽은 과거의 단어셋에 포함되지 않았지만 새로운 단어셋에 포함된 것들을 대상으로 검토해볼 수 있을 것이다. 이밖에도 이미 컨텐츠의 가공과 어텐션을 통한 정제를 거친 양질(?)의 콘텐츠 Rank가 이미 제공되고 있다.

나팔꽃이 스스로의 힘으로는 햇빛을 쫓아 올라갈 수 있는 줄기를 만들어 낼수는 없지만, 이미 햇빛을 차지하고 있는 나무 줄기에 자신을 감아 올라가서 햇빛을 받을 수 있다. 햇빛이라는 진짜 사용자의 어텐션을 얻어내기 위해서는 이미 고목으로 변하고 있는 거대 포털의 잔가지를 이용하는 것이 어떨까 싶다. 오전에만 반짝 피었다가 오후가 되면 오무라드는 나팔꽃의 인생을 답습하지 않고, 더욱 가치가 높은 창의력의 꽃을 피워야한다.

집단지성의 콤플렉스에서 벗어나서, 새로운 가치를 만들어 내야 한다.

/조영환 모란소프트 대표 column_yhwan@inews24.com








포토뉴스