'알타비스타'에 해당되는 글 2건

  1. 2009.06.03 구글 성공 만든 핵심 병기 페이지랭크 (13)
  2. 2009.02.24 인터넷 검색 세상 기술이 만능인가 (6)
2009.06.03 08:30
며칠 전 국내 유명 블로거들의 구글 페이지랭크 (PageRank)가 변경 되어 블로거들 사이에서 페이지랭크에 대한 관심이 증폭 되었다. 구글의 핵심 기술이자 세계 1위 검색 사이트로 만든 가장 강력한 무기인 페이지랭크에 대해 알아보자.
 
 래리 페이지와 세르게이브린이 구글을 창업 한 1998년도만 해도 인터넷 검색의 최고 강자는 알타비스타 (Altavista)였다. 1위 포탈 사이트인 야후도 알타비스타의 기술을 빌려다 사용하고 있었다. 당시 다른 검색 사이트와 마찬가지로 알타비스타도 페이지 내의 글을 가지고만 검색 결과에 나타나는 순위 정했다. 알타비스타는 대략 다음과 같은 방법으로 웹페이지를 평가 한 다음에 점수를 부여 해 검색 결과 순위를 결정했다.
 
  • 제목에 해당 단어가 있으면 가중치가 붙는다
  • 굵게 처리 된 부분에 해당 단어가 있으면 가중치가 붙는다
  • 일반명사나 조사와 같은 평범한 단어가 아니라 특이한 단어가 일치 되면 가중치가 붙는다.
  • 검색 하려는 단어가 페이지 내에 가까이 붙어 있으면 가중치가 붙는다
  • 검색 하려는 단어가 여러 번 중복 되어 있으면 가중치가 붙는다
 
 실제 알타비스타의 검색 공식은 위에 것보다 복잡했지만 모두 페이지 내용을 보고 경중을 따지는 방식이기 때문에 내가 만든 웹페이지를 알타비스타 검색 결과 상위에 노출 하려고 하면 위에 규칙만 따라 웹페이지를 작성하면 되었다. 따라서 알타비스타는 아무런 내용 없이 이런 규칙만을 따라 만든 사이트가 검색 결과 상위에 배치 되는 문제로 큰 골치에 빠져 있었다.

 이때 구글은 페이지랭크라는 기술을 들고 나와 패러다임을 바꾸었다. 페이지랭크는 다른 웹페이지에 링크가 많이 걸려 있을수록 가치 있는 웹페이지로 인정 해 검색 결과 상위에 배치 준다. 페이지랭크는 구글 창업자인 래리 페이지와 세르게이브린 두 사람이 스탠포드 대학 시절 연구 논문을 작성하면서 아이디어를 얻었다. 많이 참조 된 논문이 가치 있는 논문이라는 학계의 오랜 정설을 따르고 있다.

페이지랭크의 가장 큰 장점은 다른 웹페이지와의 관계로 가치를 평가하기 때문에 혼자서 조작이 힘들다는 것이다. 여러 사람들이 연합 해 조작하는 것을 막기 위해 다양한 장치를 두었다는 특징도 있다.

  • 모든 페이지는 0~10까지 페이지랭크 값을 가진다. (신뢰성이 적은 사이트는 0, 높은 사이트는 10이다)
  • 모든 페이지는 링크를 걸면 해당 사이트에 페이지랭크를 부여해 준다 (다른 사이트로부터 링크가 많이 걸리면 내 페이지의 페이지랭크가 올라간다)
  • 내가 링크를 걸 때마다 링크가 걸린 사이트는 페이지랭크를 나눠서 부여 받는다 (예: 내 페이지 랭크가 10이며 내가 2군데로 링크를 걸어 주면 상대방은 각각 5만큼 페이지랭크를 부여 받는다. 따라서 페이지랭크를 높이기 위해 링크를 남발하거나 페이지랭크가 낮은 사이트로부터 링크가 되는 것은 도움이 되지 않는다)
조작이 어려운 페이지랭크의 특성으로 인해 경쟁자들이 악의적인 스팸 페이지로 고생 할 때 구글은 안전 할 수 있었다.

페이지랭크는 창업자들이 스탠포드 대학원 시절 발표 한 '대규모 하이퍼텍스트 웹 검색엔진의 해부', The Anatomy of a Large-Scale Hypertextual Web Search Engine)'을 기반으로 하고 있고 특허 권리는 스탠포드 대학에 있다.

연구자의 권리를 인정 해 페이지랭크 기술은 2010년까지 구글만 사용 할 수 있다. 구글을 만든 핵심 경쟁력 무기인 페이지랭크가 내년이면 다른 사업자도 사용 할 수 있게 된다. 구글이 계속적인 경쟁력을 유지 할 수 있을지 궁금해지는 대목이다.

트위터 주소: http://twitter.com/doimoi
신고
Posted by 도이모이
2009.02.24 08:32
불과 10 년전만 해도 야후의 검색 모델이 최고를 자랑하던 시절이 있었다. 지금은 야후도 구글처럼 기계적인 작업을 통해 검색 서비스를 제공 하고 있지만 당시에는 야후 운영자들이 좋은 사이트를 발굴 해 이를 찾기 쉽게 나열 해 주는 검색 모델이었다. 당시 야후는 세계 최고의 인터넷 업체였고 많은 사람들이 기계적인 검색은 사람의 손길이 녹아 있는 검색을 이길 수 없다고 생각했다.

야후는 2000년도 초반까지만 해도 기계적 검색의 중요성을 낮게 평가했다. CEO인 제리양이 기계적인 검색을 개발 할 필요성을 못 느낀다고 여러 번 언론을 통해 알렸다. 기계적인 검색은 보조 기능으로 외부에서 프로그램을 도입 해 붙이는 방법으로도 충분하다는 입장이었다. 이 때 야후의 선택을 받은 업체는 알타비스타였다. 알타비스타는 이후 급속하게 성장해 90 년 대 후반 기계적인 검색 서비스의 대표주자가 된다. 하지만, 야후와의 계약 종료 이후 급속한 추락을 하게 되고 오버츄어로 팔리는 신세가 된다. 야후와의 계약에 따라 회사의 운명이 천국과 지옥을 오가게 된 것이다.

이런 이유로 90 년대 후반 많은 업체들이 야후의 검색을 벤치마킹 해 발전 시키려고 노력했다. 대표적인 업체는 iningco.com이였다. 이들의 광고 문구는 "야후도 두려워하는 사이트였다". 당시 야후 비즈니스 모델에 대한 평가와 위상을 짐작을 할 수 있다. iningco는 각 분야 전문가들이 인터넷에서 좋아 할만한 사이트를 골라주며 궁금한 것을 문의 할 것우 전문가가 이메일로 답 해 주는 가장 원초이며 인간적인 사이트였다. 실제로 이들은 야후도 두려워 할만큼 빠른 성장을 했다. 약 3년만에 전세계 20위까지 치고 올라 오는 성적을 보여준다. iningco.com는 추후 about.com으로 이름을 변경했다.  

위에서 살펴 본 것처럼 10년전에는 인간의 손길을 통한 검색 서비스가 핵심이었으며 기계적인 검색은 보조 서비스였다. 하지만, 알타비스타 이후 야후의 선택을 받은 구글은 이런 패러다임을 바꾸었다. 구글은 야후의 보조 서비스였지만 높은 완성도로 야후가 자체적으로 제공하던 운영자 분류 검색보다 더 많은 사랑을 받았다. 구글은 야후로부터 독립했고 지금은 전 세계 인터넷을 이끌고 있다. 구글을 키웠던 야후도 구글 앞에서는 초라한 존재가 되었다.

구글이 세계 1위 사이트로 등극하자 기계적인 검색을 바람직한 모델로 생각하게 되었다. 사람의 판단이 전혀 들어 가지 않는 검색을 최고인 것처럼 생각하며 인간의 손길이 들어 간 검색은 한 수 낮은 검색 혹은 조작이 들어 간 검색인 것처럼 생각한다. 기술 지상주위를 보는 듯하다. 하지만 기술이 모든 것을 해결 할 수는 없다. 기계적인 검색은 그 원리만 알면 조작할 수 있다. 지금도 구글의 알고리즘을 분석 해 상위에 오르려고 하는 시도가 SEO (검색 엔진 최적화) 라는 이름으로 포장 되고 있다. 또한 아무리 기술이 발달해도 인문적 가치 있는 글, 사회적으로 알아야 하는 글, 사회를 아름답게 하는 글 등은 기술로 알아 낼 수 없다. 기술과 인간의 판단은 공존 할 때만 진정한 검색의 가치를 가질 수 있다.

트위터 주소: http://twitter.com/doimoi
신고
Posted by 도이모이