자막 세바시 61회 미래예측 쿼리를 활용한 교훈 | 신철호 포스닥 대표이사

강연 소개 : E.H Carr(1892~1982)는 역사 속 걸출한 인물의 역할을 인정하며 1급 지도자는 사회 세력을 만드는 반면 2급은 이미 형성된 사회 세력에 편승한다 했습니다. 사회 세력을 만드는 1급 지도자는 어김 없이 '선각' 속에서 미래를 그려왔습니다. 사회를 변화시키는 것은 결국 사람이라는 전제를 받아 들일 때, IT사회에서 1인의 선각에 의존하지 않고 미래 예측을 할 수 있는 대안은 무엇일까요? 다수 참여자(Social)의 생각의 나이테를 검색어(Query)로부터 추출하여 이를 미래 예측에 활용하고 혁신하는 사례와 우리가 도전해 볼 수 있는 미래예측의 대상을 분석해 봅니다.

게시일: 2011. 10. 23.

안녕하세요 신철호입니다

오늘 저는 미래 예측에 대해서 이야기합니다

우리는 점쟁이도 아니고

수퍼컴퓨터를 가지고서

미래를 예측할 수 있는 것도 아닙니다

그러나 여러분들이 매일 무언가를 찾기 위해서

포털 또는 검색 웹사이트에서 입력하는 검색의 단어

즉 쿼리를 가지고 그것들을 모으고 모으면

쿼리(Query) : 데이터베이스, 포털 등에서 검색할 때 사용되는 단어

어떻게 우리가 미래를 예측할 수 있는가에 대한 방법을 여러분과 공유하고자 합니다

일본에서 이런 일이 있었습니다

지금 보시는 사진은 국보 1호입니다

미륵반가사유상인데요

수학 여행을 갔던 한 학생의 실수로

손가락 하나가 부러지게 됩니다

그 손가락을 복원하는 과정 중에

사실 하나를 발견하게 됩니다

이 미륵반가사유상이 우리 나라로부터 전수 되었다는 것이죠

근거는 두 가지가 있었습니다

첫 번째 근거는

저 소나무에 사용되었던 재질 즉 적송이

당시의 우리 나라의 경복 봉화 지역에서

자라났던 나무라는 것입니다

두 번째는요

일본은 습도가 높아서 나이테가 넓습니다

그런데 잘라진 곳에서 보여진 단면의 나이테는 좁았습니다

우리 나라의 재질이라는 것이었습니다

여러분 중에 만약에 한 분의 생각을 제가 읽고자 할 때

여러분들이 오늘 또는 내일 앞으로도

여러분들이 검색창에 입력하는 검색 단어를

제가 뽑아 낼 수만 있다면

저는 그 분이 평소에 무슨 생각을 갖고 사는지

무엇에 관심이 있는지

앞으로 무슨 일을 할 사람인지를

대충 예측할 수 있을 것입니다

10여년 전인가요

갤럽 그리고 리서치 앤 리서치 같은 여론 조사 회사들이

이회창 대통령 후보가 대통령에 당선될 것이라고 발표를 했었습니다

거의 모든 여론 조사 기관이 그렇게 발표했습니다

1000명 단위의 랜덤 샘플을 뽑았기 때문이었습니다

당시에 유일하게 1년 전부터

노무현 대통령의 당선을 예측했던 매체가 하나 있었습니다

바로 제가 했던 포스닥이었습니다

포스닥은 사람들 50여만 명이 참여해서

정치인을 마치 주식처럼 자신의 선호도를 나타내고

거래를 통해 자신의 가상 화폐와 이익과 손해를 보는

일종의 게임 같은 것이었습니다

50여만 명이 참여한 그 데이터 속에서

포스닥은 유일하게 노무현 대통령의 당선을

무려 1년 전부터 예측했었습니다

미국의 한 사업가인 Cantor Fitzgerald 라는 사람은

지금 현재 Hollywood Stock Exchange 라는 웹사이트를 운영하고 있습니다

아카데미 시상식에서 누가 수상을 할건가

어떤 영화 배우가 수상을 할건가 에 대한

정보를 판매하는 웹서비스입니다

Hollywood Stock Exchange에서 발표하는 정보로

많은 수상자들을 미리 예견하는데 적확하다는 표현들

그리고 그러한 검증된 데이터들이 나오고 있습니다

이 숫자를 보시면요

1,638억회 그리고 183억회의 숫자가 있습니다

상단에 있는 숫자는 여러분들이 웹사이트에 들어가서

임의로 눌러대는 클릭할 때마다 생성되는

페이지뷰의 숫자입니다

2009년 3분기 국내 4대 포털에서 나왔던 통계입니다

두 번째 숫자인 183억 회는요

여러분들이 그런 사이트에 들어가서

뭔가를 찾기 위해서 검색어를 날린 이후에

클릭 그 데이터 값에서 클릭한 숫자입니다

그런데요 1,638억 회를 통해서 나온 매출은

페이지뷰 당 1원이었습니다

반면 183억 회

불과 10분의 1에 불과한 저 숫자에서 나온 매출은

14.8원 측 15배에 가까웠습니다

우리가 유추할 수 있는 것은 뭐냐하면요

여러분들 복잡하게 생각하실 것 없는데요

사람들의 실제로 행동으로 이어지는

즉 클릭으로 이어지는 행동의 패턴은

무자기 관심이 있어서 눌러대는 그러한 페이지뷰가 아니라

내가 무언가를 찾고자 했었을때

검색어를 날린 이후에 나오는 정보를 더 신뢰하고 있고

그게 사람의 어떤 행동으로 이어진다는 통계입니다

자 그렇다면 사람의 행위가

자신의 의도를 가진 즉 사람의 Needs Intention

그리고 사람의 정서를 담은 그러한 것들이 포함된 어떤 행위들이

실제의 미래의 일들을 집합으로 만들어 낸다는 것을

우리는 동의할 필요가 있게됩니다

즉 미래는 사람이 만든다는 거죠

자 이 관점에서 볼 때

우리는 다수의 사람들이 만드는

무엇인가를 얘기를 하고 있습니다

그런데 한 번 이걸 보시죠

꼭 다수의 사람들의 의견들이 모여야지만

미래를 볼 수 있을까요

자 동양 이론가 이퇴계 이율곡 정약용 그리고 공자 맹자

이런 사람들은 본인의 선각 본인의 통찰력

또는 본인이 보는 어떤 과거의 자연 현상을 통해서

이 자연 현상이 발생했으며 미래에도 이럴거다 라는

선각들을 보여 주고 있고

또는 과거 역사 사실이 이랬으니

미래에도 이러한 조건에서 이런 일들이 발생할거다

라는 그들만의 예지력을 보여주고 있습니다

서구 미래 학자인 Daniel Bell은

이데올로기의 종언을 예측해서 유명한 학자로서 부각이 되었고

또한 그는 후기 산업 사회의 양상들을

정확히 잘 예측했다는 평을 받고 있습니다

그 외에 여러분들이 아실 만한 미래학자인 Albin Toffler

문명의 충돌을 이야기했던 Samuel Huntington

그리고 최근에 유럽의 경제 위기나

유럽의 경제의 더블딥 현상을

충분히 잘 예견해서 호평을 받았던 Allen Sinai 같은 CEO들은

바로 이러한 개인의 선각 또한

무시할 수 없구나 라는 가르침을 주는 사례입니다

자 그런데 이 방을 한 번 보시죠

작년 말에 제가 방문했던 지금 이 방은

여섯 개의 다다미가 있는 아주 조그만 방입니다

그리고 거기는 Yoshida Shōin 이라는 사람이

자신의 제자를 양성하던 곳입니다

이 작은 방에서 나온 제자들을 보면요

Satchō 동맹[薩長同盟]의 주역이었던 Kido Takayoshi

막부 타도의 선봉이었던 Takasugi

그리고 강제 병합의 원흉이었던 Itō Hirobumi

명성황후 암살의 배후였던 Inoue

같은 사람들이 바로 이 Yoshida Shōin의 제자였습니다

그리고 그 교육 기간은 불과 3년에 불과했습니다

어떻게 이 짧은 기간에

이렇게 많은 일본 사람들이 보는 지도자들을 양성할 수 있었을까요

Yoshida Shōin은 일본 메이지유신의 설계자인 선구자였고

그리고 물질적인 근대화를 넘어선

정신적인 근대화의 지주였습니다

자 그런데 이 사람의 선각이

어떤 식으로 변화되었는지를 한 번 보시죠

1인의 잘못된 선각으로 인해서

이 사람은 정한론 대동아공영론을 발전시키게 되고

이를 통해서 유럽을 제외하고 미대륙을 제외한 우리 동아시아

많은 나라 우리나라를 포함한 국민들이 피해를 입게 됩니다

역사적으로 굉장히 큰 피해의 시작이

바로 이 사람의 선각에서 시작됩니다

1인의 잘못된 선각이 어떠한 일을 일으키는지

하나의 사례로 보는건데

자 그러한 소수의 선각을 어떻게 우리가 극복해야 될까요

그 소수의 선각이 잘못되었을 때

어떻게 이를 이겨낼 수 있을까요

사람들은 그래서

지식인들과 전문가들의 집단인 위원회를 만듭니다

그래서 과학 기술이

어떻게 미래에 발생할 건가라는 것을 예측하고

그에 대한 준비도 합니다

그러나 보시다시피 성공적으로 예측하는 경우도 있고

또한 많은 경우 실패합니다

자 그렇다면 우리는 이러한 소수의 사람들이

무언가를 자신의 통찰력과 직관으로 예측하거나

어떤 예측의 방법으로 예측하는 것을 넘어서는

즉 소수 선각의 맹점을 제거할 필요성을 갖게 됩니다

우리가 미래를 예측하는 이유가 있습니다

첫 번째는요

미래에 뭔가 불확실성 그 영역을 제거함으로서

뭔가 준비된 혁신이나 준비된 변화를

내가 미리 꾀하겠다 라는 의지입니다

두 번째는 좀 더 추상적으로 보면요

뭔가 좀더 사람들이 더 이롭게 하기 위해서

새로운 가치를 만들어 내기 위해

미래를 예측하겠다 라고도 볼 수 있습니다

예측의 방법은 많아 왔습니다

어떤 과거의 지식 베이스들을 통합적으로 모으고 모으고 모아서

그를 통해서 미래를 예측하는 방법도 있고요

또는 과거의 통계 또는 이 추세가 과거의 추세가 저랬으니

미래의 추세는 이럴거다 라는 시계열의 방법

또는 모델링을 통한 예측을

뭔가를 미래를 알고자 하는 예측 모델링 등의 방법이 있습니다

그리고요 여기서 보시는 Glenn

그리고 Cordeiro 라는 학자들은

무려 30여 가지가 넘는 예측의 방법들을

굉장히 다양하게 제시하고 있습니다

이렇게 복잡한게 있는것 만이 아니고요

간단한 예를 제가 하나 들어 보겠습니다

만약에 여러분들이 신문사의 발행인입니다

자 내일 신문을 몇 부를 인쇄를 해서 팔아야

재고로 쌓지 않고 가장 적확한 수요 예측을 할 수 있을까

바로 그 공식이 여기서 출발을 합니다

만약에요 신문의 가격이 12원이다

그리고 신문 하나를 인쇄하는데 드는 비용이 9원이다

그런데 아무리 생각해 봐도

우리 신문을 볼 사람은 100사람을 넘지 않을 것 같다

라고 해서 저 수요를 뽑아 보면요

내일은 25부만 인쇄를 하는게

가장 낭비되지 않는 가장 적절한 수요겠구나

이렇게 예측을 할 수 있습니다

바로 수요 예측의 공식이죠

이런 여러가지 방법들을 한 번 정리를 해 보시죠

지금까지 제가 드린 말씀이 이 한 장에 다 포함이 되어 있습니다

무언가 우리가 미래를 예측하는 방법은

한 개인의 뛰어난 직관과 통찰에 의지하기도 하고요

또는 과거의 현상들과 데이터들을 분석한

통계와 분석의 방법에 의지하기도 합니다

또는 아까 많은 사람들이 참여해서

여러 사람들의 지성들을 모은 집단의 지성을 활용하기도 하고요

제가 포스닥에서 예를 들었던 상대적 합리성

즉 각 개인의 이익과 손해의 관계에 얽메여서

사람들이 이익을 이익이 나는 쪽으로 뭔가를 선택하게 될거다

그리고 그 다수를 모으게 되면

그 방향대로 미래가 흘러 갈거다 라는

상대적 합리성에 기초한 미래 예측 방법들이 있습니다

오늘 말씀드리는 QUERY 기반의 Prediction 미래 예측은

바로 집단 지성과 상대적 합리성의 장점들을 뽑아 놓은

그 중간 영역에 위치하고 있습니다

자 만약 우리가 우리 대한민국의 모든 사람들

그리고 세계의 많은 사람들이

어떤 것들을 단어를 검색하고 있는지를 다 모아볼 수 있다면

여러분들은 무엇을 예측하고 싶으십니까

어떤 것들을 미리 알아 보고 싶으신가요

저는 이것을 생각하고 있습니다

만약 여러분들이 이 장소에 오기까지

타고 오신 차량에 달려있는 네비게이션에서

여러분들이 목적지를 무엇으로 검색했는지 데이터를

지금 여기 있는 여러분만이 아니라

100사람 10000사람 100만명들을 다 모아낼 수 있다면

그리고 그 분이 출발하려고 했었을 때

그 현재의 그 당시 현재의 위치 정보를

제가 추출해 내서 제 데이터에 다 모아 놓을 수 있다면

저는 아마 A라는 사람이

이 쪽에서 출발해서 목적지가 여기라는 그래프

그리고 이 사람이 출발해서

목적지가 여기라는 그래프를 찾아 낼 수 있을 것입니다

그러면 중간에 교합점이 있겠지요

이 교집합을 제가 집고 집고 집게 되면

아 일정 시간 외에 그 지점들은

교통이 정체될 거야 라고 우리가 예측할 수 있습니다

그 예측을 통해서 예보를 한다면

정체를 훨씬 더 교통을 분산시켜서

효율적인 교통 체계를 만들 수도 있겠지요

또한 주식거래량이 있습니다

MIT는 이런 발표를 했었습니다

주가를 예측할 수 있는게 그리 쉽지 않다

라는 많은 논문들을 발표 했었지요

주가를 예측하기는 어렵지만

주식거래량을 예측할 수는 있습니다

만약에 삼성전자 또는 제가 속해 있는 OGQ 주식회사가

거래소에 등록 거래가 될 때

그 회사의 검색량이 많아진다 라고 했었을 때

그 회사의 관심도가 높아지고

적어도 주식의 거래량이 상응해서 많아질거다

라고 우리가 바라볼 수 있습니다

민감도도 마찬가지이죠

그것만일까요

부동산 수요 또는 환자의 질병의 예보

실업자의 증감 소비자 동향

내년 대선에 안철수 교수가 대통령에 당선될 건지

박근혜 대표가 당선될건지도

우리가 이를 통해서 예측 해 볼 수도 있습니다

자 구글의 사례를 보시죠

2008년도에 구글이 네이처에 발표한 논문입니다

검은색은 미국의 Mid-Atlantic 지역에서

감기 관련 쿼리의 발생 빈도를 나타내는 그래프입니다

여러분이 보시는 붉은색은 실제 미국에서 감기가 발병했던

CDC 즉 질병 통제 센터가 발표한 실제의 발병률입니다

두 그래프가 놀랍도록 흡사하다는 것을

여러분들은 보실 수 있습니다

또는 검은색 그래프

즉 여러분들이 감기와 관련해서 입력했던 그 검색어가

실제 발병률보다 앞서 있다는 걸 볼 수 있습니다

무슨 의미인가요

실제 발병하는 현상을 검색어를 통해서

예측할 수 있다는 정확한 데이터 그래프로 보여주고 있습니다

그것만이 아닙니다

Chevrolet이라는 자동차와 Toyota가

어느 자동차가 더 많이 판매가 될까

라는 그래프도 비교적 흡사하게 예측을 하고 있다는 것을

또는 현상을 대변할 수 있다는 것을 보고 있습니다

또는 어느 나라를 더 많이 사람들이 여행을 갈까

그리고 새로운 주택에 대한 수요가 얼마나 일어날까

이런 것들 또한 쿼리를 통해서

흡사한 예측을 할 수 있다는 것을 볼 수 있습니다

쿼리를 기반해서 즉 검색을 통해서 예측을 한다는 것은요

많은 사람 즉 다수의 의도와 감성을 이해하려는 시도입니다

이러한 시도가 여러분들이 미래를 볼려는 사색 고민

그리고 여러분들 혼자만의 머릿속에 시작하는

상상의 실험과 덧붙여진다면

그게 바로 선각의 씨앗일 것입니다

역사가인 E.H.Carr은 이러한 말씀을 하셨습니다

이류의 지도자는

기존에 이미 형성된 사회 세력이나 시스템에 편승하려는 자요

일류의 지도자는

자신 스스로가 사회 세력과 시스템을 창출하는 리더이다

라는 말을 했습니다

몇 일전 사망한 스티브잡스의 절친이었던 Alan Kay 라는 사람은

미래를 예측하는 가장 좋은 방법은

자신 스스로 미래를 만드는 것이다 라는 말을 했었습니다

오늘 우리는 다수의 검색어인 쿼리를 통해서

미래를 예측하는 한 가지 방법을 여러분과 공유해 보았습니다

여러분들이 회사 생활을 하실 때

여러분들이 기업 경영을 하실 때

또는 국가의 무슨 일을 하실 때

이러한 쿼리를 통한 예측의 방법이

여러분들의 미래를 혁신하고 준비하는데

충분한 도움이 될 수 있기를 바랍니다

고맙습니다

이 글은 청각을 잃은 제 친구를 위해 작성되었습니다.

전체 또는 일부가 잘못듣고 잘못 옮겨적은 내용이 있을 수 있습니다. 

해당글에 댓글 남겨 주세요.

추신 : 여러분의 공감 클릭은 제게 정말 큰 힘이 됩니다.  감사합니다