Dyson女史がいいましたっ！

5/4にバークレー校で行われたThe future of searchの記事を読んでいたら、ハイライトとして、

Data Mining: Text Mining, Visualization and Social Media: The Future of Search:
The transformation from information retrieval to information supply (here he talked about a system that supplies additional annotations on current views of, say, a document - e.g. annotations on a newspaper; the point is that there is no explicit query required to receive information)

というくだりがあった。「照会から提供へ」。これが気になって読み進めていくと、5/6～5/9にフロリダで開催された、Search Insider Summitで、あのダイソン女史（Esther Dyson）が同様の発言をしている。

彼女は、24歳で相対性理論と量子力学を統合する数式を発見した宇宙物理学者（というか正真正銘の天才）フリーマン・ダイソン博士の娘。ご本人はICANNの創立メンバーの一人で1998年～2000年まで、Chairmanだった方（今もボードメンバーのひとり）。EdventureホールディングスのChairmanでもある。

そのダイソン女史が、

MediaPost Publications - The World According To Esther Dyson - 05/08/2007:
As for the future of search, Dyson said, "I don't see the quality of search improving very much. Search is like telling a dog, 'Go Fetch,' I want something to 'Go Fetch and Reserve' [as in the right hotel room.] "Search is a task half-done."

What's needed, she said, is switching from a "search and fetch" mentality to a "deliver, act and transact" perspective based on personalization.

と発言。あたかもビルゲイツであるかの質問を演出したDavid Vise氏に「Yahooを買うことは何も解決しないわ」「あなたはSteve Jobsじゃないのよ」「他の方向を探しなさい」と言わしめた。

Blinkxの記事やSpockの記事でメディアや特定領域への垂直検索への進化方向性の話を少し書いたけど、今回は垂直検索とかメタ検索とかそういう話ではない。AIDA(Attention, Interest, Decision, Action), AIDAS(Satisfaction), AIDAC(Conviction)とか、日本で言われている色々な派生形に近い話で、今までの検索が受け持つ範囲はAttetion～Interestまでで、これからはDecision以降に進化せよってこと（ちなみに、AIDAシーケンスは初出がStrongによるTheories of Selling(1925)というからかなり古い）。

彼女はここでカスタマイズ可能なツール（ショッピング・アシスタントみたいなものか？）について言及しているが、方法論としてはSoftware AgentやSoftbotじゃないか？というGreg Lindenのような見方もあるようだ（その前にSemantic Webという話もあるけど）。

もう一つ彼女が言ったトレンドは、「（ケータイ電話みたいな）実世界へのオンライン接点」。これは拡大する空間でも触れたBlack Box(1990年代)とWhite Cubeの話に通じるので、なんとなくわかる。ただし開放性（例えば位置情報を収集するための信頼）を確保するためには、言い訳がましい「Disclosure statement」なんかではなくて、透明性を高めて「（サービス提供側が）何のために何を収集してどうしようとしているか」をユーザーに見えるようにすることが大切だよと述べている。

うーむ、「与えよ、さらば求められん（与えられん）」ってとこか。こういうイベントがどんどん開催されるアチラはやはり羨ましいなあ...。

*Related posts/resources*

• SEVEN DEGREES: Googleより凄い検索エンジン
• SEVEN DEGREES: Webビデオのリモコンに向けて
• SEVEN DEGREES: 拡大する空間
• The poetics of urban media surfaces

Spockはやっぱりすごいのかな？

Tim O'Reillyが特定のStart Upをベタ褒めするなんて珍しいと思ったので、ちょっと紹介しようと思い日曜日の夜に記事を書き始めたんだけど、考えがまとまらず放置していた分。考えたところまで書いておく。

O'Reilly Radar > Why I'm so excited about Spock:
Michael Arrington wrote the other day about spock, the new people search engine, but I have to say that I don't think he did it justice. Spock is really cool, and performs a unique function that is well outside the range of capabilities of current search engines. What's more, it's got a fabulous interface for harvesting user contribution to improve its results.

Spockは人物検索アプリケーション。Spockはだいたい200サイトくらいをクロールしているんだけど、「えっ？少なすぎじゃない」って思うでしょ。しかしSpockのクロールはGoogleやYahooといった巨大検索エンジンとは全く違う。まず、探すサイトはWikipedia, IMDB, MySpaceや先行している同業のLinkedInなどだ。さらにSpockのロボットは自動的にその人物タグのクラス・タグを付けてゆく。クリントン前米大統領の場合は、「前アメリカ大統領」、「偉大なリーダー」、「浮気者」、「左利き」、「民主党」、「サックスホーン奏者」といったものらしい。「らしい」と書いたのは、このサービスは招待制で僕はまだ試せないからだ。とはいうものの、先週TechCrunch（日本語訳）でも紹介されているから、サービスの概要はそちらをどうぞ。

Spockのやり方は、Entity Resolution(ER)というそうだ。ERと言ってもCoddのER(Entity-Relationship)-modelと は関係ない。Entity ResolutionはNo Relationshipを前提にしているからだ。これはむしろ一見関係のないところにどうやって関係性を見出すかという話。興味のある人はスタンフォード大学にある、以下の論文をあたるとよいと思われる。

• Swoosh: A Generic Approach to Entity Resolution
• Generic Entity Resolution in the SERF Project

このSpock、サービス開始前にも関わらず、VCから700万ドルを集めた。一体、どうして？ 前述したように人物検索サービスはSpockが初めてではない。LinkedInやZoomInfoは数年前からビジネス経営者層をターゲットに起業している。LinkedInは最初はコンタクトサイトとして始まり、ユーザー同士がコンタクトすることを許可していたが、登録プロファイル数を増やすべく、よりオープンなやり方に移行し、欧州やアジアへ進出し始めている。

ZoomInfoは2900万を有償サブスクリプションで提供する。LinkedInは290万のプロファイルを有する。いずれも2008年までに1億プロファイルを目指すらしい。一方で、Spockはなんと最初から1億人を目指す。それも共同創始者のJaideep SinghとJay Bhattiの2人だけでだ。こんなことができるとしたら、Entity Resolution方式によるところだろうし、VCの注目を浴びる理由もそこではないだろうか。

検索市場はまだまだ奥が深い。「What Google Can’t Do（Googleができないこと）」という記事があって、マルチメディア検索や垂直検索に弱いとしている。

Webを探すならGoogle。

本を探すならAmazon。

では、人を探すなら....？

答えはGoogleでなくても不思議はないだろう。拡大する空間やTwitter - いつか来た道？(déjà vu)で触れたように、「2001年～2010年はフィジカル、つまりリアルとの融合の時代だとすれば、実世界に存在する人の検索は有望な領域だと思う。そういえば先日「IBM、マイクロソフト、そしてグーグルに至る道程」という記事が人気を集めていた。その最後には「2010～15年あたりに、グーグルを脅かすことになる企業が産声をあげる」とあるが、それはSpockのような企業かもしれないな。

あと、MIXIが今の停滞（衰退？）は脱却するにはSpock路線かな？と、ふと思った次第。

Webビデオのリモコンに向けて

ISPにメディア配信システムを販売している英国ケンブリッジのCacheLogic社によると、インターネットを流れるトラフィックのうち60%がビデオらしい。これが2年以内に98%を占めるようになる。そう言ったのは、CMU - カーネギーメロン大学のコンピューター科学者Hui Zhang。しかし、Googleに代表される、テキスト時代に生まれたサーチエンジンはこのビデオの海をまだうまく泳げないでいる。それらはビデオ自身を検索するのではなく、タグ、表題、副題やファイルタイプといったメタデータを頼りにしているに過ぎない。

Suranga Chandratillakeは「もっと効果的でスケーラブルなやり方が必要だ」と考え、Webビデオのリモコン実現を目指して2004年にBlinkxの共同創始者となった。Blinkxの検索技術は隠れマルコフモデルを利用してビデオ音声の音声認識を行い、ビデオ内容を解析するというもの。「Contextual Search」（内容検索）と彼は呼ぶ。



Blinkx searchの良さは、スピーチやニュース映像なんかであれば効果てきめんであることは容易に想像がつくだろう。彼らは他サイトへの技術ライセンスで$12.5 million（約15億円）を稼いでいるが、成功と言えるためには3つの障害を乗り越えなければならない。

• Google VideoやYouTubeの検索がもっと良くなるかもしれない
• TruVeo, Flurl, ClipBlastなどの競合に出し抜かれるかもしれない
• 彼らは音声を検索しているのであって、画像ではないこと

いずれも厳しい障害だ。IBMワトソン研究所のJohn R. Smithは「Marvel」という映像や画像も探せるサーチエンジンを実験しているとのこと。WikiPediaではオープンソース・クローズドソースでの各種プロジェクトがたくさん記述されている。さらに、CAD領域でも同じ問題を抱えているせいもあって、"Content-Based Image and Video Retrieval"や"CBIR"でググれば50万～70万の検索結果が出てくる。Googleは「find similar」リンクをかなり以前にGoogle Imageに対し付加しているし、昨年1月にはこんな技術発表も。

Content-Based Image and Video Retrieval - Google Video:
We will describe the use of hidden Markov models (HMMs) for content-based retrieval of images and video via text queries. In this model, objects or concepts present in an image or video clip constitute the state-space of a Markov chain, and the observed visual features, as well as any text or caption accompanying the image, are modeled as stochastic emissions from the (unobserved) states of this Markov chain.

「The Search」のJohn Battelleは、「サーチはインターネットへのナビゲーションであり、インターフェースなのさ」と言ったが、そのトップに立ち続けるのは本当に難しいのだろうな。


*参考*

• Millions of Videos, and Now a Way to Search Inside Them