シリコン・バレーは、世界中に普及する最先端のコンピュータ技術が次から次に誕生する地域だが、そういった技術が毎年のように登場するわけではない。

　消費者向けのインターネット・サービスを除けば、近年はやや不作気味とも言えるが、世界市場に浸透すると期待される技術が久々に現れた感がある。それが、大容量データ（Big Data）解析を可能にしたオープン・ソース・ソフトウェア技術のハドゥープ（Hadoop）だ。

　ハドゥープは、過去10年以上にかけて開発されたソフトウェア技術で、ヤフーで働いていたコンピュータ技術者のダグ・カティング氏によって開発された。

　オラクル（Oracle）やSAPが提供するデータ管理技術と比べて応用領域が劇的に大きく、しかも圧倒的に安く使えるという利点がある。その結果、オープン・ソースであることも手伝って、多くの企業がハドゥープの開発にかかわるようになり、最近それが開花したと言える。

　ビジネスウィーク誌によると、技術業界では、カティング氏が最高設計責任者を務めるクラウデラ（Cloudera）や、ホートンワークス（Hortonworks）、マップアール（MapR）といった新興企業がが勢力を拡大する一方、IBMやテラデータ（Teradata）、オラクル、SAPといった大手もハドゥープのアーキテクチャーを取り入れたデータ解析プラットフォームの開発に注力している。

　さらに、インテル（Intel）はクラウデラに投資し、ヒューレット・パッカード（HP）はホートンワークスに5000万ドルを出資し、ハドゥープ技術のさらなる開発を支援ている。

　調査会社アライド・マーケット・リサーチによると、2012年に15億ドルだったハドゥープ市場は、2020年までに502億ドル規模に達する見通しだ。

　そのきざしは、さまざまの分野ですでに確認できる。たとえば、農業化学大手モンサント（Monsanto）は、ハドゥープを使って大規模データを解析することで天候を予想している。

　一方、インド政府は、自国の生体認証（バイオメトリクス）データベースの管理に同技術を採用している。インド政府が世界最大と自負するそのデータベースには、国民５億人分の生体情報が保存されており、１分間に400万人のログインを同時に処理できる。

　また、ミシガン州デトロイトの犯罪対策委員会は、防犯と犯人検挙を強化するためにハドゥープ技術を導入した。同委員会は、ソーシャル・メディアに書き込まれた犯罪および犯罪者関係のデータを集めているが、エクセルでは対応できないため、ハドゥープによるデータ収集および分析技術を取り入れた。

　同委員会は、わずか11人の職員で数百万件単位のコンテントを分析する必要性に迫られていた。エクセルでは到底不可能だが、ハドゥープを活用することでそれが可能になり、実際に防犯に役立った例もある。

　オラクルやマイクロソフトのデータ関連アプリケーション群は、パソコン向けの各種アプリケーションにある構造型データには対応できるが、ウェブサイトおよびソーシャル・メディアのアプリケーション経由で投稿された文章や、スマートフォンまたはタブレットで送受信された電子メールおよびテキスト・メッセージのような非構造型データを集めて整理し分析することはできない。それを可能にした点でハドゥープがもたらした功績はきわめて大きい。

　ハドゥープ技術の開発は2000年代初めに始まったが、当時は、それを基盤にしたデータ解析システムが不安定だった。しかし、2013年後半あたりから実効性と利便性が劇的に向上し、システムが安定するようになった。

　最近では、技術業界以外の各社が、ハドゥープ基盤の分析システムを採用し始めており、今後、その勢いは大幅に強まることが確実視される。