大數據

　　亞馬遜「資訊管理」暢銷書第一名
　　亞馬遜「電腦文化」暢銷書第一名

　　汽車烤漆的顏色能告訴你，這輛二手車的故障率高低嗎？
　　市政府要怎樣清查，才能迅速找出有致命危險的人孔蓋？
　　從谷歌的搜尋字眼，怎麼預測流感疫情的蔓延？

　　要回答這些問題，關鍵就在於巨量資料（俗稱大數據）。
　　「巨量資料分析」是一門新興科技，能夠解讀和預測無數的現象，
　　包括預測機票的價格、好萊塢新片的票房、你家裡的青少年是否未婚懷孕！
　　也能協助診斷早產兒的健康情況，探查收入高低與幸福快樂的相關程度，
　　幫忙規劃快遞的送貨路線、電動車的充電站應該設置在哪裡，
　　還能用來發展自動導航的無人駕駛汽車、
　　以及「從駕駛人的臀部形態判斷是否為車主」的防盜系統，
　　也能夠快速進行多種語文的互譯……

　　兩位最頂尖的大數據專家，真正掌握到巨量資料思維的精髓，
　　在這本書裡，清晰曉暢的解釋了巨量資料是什麼，
　　它將如何改變我們的生活，對經濟、社會和科學會帶來什麼影響，
　　我們又能夠做些什麼，趕搭上這波新潮流，
　　同時也懂得保護自己，避免個人資料和隱私受到侵害。

作者簡介

麥爾荀伯格 Viktor Mayer-Schonberger

　　牛津大學網路研究所教授，
　　並擔任微軟、世界經濟論壇等大公司和組織的顧問，
　　是大數據（巨量資料）領域公認的權威，
　　寫過八本書以及上百篇專論。

庫基耶 Kenneth Cukier

　　《經濟學人》雜誌資料編輯，巨量資料思潮評論員，
　　經常於《紐約時報》、《金融時報》、
　　以及《外交事務》期刊發表財經文章。

譯者簡介

林俊宏

　　師範大學翻譯研究所碩士。
　　喜好電影、音樂、閱讀、閒晃，
　　覺得把話講清楚比什麼都重要。
　　譯有《英語的秘密家譜》、《建築為何重要》、
　　《大科學》、《群的智慧》、《天空的女兒》等書。
　　現就讀於師大譯研所博士班。

第1章

現在：該讓巨量資料說話了

2009年又冒出了一種新的流感病毒，稱為H1N1。這種新菌株結合了禽流感和豬流感病毒，迅速蔓延。短短幾星期內，全球的公共衛生機構都憂心忡忡，擔心即將爆發流感大流行。有些人發出警訊，認為這次爆發可能與1918年的西班牙流感不相上下，當時感染人數達到五億人，最後奪走數千萬人的性命。雪上加霜的是，面對流感可能爆發，卻還沒有能派上用場的疫苗，公共衛生當局唯一能努力的，就是減緩其蔓延的速度。為了達到這項目的，必須先知道當前流行感染的範圍及程度。

在美國，疾病管制局（CDC）要求醫生一碰到新流感病例，就必須立刻通報。即使如此，通報的速度仍然總是慢了病毒一步，大約是慢上一到兩星期。畢竟，民眾覺得身體不舒服之後，通常還是會過個幾天才就醫，而層層通報回到疾管局也需要時間，更別提疾管局要每星期才整理一次通報來的資料。但是面對迅速蔓延的疫情，拖個兩星期簡直就像是拖了一個世紀，會在最關鍵的時刻，讓公共衛生當局完全無法掌握真實情況。

巨量資料初試啼聲

說巧不巧，就在H1N1躍上新聞頭條的幾星期前，網路巨擘谷歌（Google）旗下的幾位工程師，在著名的《自然》科學期刊發表了一篇重要的論文，當時並未引起一般人的注意，只在衛生當局和電腦科學圈裡引起討論。該篇論文解釋了谷歌能如何「預測」美國在冬天即將爆發流感，甚至還能精準定位到是哪些州。谷歌的祕訣，就是看看民眾在網路上搜尋些什麼。由於谷歌每天會接收到超過三十億筆的搜尋，而且會把它們全部儲存起來，那就會有大量的資料得以運用。

谷歌先挑出美國人最常使用的前五千萬個搜尋字眼，再與美國疾病管制局在2003年到2008年之間的流感傳播資料，加以比對。谷歌的想法，是想靠著民眾在網路上搜尋什麼關鍵詞，找出那些感染了流感的人。雖然也曾有人就網路搜尋字眼做過類似的努力，但是從來沒人能像谷歌一樣掌握巨量資料（big data，直譯為大數據），並具備強大的處理能力和在統計上的專業技能。

雖然谷歌已經猜到，民眾的搜尋字眼可能與流感有關，像是「止咳退燒」，但相不相關其實不是真正的重點，他們設計的系統也不是從這個角度出發。谷歌這套系統真正做的，是要針對搜尋字眼的搜尋頻率，找出和流感傳播的時間、地區，有沒有統計上的相關性（correlation）。他們總共用上了高達4億5千萬種不同的數學模型，測試各種搜尋字眼，再與疾管局在2007年與2008年的實際流感病例加以比較。他們可挖到寶了！這套軟體找出了一組共四十五個搜尋字眼，放進數學模型之後，預測結果會與官方公布的全美真實資料十分符合，有強烈的相關性。

於是，他們就像疾管局一樣能夠掌握流感疫情，但可不是一、兩星期之後的事，而是幾近即時同步的掌握！

因此，在2009年發生H1N1危機的時候，比起政府手中的資料（以及無可避免的通報延遲），谷歌系統能提供更有用、更及時的資訊。公衛當局有了這種寶貴的資訊，控制疫情如虎添翼。

最驚人的是，谷歌的這套方法並不需要去採集檢體、也不用登門造訪各家醫院診所，而只是好好利用了巨量資料，也就是用全新的方式來使用資訊，以取得實用且價值非凡的見解、商機或服務。有了谷歌這套系統，下次爆發流感的時候，全球就有了更佳的工具能夠加以預測、並防止疫情蔓延。

巨量資料功能強大，可以讓許多領域改頭換面，公共衛生領域不過是其中之一，而商業領域也正在經歷這個過程。例如買飛機票就是個很好的例子。

2003年，伊茲奧尼（Oren Etzioni）打算從西雅圖飛往洛杉磯參加弟弟的婚禮。

早在幾個月前，他就已經上網買了機票，一心認為愈早預訂，票價就愈划算。但在航程中，他出於好奇，問了坐在隔壁的乘客票價以及購票時間，結果那個人明明是最近才買，票價卻是便宜得多。一氣之下，伊茲奧尼一個又一個的問下去，發現大部分人的票價都比他的更便宜。

對於大多數人來說，等到收回托盤、豎直椅背、準備下機的時候，這種覺得被敲竹槓的火氣，也差不多消了。但伊茲奧尼身為美國頂尖的資訊科學家，可沒這麼好打發。在他看來，整個世界就是由一連串關於巨量資料的問題構成的，而這正是他拿手的領域。追溯到1986年，伊茲奧尼可是哈佛大學第一位主修資訊科學的畢業生，之後進入華盛頓大學任教；而且早在巨量資料這個詞出現之前，他就已經開了數家處理巨量資料的公司。例如，他曾協助打造了最早期的網路搜尋引擎之一、於1994年推出的MetaCrawler，不久便由當時的網路巨擘InfoSpace公司買下。另外，他也共同創立了史上第一個大型比價購物網站Netbot，後來出售給Excite公司。至於他的另一間公司ClearForest，則是處理如何從文件中取得語義資訊，後來由路透社收購。

客機著陸之後，伊茲奧尼已經下定決心，要讓人能夠知道自己在網上看到的票價，究竟是撿到便宜還是被人坑了。如果把飛機機位看成商品，同一航班的座位基本上也沒什麼不同，但票價卻是天差地別。這裡有許多因素，只有航空公司自己才曉得。

伊茲奧尼認為，這種系統並不需要真的去解出票價背後千絲萬縷的糾纏因素，只要能預測出未來票價是漲是跌就夠了。這其實不困難，只要先取得特定航線售出的所有票價資訊，再與出發前天數做比較即可。

如果平均票價呈現下跌趨勢，買票這件事當然就可慢慢來。如果平均價格呈現上漲趨勢，系統則會建議馬上以目前顯示的價格購票。換句話說，當初伊茲奧尼是在三萬英尺高空詢問其他乘客的票價，而現在這個系統就是個加強版。雖然說這絕對還是個資訊工程的龐大問題，但與過去一樣，這對他而言仍然能夠迎刃而解。於是，他動工了。

伊茲奧尼花了四十一天，從某個旅遊網站取得超過一萬兩千筆票價資料，做為樣本，並建立一個預測模型，讓模擬的乘客都省下了大筆鈔票。這個模型並不懂「為何如此」（why），只知道「正是如此」（what）。換言之，模型完全不知道各種影響票價的因素，像是未售出的機位數、淡旺季、或是星期幾的機票較便宜之類；模型所做的預測，都是基於手中確實的資訊，也就是從其他航班所蒐集到的相關資料。

伊茲奧尼思思念念的，就是「要買還是不買」的問題——像極了莎翁名劇《哈姆雷特》的經典獨白：「生存還是毀滅，這是個問題。」正因如此，伊茲奧尼把這個研究計畫命名為「哈姆雷特」。

原本的小小研究計畫，後來發展成投入大量資金的創業計畫「Farecast」，藉著預測機票票價可能上漲或是下跌，Farecast就能讓消費者知道是否該立刻點選「購買」鍵。在過去，消費者從來不可能得知這些資訊。Farecast堅持一切應該透明，所以甚至還會對自己的預測加上可信度評分，提供給使用者參考。

預測系統要有效，就必須有大量的數據資料。為了提升效能，伊茲奧尼從航空業的一個航班預訂資料庫下手。資料庫存有全年美國商業航空各航班、各座位的資料，能做為系統預測的基礎。現在，Farecast手中大約有近兩千億筆票價紀錄，用以做出預測。如此一來，消費者就能省下大筆的金錢。

伊茲奧尼有一頭黃褐色的頭髮，露齒微笑、一臉天真，看起來實在不像是會讓航空業損失數百萬美元潛在收入的人。但事實上，他的目標甚至還不止於此。到了2008年，伊茲奧尼打算將這套辦法再應用到其他商品，像是飯店客房、音樂會門票、二手車等等，只要是產品差異性小、價格變化大、而且有大量數據資料的商品，都能適用。但他還沒來得及讓計畫成真，微軟就已經找上門來，用大約一億一千萬美元買下Farecast，結合到Bing搜尋引擎之中。到了2012年，該系統平均有75％的預測準確率，讓每位旅客省下50美元。

Farecast正是一個巨量資料的公司縮影，也是世界未來的走向。如果是五年或十年前，伊茲奧尼絕不可能建立起這種公司。他說：「這本來是不可能的任務，」所需要的計算能力和儲存容量都還太過昂貴。然而，讓計畫成真的原因當中，雖然科技進展是關鍵因素，但還有一個更微小、卻也更重要的因素，就是關於該如何使用資料的思維，已有所改變。

過去認為資料是靜態、靜止的，一旦完成原本蒐集的目的（例如飛機已降落、或谷歌完成了一次搜尋），便不再有用處。但現在，資料是新的商業生產原料、重要的經濟資源投入，可以創造出新形式的經濟價值。如果心態正確，就能巧妙重複運用資料，不斷帶來創新和不同的服務。只要夠謙卑、有意願、也有工具傾聽，資料就能讓種種祕密躍然眼前。