數據正在統治世界
加州桑塔克魯茲市利用數據分析來預測犯罪。
數據分析幫助Otto集團實現了準確的銷售預測。
數據分析幫助Otto集團實現了準確的銷售預測。 忘記「老大哥」吧，現在監測著全世界的是「大數據」。各國政府和各大企業都發現，設計好的演算法可從數據中挖掘無限潛力，預測到你下一步會買什麼，不法分子將在何時實施犯罪，甚至可能幫助治好癌症。但和所有技術一樣，「大數據」也有副作用。
溫暖的春日黃昏，從科爾布蘭德大橋俯瞰漢堡港，眼前風景猶如明信片：易北河在夕陽下閃著金光，起重機和卡車緩慢地移動著，不時有集裝箱船靜靜駛過。但在塞巴斯蒂安·薩克斯看來，這個地方卻是一個錯綜複雜的方程式。漢堡港佔地7200公頃。每天約有200列火車經過300公里的鐵路和130座大橋把貨品運過來上船。作為漢堡港管理局(H PA)的首席信息官，過去4年半里，薩克斯擔負著優化物流的重要任務。
土地面積有限，再擴張不可能。但漢堡市議會已經宣布，到2025年漢堡集裝箱吞吐量將達到現在的3倍。為完成這一任務，薩克斯及其領導的60人IT團隊需要最大程度地利用另外一個資源：數據。
他手頭有很多數據。現在漢堡港遍布感測器，卡車和貨車不停地報告自己的位置，集裝箱船報告著自己的位置和速度，科爾布蘭德大橋也裝上了感測器，持續監測著港口交通。
「我們的目標是建成互聯的智能港口，」薩克斯說。比如鐵路弔橋不再定期開啟，僅在有船來時才打開，以免造成鐵路不必要的延誤；科爾布蘭德大橋可以通過感測器報告橋體狀況，便於安排維修保養；最終整個港口將成為一台龐大的自我控制機器，薩克斯希望建成港口信息交換系統，船運公司可以預測其集裝箱何時能從水中上岸，時間精確到分鐘。
世界上其他許多企業和H PA有著同樣的目標。「老大哥」這個詞兒已經過時，大數據將實現對人類生活的全面控制和管理。牛津大學教授維克托·邁爾-舍恩伯格等人稱之為一場「革命」，認為大數據將改變我們的工作環境，甚至是思維方式。
數據正以空前速度增長，2012年約有2 .8澤位元組的數據被創造出來(一澤為1，000，000，000，000，000，000千位元組)。專家估計，到2020年數據總量將達到40澤位元組。人們每天傳到網上的數據要大約2.5億張D V D才能儲存，而且每兩年這個數據量就要翻一番。
但數據的超大規模並非最重要因素，最大的不同的地方在於企業、政府部門和研究者開始以全新方式對數據進行分析。由於現今存儲空間的成本幾乎可以忽略不計，越來越快的電腦可隨時將海量數據互聯。運演算法則為混沌的數據創造秩序，進行深度挖掘，揭示出新的模式。
儘管對大多數人來說，「大數據」這個術語沒有多大意義，但運演算法則的影響力早已無所不至。信用卡公司能迅速識別不尋常的刷卡消費，及時向持卡人發出警示；能源公司分析天氣數據，為風力發電設備確定理想安裝位置，甚至精確到米；自斯德哥爾摩使用演算法管理交通以來，駛經城市中心區的汽車減少一半，尾氣排放減少10%；近來在線電商開始運用數據分析來優化其銷售策略，由此催生了那句廣為人知的話：「購買了該商品的顧客同時還購買了……」
google和facebook是十足「大數據」，其商業模式正是收集、分析和營銷用戶信息資料，廣告投放也儘可能為具體個人量身定製。對Facebook的投資者來說，這龐大的資料庫及其利用潛力至少價值1000億美金。
把數據寶庫轉換成真金白銀的前景激發了眾多行業的美好夢想。根據行業協會BIT COM發布的數據，2012年全球與大數據運用有關的銷售額高達46億歐元，到2016年更可望增加到160億歐元。醫藥和科學領域也開始進行大數據應用實驗，在公共領域，警務部門和安全部門本來對IT不太積極，如今也意識到大數據應用的好處。
大數據吸引到這麼多關注，關鍵在於超快速分析。事實上，運演算法則能對人類行為進行驚人準確的預測，2010年，Google根據用戶搜索成功預測一波流感爆發，美國數據專家耐特·席爾弗比所有人口統計學家都更早、更準確地預測了上一次美國總統大選結果。一些城市甚至對特定街區發生罪案的可能性進行預測，名為「警務預測」。科學家還表示，利用手機定位插件和通訊錄資料，他們將能在一定程度上預測你我明天或未來一年內某個時間段會在哪裡。對一些人來說，這種前景或許沒有什麼吸引力，不少人卻已經從中受益：在線交友網站用運演算法則分析大量問卷，以提高為用戶找到另一半的幾率。各大公司、實驗室及一些政府部門也對此趨之若鶩。在很多地方，數據被稱頌為21世紀的「石油」或「黃金」。一些人已經淘得了真金：統計學家、物理學家和所謂的「數據挖掘專家」，為公司提供大數據應用方面的諮詢服務。正如19世紀淘金熱中一樣，那些出售設備、工具和專業技術的人賺到了大錢，成立5年、擁有85名員工的遠藍公司(BlueY onder)就是一個例子。
尤偉·維斯看上去並不像個神棍，但總在重複一句話：「我們的工作就是提供各種預測。」作為遠藍公司的總經理，他預測時靠的不是塔羅牌或者無辜動物的內臟，而是超市收銀機、天氣、休假安排和交通報告等產生的數據。這些數據全都匯入遠藍公司開發的分析軟體，據該公司宣傳，該軟體可為客戶———如全球最大的郵購公司之一Otto集團———提供「精確預測」，比如某種具體商品的銷量。對於零售業來說，這至關重要，因為可以避免運輸問題，儘可能地壓縮倉儲成本。
通過數據分析，維斯及其手下會發現，連鎖超市某個分店牛奶、巧克力及蘋果的銷量會在某些日子大幅提高，然後將這種現象跟附近青年旅舍新入住了一幫學生聯繫起來。現在軟體就利用學校假期安排等數據，計算滿載學生的大巴在某個時段抵達的可能性。
遠藍利用不斷流入的新數據開發出一個針對購買行為的即時市場研發系統，連鎖藥店則讓團隊幫忙計算各店最佳人員配置以及銷售預測。保險公司同樣對數據分析感興趣，維斯描述了一個「未來場景」：一輛配有1000多個感測器的汽車不斷監測駕駛員的駕駛行為，那些同意向保險公司提供數據供其進行風險分析的駕駛員可以享受特低的保險費。「大數據正在改變整個經濟，一切剛剛開始。」美國最大在線DVD租賃商Netflix擁有3.6億用戶，最近它的《紙牌屋》收視率創下紀錄。此劇的成功絕非偶然，在購買版權之前，Netflix進行了數據分析。它有理想的條件採取這種辦法：它知道哪些劇目走紅，哪個演員特別受歡迎，觀眾什麼時候開始厭倦，每天都有數據。事實證明，分析和預測很成功，《紙牌屋》非常合乎Netflix觀眾的口味。一些音樂門戶網站通過類似手段取得成功，它們向合作唱片公司提供聽眾音樂口味和收聽行為等即時數據，樂隊就可以策劃到最追捧自己作品的地方巡演。
大數據還在其他方面造福社會。在德國漢索-普拉特拉(HPI)學院，有一個價值150萬歐元的「超級大腦」———由25台電腦構成，每台電腦擁有40個處理器———令無數癌症患者看到了希望。科學家已經發現，每個腫瘤都不同，這意味著同樣的治療可能對人產生不同的影響。上上之選是通過分析病人的基因組，拿出個性化醫療方案，但這通常要數月時間，因為一個人的DNA包括大約30億個鹼基對。HPI負責人克里斯託福·梅奈爾說，通常來說，通過分析一個人的基因組、拿出個性化醫療方案需要數月時間。而HPI這個「超級大腦」與常規分析系統不同，待處理數據不是放在硬碟上，而是全部放在內存上，採用全新的內存資料庫技術(In-Memory)，將處理速度提高了上千倍，基因組分析可以縮短到幾秒。而且它還利用晚上時間從公眾基因庫內提取信息，以相關病例為參考，尋找存活率高、生活質量最佳的治療方法。「不久前這個對比過程還要數月時間。」H PI負責人梅奈爾說。
與此同時，英國曼徹斯特大學的研究者正在研發「神奇地毯」，目的是幫助獨居老人。這個設備像普通地毯一樣安裝在地板上，內有感測器，可記錄老人的腳步，藉此分析老人的生活是否與平常有異，比如是否照常起床。如有異常，就會觸發警報。科學家還可以擴大這種技術的應用，比如裝到人工髖關節中。
學生斯蒂芬·漢斯曾想通過下賭體育比賽賺點小錢。他寫了一個小程序，希望精確預測足球賽比分，但是效果不太好。
漢斯10歲得到第一台電腦，13歲時開始寫程序。3年前，20歲出頭的他在達姆施塔特工業大學學習，發現數據眾包網站K aggle———企業會出錢購買上面的數據解決方案。漢森選擇了一個汽車經銷商發布的任務：對二手車的轉售前景進行預測。他設計了一個演算法，將大量關於二手車的細節納入一個「有意義的框架」，數據包括初始註冊信息、行程里程數、年行駛里程數等。全球共有571個團隊參与競逐，獎金1萬美元，漢斯的程序最終排名第六，這讓他精神大振，勇往直前，成了K aggle上面最成功的演算法設計師之一。
迄今他取得的最大成就是寫了一個能夠自動、可靠地評估學生論文的程序，也就是一個「打分機」。他花了一個半月，寫成12000行代碼，它可以計算拼寫和語法錯誤率，甚至能評估文章中含有多少情緒成分。比賽結束前一周，為了增加勝算機會，他和另外兩名選手聯合。最後3人贏得了比賽，獲得了6萬美元獎金。「測試表明，程序的評估得分跟教師的評估差距不大，」漢斯說。後來3人將軟體賣給了美國公司Pa-cificM etrics，現在漢斯正在撰寫碩士論文，未來一片光明。
但是，也有人的生活因為大數據應用而變得艱難。不久前，一名偷車賊在美國加州桑塔克魯茲市一個地下停車場準備下手時，完全沒想到幾米外一輛普通汽車裡有一名警察正在吃午餐。還沒來得及完成犯罪，他就被捕了。
但這位警察之所以在正確時間出現在正確地點，並非偶然。那一天，他是在一個電腦程序的推薦下，專門到停車場來吃飯的。
過去兩年來，桑塔克魯茲市約有100名警察每天換班時不僅接受長官的指揮，還接受一種演算法的安排。該程序每天搜集警察身上設備傳送來的大量數據，計算特定時段和街區的犯罪可能性，將15個最危險街區列成一個矩陣。它所預測的犯罪事件中，有三分之二最終真的發生了。「有10%我就很高興了。」桑塔克魯茲警察局副局長斯蒂夫·克拉克說。
計算機科學家喬治·莫赫勒和專門研究犯罪的人類學家傑弗瑞·布蘭汀漢姆基於震后場景預測模型設計了這個程序。2011年初，克拉克偶然聽說了兩位學者的創意，3人一起設立了一個實驗性項目。他們將過去8年的犯罪數據輸入程序，還有其他可能的相關數據，如天氣和交通資料。此外，程序還將每兩個犯罪關聯起來。
「最初很多人表示懷疑，包括我。」克拉克說。「但是數據自己會說話，它的確有用。」克拉克說，犯罪預測系統投入使用一年後，入室行竊減少了11%，偷車減少了8%，抓捕率大幅上升了56%。
現在，整個市的警察隊伍都使用高科技設備，他們帶著智能手機和平板電腦，可在巡邏時訪問基於網路的預測系統。上司鼓勵他們只要有可能就在「標記區域」待著，克拉克可以講述很多手下在預定區域把罪犯逮個正著的故事。
兩位數據專家後來成立了一家公司，在全世界推銷這一產品PredictivePOLicing。光是在美國，已有十幾個警察局使用這一軟體，如洛杉磯、波士頓和芝加哥。克拉克最近正在英格蘭幫助肯特郡使用這個程序。
軍隊和情報機構學會利用數據分析的力量。比如，大數據在尋找拉丹的過程中扮演了重要角色，幫助鎖定他在巴基斯坦的具體藏身處。加州軟體公司Splunk在軍情機構中很受歡迎，不久前科技記者們將Splunk評為世界五大創新公司之一(G oogle只排第11位)。有90多個國家的政府、機構和企業使用Splunk的產品，它在美國的客戶包括五角大樓、國土安全部。這家僅成立9年的公司用軟體分析各種機器提供的數據，包括手機基站、網路伺服器和飛機。「一架空客A 380一次飛行產生的數據相當於中等規模的計算機中心。」Splunk產品副總裁吉多·施羅德說。利用這些數據，可以幫助航空公司將燃料消耗減至最低，優化保養間隔。「安全是大數據應用中最大增長點之一。」施羅德說。除了犯罪和恐怖主義，Splunk還關注越來越多的網路攻擊。「我們正為更大規模的網路戰爭做好準備。」
當然，數據戰爭不僅僅發生在軍情領域。德國新興金融機構Kreditech位於漢堡W interhude社區一棟磚房裡，看上去一點都不像銀行，倒像是新興科技企業辦公室和合租公寓的混合體，兩位負責人塞巴斯蒂安·迪耶默和亞歷山大·格魯伯·穆勒也不像銀行家。這兩位自信的創業者認為銀行家的商業模式已經過時，他們的做法是通過網路借錢：短期小額貸款，最高500歐元，平均每位客戶貸款額為109歐元。他們並不要求客戶提供信用證明，而是利用數據分析手段，自行評估對方欠賬的可能性。「理想情況下，審核通過後，客戶賬戶15分鐘內就能收到借款。」迪耶默說。作為回報，Kreditech希望用戶提供儘可能多的信息，信息越多，預測越精確，客戶的信用額度越高。除了可以公開訪問的eBay個人主頁，Kreditech還要求訪問客戶的Facebook主頁，這樣可以確認用戶提供的照片和住址是否與其他社交網站上的一致，好友是不是同一群人，藉此判斷Kreditech是否在與一個真人打交道。除此之外，連用戶的借貸申請發自昂貴的iPad還是便宜的A ldi電腦都在評估範圍內。申請者本人的行為也有影響，比如他們花了多少時間填問卷，K reditech還會記錄對方辦輸入時出錯、使用取消鍵的頻率。
利用這種方式，Kreditech可以處理大量信息。該公司成立於2012年3月，擴張迅速，已在波蘭、西班牙和捷克上線，不久準備在俄羅斯開張。
Kreditech創立者不僅希望靠小額貸款和利息收入獲利，他們的真正目標是為其他公司———如在線零售商———建立國際性的、自我更新的信用資料庫，因為現行的資料庫參數更少，只反映了一個人過去的信用，就連這種資料庫在許多國家也不存在。「全球人口中幾乎四分之三仍然沒有可靠的信用記錄。」格魯伯-穆勒說。
除了Kreditech，德國的Zestfinance和英國的Wonga也正追尋著類似的目標，在這個尚不穩定的市場里引發了法律和道德問題。Wonga試圖把學生從政府學生貸款那裡吸引到自己的貸款項目(利率更高)里來，受到了媒體的討伐。
Kreditech創立者說，在用戶隱私問題上，他們做得無可指責。「SCHUFA(德國信用機構)會儲存數據，而我們只是使用特定申請者的數據。」此外，任何被拒申請者的數據90天后都會被刪除，公司只會保留必要數據，以便識別之前曾經被拒的申請者。
儘管有種種限制，投資者還是認為這種信用評價方式很有吸引力：去年12月K reditech收到400萬美元投資，今年4月一個德國基金又投入了差不多400萬美元，W onga則已籌到1.41億美元投資。
Kreditech的商業模式顯示了很多大數據應用可能引起的敏感問題。當然，用戶是「自願」一步步放棄他們的數據，就像我們自願將私人照片貼到F acebook，將我們的政治觀點發表到T w itter上一樣。每個人都是這巨大的新資料庫的提供者———哪怕是在虛擬世界，我們也要使用會員卡來換取里程數和免費租車機會。
可能很多人對此並無反感，因為我們對自己的數據到底怎樣被人利用，仍然模糊不清。我們的數據被賣給了誰，賣得有多頻繁？這些購買者會遵守規則，保守秘密嗎？如果Kreditech被大公司收購，或者破產，事情將會變得怎樣？
當SCHUFA的信用評估者想要與HPI合夥建立一個實驗性項目時，揭示出了公眾對此類事務的反應是多麼敏感。和Kreditech一樣，這個項目想要分析Facebook、Twitter和其他社交網站上的數據，但剛一宣布，就引起了抗議，只好立即放棄。
當很多駕駛員意識到導航設備不僅能幫他們找到最佳路線，還可以用來對他們進行分析時，就更加憤怒。荷蘭導航設備製造公司T om T om把用戶數據賣給了荷蘭政府，後者又轉交給警方，警方則利用這些信息在最能帶來收入的地方———也就是T om T om用戶最喜歡超速的地方———設置了限速陷阱。T om T om的首席執行官公開道歉，說公司以為政府要這些數據是為了改善交通安全，減少交通擁堵，沒有想到會是這樣。
類似的矛盾其實早已潛藏在技術中。大數據在個性化應用中特別有價值，個人化信息給企業提供了無數誘人的可能性，如果有人在Facebook上說喜歡某條牛仔褲，那麼下次他(她)訪問這個牛仔褲品牌的網站時，商家就可以向他(她)發放優惠券，誘使他(她)消費。對於零售商和一些消費者來說，這可能挺吸引人的，但對數據隱私鼓吹者來說，「大數據」不過是「老大哥」的另外一個版本。
從企業的立場看，消費者那有點分裂的態度乃是問題之所在。一方面，人們在網上特別樂於公開自己的情況；另一方面，對於那些想要分析和搜集這些信息的行為，又不憚以最大的惡意去推測。紐約廣告公司O gilvy O ne進行的一項研究表明，75%的答卷者不希望企業儲存他們的個人信息，幾乎90%的用戶反對企業跟蹤他們的網路瀏覽記錄。正因為此，歐盟數據保護綱領才引起了巨大爭議。如果這個綱領獲得通過，很多企業的大數據夢想將化為泡影，所以A m a-zon、G oogle和Facebook等公司紛紛派人遊說布魯塞爾。
但對一個現代化的社會而言，更為迫切的問題是它是否願意接受數據經濟中可能發生的一切。演算法可以預測孩子在學校中的表現、預測他們對一項特定工作的適應程度、預測一個人是否可能成為罪犯或者患上癌症———我們願意住在這樣一個世界中嗎？電視連續劇或者唱片等文化產品可根據我們的口味量身定做，那樣真的好嗎？在一個計算精確的世界里，創意、直覺和驚喜將何處容身？
互聯網哲學家耶夫根尼·莫洛佐夫警告說，將會出現「演算法的獨裁」，對於現在許多大數據應用背後的理念，他持批評態度。他說，隨著演算法公式越來越多地應用於金融和預防犯罪，應由獨立、有資質的人員來掌握和分析它們，以免造成權力的濫用。
一位數據巨頭曾在不經意間揭示出真相。Google執行主席埃里克·施密特說，2010年，公司嘗試根據搜索結果來預測股票價格，但後來意識到這樣做是非法的，就放棄了。
但他沒有說這是不可能的。
原載：Spiegel
網址：http://www.spiegel.de/in-ternational/business/big-data-enables-companies-and-researchers-to-look-into-the-future-a-899964.html
編譯：Dawn
This entry passed through the Full-Text RSS service — if this is your content and you're reading it on someone else's site, please read the FAQ at fivefilters.org/content-only/faq.php#publishers. Five Filters recommends: 'You Say What You Like, Because They Like What You Say' - http://www.medialens.org/index.php/alerts/alert-archive/alerts-2013/731-you-say-what-you-like-because-they-like-what-you-say.html
留言列表
留言列表
