发表自话题：穿洞洞鞋的心路历程
原标题：Google Maps的故事：纵横天地间的数据体系_创事记_新浪科技_新浪网
来源：余晟以为（ID：yurii-says）
GeoEye-1
2008年，Google Maps已经覆盖了54个国家，无论Maps还是Earth都有几千万用户。但是，无论创始人布林、佩奇，还是CEO施密特，都在发出同样的信号：快一点，再快一点。同样，投入也一再增加。到2008年，Geo团队的人数已经超过1200。
也是在这一年，John做主，Google买下了一家叫Image America的公司，它的老板是Kevin Reece。长期以来，Image America都在给Google Maps提供数据，2005年卡特里娜飓风袭击之后，它及时提供了航空摄影图片，（之前的文章里提到过）信息及时更新的Google Earth帮助海岸警卫队挽救了数百人的生命。但是现在，Google不再满足从Image America购买数据，而是把Image America收入囊中。收购完成之后，Google瞬间就拥有了自己的侦察机队。Google从没有公布它们拥有的侦察机数量，但是媒体已经用“Google空军（Google Air Force）”的说法。
加入Google之后，Reece与负责街景开发的Luc Vincent、负责Maps技术的Brain通力合作，改进了航空摄影技术。Google的侦察机在飞行过程中，镜头会前后摆动，这样不但能获得更清晰的照片，还可以同时获得3D数据，用于对地面进行3D建模。出于重视，Google甚至为这个项目专门定制了数据处理芯片，拉里·佩奇也亲自参与到这个项目中来。
到现在，Google Maps基本形成了“天地一体”的数据体系：最上面是卫星照片，生成地图的“缩略图”；低一点的是航空照片，生成大比例尺的图像，以及3D建模；再往下是地面，有街景车实地拍摄的街景图像。除此以外，还有“拍不到”的行政地图，比如路名、建筑名、区域边界等等。
我们使用Google Maps时，可以自由缩放，自由切换视图、视角，感觉是相当自然而且平滑的。在这背后，地图团队需要做大量的工作，将不同数据源的数据悉数对齐，保持一致，即便出现变更，也要保证各来源各层的数据保持同步变更。这工作听起来已经足够繁琐了，但Google仍然不满足，它希望依靠机器和程序把这些工作自动化（之前提到过，Google放弃了使用SketchUp来做3D建模，就是因为没法自动化、规模推广），可谓雄心勃勃了。
不过，Google的野心还不限于维护和对齐数据，对于数据，它有更大的胃口。2008年，它的目标之一就是当年将要发射升空的GeoEye-1卫星。
GeoEye-1卫星是GeoEye公司研制的最新一代卫星。之前，微软和雅虎从GeoEye购买航空照片用于自己的地图，试图赶超Google Maps。将要发射升空的GeoEye-1卫星可以提供0.5米精度的卫星照片（实际上无论是GeoEye-1还是之前的，民营公司能拿到的照片都不是最高分辨率的，最高分辨率照片只提供给美国军方），这当然引起了新的一轮争夺。施密特深恐微软的竞争手段，他对负责商务拓展的Daniel Lederman说：“这场仗，我们绝对不能输。”
最终Daniel不负众望，GeoEye接受了Google的投资，微软则败下阵来。
不过事情没有那么简单，卫星行业有自己的玩法：“投资”了卫星，光给钱是不行的，还有两件事得做：第一，在火箭上打上你的logo；第二，你得亲自到发射场，亲自见证卫星发射升空（另一个意思是，万一发射失败，你也在现场亲自见证了）。对Google来说，第一点好办，第二点不好办。布林和佩奇实在是太忙了，很难联系上，而且行踪不定——今天在这里，明天在那里，没有人能提前约到他们的准确时间。但是，卫星行业的惯例是不会为金主改变的。所以，千斤的重担压在了Daniel身上。
GeoEye-1发射时，火箭上有Google的logo。图片来源：pando.com
GeoEye-1的发射时间定在2008年9月6日，直到9月5日，Daniel才收到布林和佩奇的助理的电话：
太好了！
不过，还有件事情，他们想要直接落地在范登堡机场，不想先落地在其它地方，再坐车去发射台。
对，没有错。他们想要直接在那里落地，观看卫星发射，然后上飞机离开。
你TM在开什么玩笑？
不，我可没开玩笑。你问问能不能这样安排，只有这样安排他们才会来。”
这是“意料之外，情理之中”的要求。布林和佩奇的行事一向天马行空，两位创始人之前买了一架波音767飞机，他们争论的一个点是：飞机上到底是要装双人大床还是装吊床。所以放下电话，Daniel连忙去公司的人，得到的答复是一样的：“你TM在开什么玩笑？”
不过，Daniel总是有办法搞定了这一切。
第二天早上，布林和佩奇的湾流公务机降落在范登堡空军基地的机场，舱门打开，走出来的是佩奇和他的未婚妻，布林和他怀孕的妻子。布林的打扮和平时一样：T恤、牛仔裤、洞洞鞋。机场上，迎接他们的是整齐着装的GeoEye公司代表和军人。
在众人的注视下，卫星顺利发射升空。下午2点18分，他们乘上飞机离开了。
2008年10月，Google收到了GeoEye-1传过来的第一份数据。GeoEye-1迅速成为了Google Maps的重要数据源，并保证Google Maps对竞争对手的优势。
GeoEye-1拍摄的50厘米分辨率照片。上图为美国俄亥俄州游乐园，下图为澳大利亚堪培拉市体育场。
GeoEye-1如何能从683千米的高度拍摄那么高精度的照片？据美国《流行科学》杂志介绍，GeoEye-1的拍摄过程如下：
1. 入轨。发射升空进入683千米的轨道之后，在7年寿命内，还可以依靠燃料机动100千米（受地球引力影响，卫星高度会不断降低，所以需要“升高”）。
2. 接收指令。操作员可以从阿拉斯加、弗吉尼亚、挪威、北极四个基地向卫星发送指令，指定具体的拍摄地点和时刻。
3. 定位。GeoEye-1是第一颗具备军用GPS定位精度的民用卫星。其地面定位精度可达2.7米，是之前水平的1.5倍。
4. 对齐。在卫星准确定位之后，卫星上的滚轮会反向旋转，抵消卫星自转的影响，以便镜头对准目标。
5. 测光。地面操作员根据当时的太阳光线和卫星位置，确定曝光时间。卫星的精度很高，所以拍摄元件的工作要求也非常苛刻，它们封装在一个圆筒里，工作时必须保证温度稳定在72华氏度（22.2摄氏度），绝不能直接暴露在宇宙中。曝光时间确定后，卫星上的密封门打开，完成拍摄，密封门立即关闭。
6. 拍摄。卫星每2秒钟拍摄一幅20000 x 37500（7.5亿像素）的照片，单次拍摄任务总计2分钟，共获得约900亿像素的图像，覆盖范围6000平方英里（约1.5万平方公里）。然后，处理芯片将数据写入卫星搭载的1T容量的SSD硬盘。
7. 传输。卫星每天可以拍摄的面积约为德州大小（约69.1万平方公里，作为参考，四川省面积为48.5万平方公里），每天与地面进行无线电通讯40次，将数据加密传输至地面。
Ground Truth
如果之前Google Maps所做的一切，大都符合普通用户的直觉经验，能够简单感知的话，Ground Truth项目则真正代表了Google的野心：把物理世界装进去，让物理世界可以搜索。要了解Google Truth，还得从历史说起。
2007年iPhone面世之后，2008年Android也面世了，随着移动互联网的爆发，地图业务也在高速增长。通常，互联网公司很擅长解决规模的问题，只需要简单增加机器就可以，成本并不会随业务规模增长而飞速上升。不幸的是，地图业务不是这样。
Google Maps所有关于道路的数据，都来自荷兰的Tele Atlas和美国的Navteq两家公司。所谓道路数据，指的是单行、限速、限高、车道数量等等。以前，每个国家都有几家公司做这种业务，每家公司都有众多数据标注人员，负责标注各种数据，保持数据库的更新。到了2008年，此类公司不断集中，Tele Atlas和Navteq成了统治世界的两大巨头。
既然身为巨头，当然不会放弃攫取利润的每一个机会。掌握了道路数据，就掌握了车载导航仪市场的命脉，车载导航的市场正在爆发式增长。Tele Atlas和Navteq指导，虽然Google Maps是它们的大客户，但不是唯一客户，而且，它们也很恐惧Google的技术能力。不止如此，市面上的其它导航仪厂商，比如Garmin, Tomtom等等对Google Maps也非常紧张，从这个意义上说，Tele Atlas和Navteq的利益是一致的。
这样，Google Maps就处于非常不利的地位。随着用户数的飞速增长，获取道路数据的成本在以更快的速度增长。因为道路数据的计价并不是按数据容量来，而是按数据使用量来。换句话说，某份数据被浏览了一次，就收一次钱，再浏览一次，再收一次钱。Google Maps追求的是流畅、生动的操作体验，所以需要大量的数据。也许你只是在Google Maps或者Google Earth里简单拖滑了几下，Google要付给Tele Atlas和Navteq的钱却在哗哗增长。
2008年，因为成本高企，John和Daniel去Navteq谈判，要求改成固定费率。但是谈了48小时过去，Navteq仍然坚持高昂的价格，这还不包括导航功能。于是John和Daniel换了策略，打算收购Tele Atlas。等待他们的是Tele Atlas的投资机构给出的数十亿美元的报价，而且还不是“一揽子”方案，数据的使用仍然有诸多限制。
上面提到，2007年，斯坦福大学研究无人车的Sebastian Thrun和他的团队加入了Google，他们把街景业务做起来了。2008年，Thrun有了个新的想法，他找到Google Geo负责技术的Brian说：
“没准，我们可以直接从街景数据里直接提取道路信息？”
街景团队每年投入在几千万美元，但是如果能直接从街景数据里提取道路信息，就可以为公司节省下几亿甚至几十亿美元。而且好处不只有省钱，还可以大大提升地图更新的速度。
如果道路数据掌握在Tele Atlas和Navteq手里，Google Maps的用户发现标注错误，比如本来不应该是单行的地方标注了单行，他们只能报给Google，然后Google报给Tele Atals或Navteq，公司再安排对应的标注人员去勘查、核对，如果真的需要修正，修正之后再更新到公司的数据库里，然后同步给Google，这样Google Maps的用户才能看到。这个流程实在太漫长，按照职场的经验，一旦流程涉及的环节太多，效率和准确性必然下降。普通用户或许还能忍受，但Thrun和Levandowski领导的自动驾驶团队当时自动驾驶团队已经有90人，地图的准确性、及时更新，对他们来说至关紧要，绝不能忍受那么漫长的流程。
2007年末，Google已经开始使用街景数据核对商户的地址。如果商户告诉Google，自己的地址被标错了，那么Maps团队就会直接调用街景的数据，核对并更正。在这个基础上，Thrun打算更进一步：直接从街景数据中提取道路信息。或者说，直接从街景数据中还原所有的地面信息。
Google的算法可以从街景照片中识别出各种对象。来源：CNET
在Thrun游说John和Brian之后，2008年，Google正式启动了这个项目，它的名字很直白：Ground Truth。
Ground Truth，这是一个雄心勃勃的项目，它的愿景远远超过了之前的Google Maps，更符合拉里·佩奇最初的想法：让物理世界可以搜索。这个目标当然需要巨额投入——为了维护准确的道路信息，以前需要成千上万名人来做绘图和标注，现在起码也需要数千人（正式的称呼是“操作员 oprator”）来维护。这个项目一旦开始，就不可能再有回头的机会。
拉里·佩奇承诺，对Ground Truth“支持五年”。2008年夏天，他下达了项目启动的命令。
Ground Truth当然很好，但这是个前无古人的项目，没有人知道到底要怎么做。Ground Truth团队做的第一件事，是开发标注平台，它的名字叫Atlas（巨人）。它有点像Esri的专业软件，但为Google Geo团队的具体情况做了很多的改进。据看过它的人说，其界面有点像三款软件的混合：Google Earth，Street View，Adobo Illustrator。使用者可以直接在地图上画线，添加注释。
Ground Truth所用软件Atlas的界面。来源：CNET
Atlas的数据来自Google Maps、Google Earth，还有TIGER（Topologically Integrated Geographic Encoding and Refrencing，拓扑统一地理编码参考文件。1990年美国人口普查局用于支持人口普查程序和进行调查分析所使用的数据结构。TIGER文件包含街道地址范围和调查区边界。这种描述性数据被用来把地址信息和普查数据与图层特征联系起来），以及最新的航空、卫星地图。虽然据Ground Truth的人说，TIGER的数据质量比较差，但它们是免费的。
Ground Truth的操作员把各种来源的道路数据对齐。来源：CNET
这些数据在Atlas中混合起来，首先用计算机处理，识别出街道和地址的铭牌，以及限速标识、学校标识、车道数目、左转-右转闲置……等等等等，识别出的每一处信息都需要综合多种数据进行核对。比如识别出某处标有单行标识，而且路上所有车都驶向一个方向，那么这个识别应当是对的，反过来，如果有单行标识，但路上有双向的车流，这个识别多半有问题。
人工标注的道路编号和行驶方向（红色为禁行）。来源：CNET
因为机器识别不够智能，不够准确，Atlas项目还需要人工干预，大量的人工干预。
不久，Google总部的45号楼里秘密搭建了Ground Truth的工作室。与一般办公场所不同的是，这里没有办公座位，桌子上只有一排又一排的电脑，员工甚至都没有座位。每天三班，每班8小时，一批又一批的操作员进入工作室标注、核对地图数据。为了保证数据的准确性，所有的操作都对主管透明，所有的电脑都只能运行Atlas而不能运行其它软件，所有的员工都不能带手机进场。
最初，Ground Truth项目雇佣了200名操作员，很快扩张到500人。然后在过道里增设了更多的桌子，更多的电脑。继而人员扩张到2000人，再扩张到5000人……
左图是机器生成的路径，右图是人工修正之后的路径。来源：CNET
到2009年夏天，Ground Truth项目已经取得了惊人的进展，但数据还不够好，还不足以替代Tele Atals和Navteq的数据。所以，John还得忍受两大巨头的傲慢和挑剔：“今年还按去年的价格来？只要你们动一动念头，今年就免谈。” Tele Atlas不但要求高价，而且提出：要续签就必须续签两年。但是Tele Atlas和Naveteq不知道，它们的要价开得越高，Google搞Ground Truth的动力就越足。这中间，Tele Atlas大概感知到了一点什么，所以试图在合同中加入条款，禁止Google自己搞道路数据，但是John和Daniel当然不会同意。
合同的拉锯一直延续到2009年秋天，终于要签字了，Google邀请Tele Atlas的人参观Google在瑞士苏黎世的办公室。那里，室内有一根滑杆从5楼直通1楼，平时员工可以玩消防员的游戏，从5楼抱住滑杆，就直接滑到1楼。Google邀请Tele Atlas的人一起玩这个游戏，CEO同意了，但作为谈判主力的营销负责人De Taeye拒绝了，于是大家继续谈。终于有一天，他让步了：“好吧，我从这里滑下去，然后就签字。”
合同终于签订了，六周以后，De Taeye应邀来到谷歌山景城总部参观。在所有人的职业生涯里，大概没有人有比这更悲惨的经历了：他亲眼看到了功能接近完备的Ground Truth。更糟糕的是，按照Google和Tele Atlas的合同，收费单位不是地图数据量而是使用次数，不过Google没有“义务”使用这些数据。John同时故作轻松地告诉他：“我们打算在三天内，把Ground Truth的能力应用到Google Maps和Google Earth在全世界的服务里。”
后来每次回忆起这段经历，John都特别得意。
“就好像跟人在打扑克，而你知道自己手里握着王牌。”
此后，Google Ground Truth再接再厉，朝着“让物理世界可以搜索”的目标不断前进。如今，有赖于Google强大的计算能力，专业的操作团队，用户在Google Maps中反馈的错误标注，几分钟内就可以被核实、修正，然后同步到全世界所有的Google Maps使用者。耗资9.66亿美元收购Waze之后，Google可以把交通事件（事故、临时管制等）以近乎实时的速度推动给用户。耗资5亿美元收购Skybox Imaging之后，Google具有了自己发射卫星的能力，虽然它从来没有公布过自己的卫星数量……
尾声
2010年10月，拉里·佩奇给所有Google员工发了一封邮件，宣布组织架构重组：Google搜索的熟悉工程师Udi Manber升任产品管理和工程的总负责人。而在之前的分工里，梅姐主管搜索的产品，Udi Manber主管搜索的技术，现在，Udi Maner已经统管了一切。那么，梅姐怎么办？
在这之前，梅姐已经给John打过电话了。梅姐告诉John，组织架构将有大的调整，Udi Manber的地位更加巩固，而梅姐相对边缘化。
“John，以前我只花了5%的精力在Geo团队，现在，我希望花上100%。我希望你留下来，我希望我们可以和睦相处。
梅丽莎，这是个好主意。”
之前，梅姐和John的关系已经缓和，大家建立了日常的交流，梅姐甚至邀请John去参加了她的婚礼。但是放下电话，早已心生退意的John想：是时候离开Google，去寻找新的方向了。
六个礼拜之后，梅姐召集Geo团队，宣布她将成为负责人，同时，她公布了John要离开的消息。
再过不到两年，2012年7月，梅姐宣布离开Google，赴Yahoo任职。
而Google Maps还在继续进化，继续为千百万用户服务。
一点个人感想
除了写作和翻译技术图书，我已经很久没有为某个主题做过这么久、这么密集的写作了。最初我只是想讲Keyhole的小故事，不料引起了非常广泛的兴趣（到现在，《Keyhole，Google Maps前传》的阅读量也是最高的），大家的热情鼓励，促使我继续写下去。
Keyhole加入Google之后的故事也相当精彩，但写作起来难度更大，大致有下面几个原因。
第一，Keyhole前期经历没有太多人知道，只凭Keyhole的人自己说就可以，但Google Maps的故事有各种报道，所以需要广泛阅读、比对。比如Where2团队的故事，ZipDash团队的故事，书里都很少或者没有提及。我们没有办法强求Keyhole的人有国际主义的博爱（毕竟这只是写他们自己的经历），但对Google Maps来说，各个团队都是有贡献的。同时，原书的描述也有一些地方不够准确，Google Maps需要把行政地图、航拍地图、卫星地图对齐那样，写作它的故事时也需要把各种资料对齐。
第二，Never Lost Again的各章不是严格按照时间顺序来的，而是按照不同主题来的。要想写得更立体全面，就必须适当打乱重组原书的结构。有几个时间点我反复对比了好几次才有敢下结论，而且不会有百分百的把握。最终我做的调整不大，很大程度上仍然是按照原书的结构来展开叙述的。
第三，涉及到科技历史的写作，如果能提供图片是最好的。不幸的是，虽然我买的是精装版（Hard Cover），但书里全都是文字，所以只能上网去找对应的图片。有一些老的图片只能搜到分辨率很低的版本，不过我运气不错，根据文件名修改后缀（去掉small, thumbnail之类后缀）猜测，都找到了原始的图像。另外，“Google Maps”刻在石头上的照片怎么也找不到，甚至在Google工作（可惜不在Geo团队）的朋友也不知道在哪。不过我运气不错，联系到了原书作者Bill Kilday，他热心发来了照片。
现在想起来，写这一系列文章的过程竟然有点像Keyhole的创业经历：从一个小小的点萌发，最后的结果远比之前想象的大。这是一种奇妙的经历。
回到故事本身，Keyhole是一个典型的创业团队。用我的话说，在加入Google之前是“草台班子”，在加入Google之后是“独立大队”，没有中文报道里常见的微言大义、“抢占风口”的夸张，没有那种滥情的、刻意把经历碎片与宏观脉络“拟合”的做作。所以，我们看到的始终是“在不同的阶段遇到不同的困难，抓住重要的问题，去做正确的事”。这样讲故事才真实，真实才显得可信，才有感召力。
纵观全书，Google Maps的发展并非一帆风顺，其中的一条主线是Keyhole和Google的意见分歧。有几个典型片段可以说明：
第一，Keyhole的人想知道目标是“一千万营收还是一千万用户”？布林和佩奇的答案是“我听不懂，你们应当考虑大得多的问题”；第二，Google Maps API是否要收费？Kilday觉得应该收费，但Google的人一致认为不应当收费，“这就是Google一贯的做事方式”。第三，Google Earth被海岸警卫队用来救灾，挽救了几百人的生命，是否值得宣传？Kilday认为应当宣传，Google的人一致认为不应当宣传，“我们甘愿做幕后英雄”。第四，是否要做街景？Kilday觉得投入巨大，看不到明显的收益，但Google决定要做。结果在Ground Truth面前，Kilday也坦白承认“我之前错得离谱”。
从第二和第三点我们可以发现，Kilday行事更多的是按照普通的商业逻辑来展开思考。这当然无所谓对错，但是Google有自己的技术文化，而且Google始终没有把地图定位为短期变现的业务。有独特的技术文化当然是好的，但也不是每家公司都像Google那样，有广告业务作为现金提款机在背后支撑，我们在讨论和思考时不应忽略这个前提。
相比之下，第一、第四点分歧不太可能发生在John和Marissa之间，而只能发生在John、Kilday与布林、佩奇的碰撞中。我们经常说公司的创始人应当有远见，有愿景。那么，“一千万用户还是一千万营收”，“要不要砸钱做街景”这种重大问题，已经不是普通的商业逻辑可以判断，只能靠布林、佩奇来做决定。他们的决定很迅速，很坚决，最终成果也很显著。
美国作家大卫·哈伯斯塔姆在回顾朝鲜战争的《最寒冷的冬天》中提到，历史上的重大决策基本都不是基于数据和逻辑，而是基于直觉和经验。我以为是相当有道理的——回顾整个故事可以看到，无论是全球地图、街景还是自动驾驶，都不是临时起意，都是在很早就思索过、尝试过，只是要等到时机成熟，有合适的人和技术，才能真正做出来。这种想象力、魄力、胸怀，值得公司的创始人学习，也值得雇员在挑选老板时参考。
回头来说，因为Keyhole的文化相对独立（年纪偏大些，也非名校出身，加入Google十多年后，Hanke独立创业时，原来的29人有8人跟随，确实是很难得的），故而他们和“Googler”之间一直存在着某种冲突的张力。Kilday简单直接的讲述方式，让我们有机会窥探IT大公司在光环之下的运作。
这种运作有着复杂的光谱，即便不同的团队之间有各种紧张关系，Google Maps的迭代速度还是一骑绝尘的。无论是从公司治理的方面，还是从个人职业道德的方面，都有很值得思考的方面。当然Googler也并非铁板一块。大家都知道搜索对Google很重要，也认可Marissa的工作能力。但是Google的不少“老”人，比如Rosing、Rosenberg、Megan，都为Keyhole的团队提供过支持和庇护。我相信这绝不完全是因为个人恩怨，而是有为公司整体业务、生态健康的考虑。
而John和Marissa之间虽然有矛盾，即便在两人关系很僵的时候，其实呈现的仍然是复杂的生态，双方的死党Kilday的Debbie保持了比较密切的关系。想想我们身边，有些人在应对这种形势的时候，敌意特别强，要求手下个个表态、人人站队，造成泾渭分明的局面，看起来有统治力，有所谓“霸气”，其实相当愚蠢。
还有外部的因素也不可忽略。在移动版Google Maps到底归属给John还是Gundotra尚不确定的时候，来自苹果的史蒂夫·乔布斯的“神助攻”，堪称神来之笔，给问题敲上了句号。公司内部的纷争要受外部因素的牵制，这种现象并不罕见。
此外，在Google Maps的名字已经确定之后，Marissa明摆着已经输了一阵，但她仍然希望直接对话John，而不是找人传话。在我看来，这也是职业素养的充分体现。
当然我个人更喜欢的是作者Bill Kilday平凡朴实的生活态度：身为德州人，他更希望自己的女儿在德州而不是加州接受教育，所以放弃了Google的高薪从加州回去德州；后来John拉他出来创业时曾问他：“Google Maps做得是不错，但你甘愿一辈子只成功一次（one-hit wonder）吗？” Kilday的回答是：
我觉得很好了，强过一辈子一次也没成功过（no-hit wonder）。
按照时下流行的某种观点，这种“不求上进”的知足是值得鄙视的。但是这种知足，一点也不妨碍他把Never Lost Again写得如此引人入胜。
就是这样。
P.S. 很高兴国内出版社有朋友看到这系列文章之后希望出版Never Lost Again。据进一步了解，已经有出版社拿到了简体中文版权，并已经翻译完成。希望这本书能得到高质量的翻译，早日面世。
参考阅读返回搜狐，查看更多
责任编辑：
