知乎日报

每日提供高质量新闻资讯

头图

上网就躲不开的 Cookie,十几年来风云变幻

Yestone.com 版权图片库

互联网风云之 Cookie 之争

有熊,观察者

想到之前写了一篇文章谈到了互联网推广,看了一些文章和答案感觉还是很多人不知道这个到底是如何运作的或者说的不够彻底,但是在这个时代,有必要了解互联网推广的原理,不然很多科技业的动态或者社会事件背后的动机以及各种纠葛和隐意大概只能看个表面,斗胆想从从这个角度入手写几篇文章。

从 Cookie 说起也许是个不错的角度,是的,就是 315 曾曝光的 Cookie-1993 由网景员工 Lou Montulli 为了辨别用户身份而储存在用户本地终端(比如电脑)上的数据文件。

网站浏览记录:
第一方 Cookie

简单来说 - 用户打开浏览器访问网站 A,这会在用户的电脑上生成一个 Cookie,下次访问网站 A 的时候,网站 A 可以辨别用户。

互联网时代初期,各种网站越来越多,如何有效的找到准确的信息呢? 几个年轻人就是从这个问题入手建立了一个网站内容检索引擎也就是 Google.com,从巨头不太在乎的边际开始逆袭之旅。

对于网站的运营者,他们想要的是网站的排名在搜索结果内排名靠前来争夺更多的的访问量,访问量就是互联网的圈地运动,于是为了在 Google 创建的内容引索生态环境内争排名成了重要考核标准之一,于是还需要一个工具用来帮助分析内容表现和访问统计数据,最开始这些一般都是在网站服务器端提供的,为了解决这个问题 Google 推出了免费的 Google Analytics-GA

以免费,安装方便和简洁页面获得了大量网站青睐,访问网站的时候它会生成一组第一方 Cookie 收集数据并发送到 Google 服务器,管理员登陆 GA 后台就可以查看统计数据,作报告和结合其他的工具提升网站的搜索排名也叫 SEO

Google 在占据搜索市场大片份额后急需解决盈利的问题,于是 Adwords 横空出世,也就是让网站可以付费显示在搜索结果的第一页。为了让广告的覆盖面更广还推出 Adsense 拿出一部分广告分红让 Adsense 推广占领一片大小网站 -推广联盟。后来由于上网速度的提升,一个基于图片广告技术的公司 DoubleClick 出现了,它可以让网站出售图片广告位给广告商,被 Google 收购后就形成了著名的 Google Display Network

从此成为 Google 的大部分收入来源一直到现在,同时也是很多知名网站的收入来源,广告 - 从来就是互联网(或任何媒体)的重要盈利模式之一。

第三方 Cookie

最初 Adsense 是显示和网页上内容相关的广告,但是问题又来了,广告主会问如何提高点击的效率呢? 除了展示和内容相关的广告,可不可以根据用户之前的浏览记录来显示广告? 答案是第三方 Cookie,它由于不根据网站域名储存所以可以实现跨站读取从而记录用户浏览 A 到 B 等多个网站的历史。

Google 只需要更改 Adsense/DoubleClick 的显示算法,广告主们设定推广的范围就可以进一步提升点击效率或者叫广告点击率。

现在市场上所有的精确推广平台基本上都会使用到第三方 Cookie.

他们以各种形式广泛存在 - 比如社交网络相关的插件:点赞,登录,评论框,分享工具,输入法等。Times 杂志网站上就有大约 26 中不同的跟踪码。

智能手机出世:

乔帮主冥想后祭出了改变互联网格局的 iPhone,从此互联网进入了电脑 + 智能手机的时代,通过 App 的闭环生态直接让用户和内容连接,在 2005 年 Google 悄悄收购了一个手机软件 Android 为下一个搜索的前沿 - 无线设备布局,佩奇的眼光不得不说相当毒辣,当然业界也流传者 Larry 和乔帮主因为手机端操作软件而交恶的轶事,我个人感觉英雄有对手才不会寂寞,现在都是历史了,目前智能手机端已超过 PC 端成为重要上网入口,这个你可以从各大新闻上看到一些互联网公司的部门调整。而市场上开源的 Android 和生产商联盟和闭环的 iOS 多方面交战。

随着上网速度越来越快,视频网站 YouTube 的兴起再次改变互联网可以提供额的媒体类别,Google 再把它收入囊中后加上 AdMob 形成了:search+website+mobile+YouTube+ 联盟的广告 Display network 格局,进一步巩固自己的互联网流量和广告霸主的地位。

但就如当年靠搜索起家,社交网络 Facebook 和 Twitter 等的崛起是新的边际革命,加上 Apple 的硬件 +App+iTunes 的模式,构成了目前互联网推广业主要的几个平台。国内的互联网广告平台感觉 RTB 的这个图整理的不错。

在线公告收入比(US):

再次回到追踪,之前提到 Google Analytics 只是提供网页的统计和帮助站长提升 SEO 排名等,由于移动互联网的到来产生了一个新问题 - 如何实现跨网站和手机端追踪,因为广告主在乎的是精确推广和提升广告点击的效率并想了解推广效果,于是在统计工具方面 GA 迎来了更新狂潮目标可不只是帮助广告主客和企业跨设备推广还有更远大的目标 - 打通推广到商业等数据的连接 -大数据

跨设备追踪:

虽然之前的图我用一个笑脸代替,但严格意义上那其实是一个浏览器,因为大部分的 Analytics 工具对访问者的定义是 Unique Visitor(UV) 等同于 Unique browser+ 一些 Cookie 里的系统识别信息。

这在网页时代还可以勉强接受,在数字时代不能再如此简单的假设了,因为用户行为发生了变化,白天用手机 - 回家用电脑 - 睡觉前用 iPad 是多少人的习惯了? 虽然来源自同一个人但由于 GA 分析基于 Cookie 的技术现实,这就对基于用户的整合和分析提出了挑战。广告主们想精准定位广告,而 Google 必须保住自己的收入来源,但随智能移动设备的出现和流行让这变成了一个很棘手的问题。

第一种想法继续挖掘第三方 Cookie:在网站和 app 上都支持同一个第三方 Cookie 不就可以了吗? 首先只有免费 App 会显示广告(admob),还有用户一般不能容忍小屏幕上的广告,还有平台问题虽然 Google 掌控 Android 和 Play store 并支持第三方 Cookie,但是 iOS 不允许第三方 Cookie 的,从 iOS 9 以后开始支持推出 Adblock 公然拦截第三方 Cookie 这招够狠,当年禁 Flash 一样快准狠。

第二种想法是跨平台登录:必须推广单一帐号登陆系统,鼓励 Search,Google plus,Google drive,YouTube 等全部使用同一个帐号(最好是 Gmail)登录,同时推行互联登陆平台 SSO 功能。

在广告主端则推出方案使企业让用户在网站上和 App 上登陆,把网站的访问记录和 App 登陆记录同时绑定一个 User-id,然后发送到 Google Analytics,达到基于用户这个角度的分析目的 (虽然此方案尚有缺陷,不细谈)。

第三种想法是通向更根本的上网端比如从 Browser 入手:一种是浏览器本身的数据同步,还有跨浏览器的 PREF Cookie,原因是以上两种方案的漏洞毕竟不能强迫用户登录和统治操作系统(以前貌似经历过那个时代)。

PREF Cookie:
一些熟练的电脑用户知道如何清除 Cookie,浏览器的无痕浏览模式和 Https 协议可以做到加密 / 隐藏自己的浏览记录等信息,但是有研究人员在浏览器上发现了神秘的 Cookie,通过一个 unique id,它在无痕浏览模式下存在,在 Safari 下存在 - 实现了跨浏览器跟踪。

因为 Safe Browsing 计划,浏览器会 Ping Google 的服务器已鉴别要打开的网站是不是有安全警告,在这个过程中 Google 会设置一个 Cookie。

另外的应用 -PREF Cookie 被 NSA 美国国家安全局相中用来跟踪和黑入目标用户,整合其他资源确认目标位置等,Snowden 的爆料 NSA 的跟踪和监控超越了追踪已怀疑的目标,而是先全部监控再确认或推测目标,同时也是科技公司的广告技术被政府利用的大爆料而不是阴谋论。

跨地域追踪:
如果基于浏览记录的网络广告推广算是第一个维度的话,那么基于物理位置的推广可以算第二维度,PC 端互联网时代基本上根据 IP 地址来确认地理位置,到了移动互联网时代选择变得多了起来,可以通过综合方式:IP+GPS+ 信号塔 +WiFi+ 蓝牙 + 搜索记录 +Google Maps+ 分享位置信息的 App 的组合方式监测物理位置,并且更精确。有的方式甚至在手机没有电但是有电池在就可能被检测到位置信息的可能。

关于 IP 还有另外一个话题,IPv4 和 IPv6,IPv4 由于数量有限所以会产生必须分享 IP 的状态所以由此估计的地址准确率会受影响,IPv6 庞大的数量足以让地球上的每一个人都拥有数十亿个 IP 地址,位置追踪将更准确。

追踪人口特征:

人口特征比如性别,年龄或兴趣爱好等是第三个维度,其实这是社交网络 Facebook 开的头,从此广告主们推广姿势再上了一个维度。至于 Google 如何知道这些信息的呢? 看 Google 怎么回答:

基本上就是之前提到的 Display network 加上其他的多方面来源,同时把 iOS 拉来站队。

设备到人追踪 - 连接 CRM:

回到广告主跨设备,跨平台用户追踪和分析的需求,需要提供一整套从数据收集,数据存储,数据分析的方案,或买或整合。

Sensors 是包含使用 measurement protocol 手段采集线下数据:比如收银设备,电话等,再加上渠道归因模型(一种计算各种推广渠道辅助效果的算法)的推出和 Data warehouse 解决方案,一个现时代企业级的互联网点到点推广平台的模样。

同时在跨平台追踪方面上大公司们正在加强寻找超越 Cookie 的技术,比如上边提到的 PREF 到 HTML headers,或者直接投资基础互联网连接设备和基础设施。

由 EFF 领导的互联网隐私组织推行 Do-Not-Track 退出追踪请求,一方面是浏览器而另一方是互联网网站和广告商们,只有同时支持的情况下用户才不会被追踪,目前这个是自愿支持的模式。

而至于 Ad-block,Ghostery 等插件也被爆出通过广告过滤白名单或出售数据变现,那句话怎么说的来着 - 天下攘攘皆为利往。

而 Brave 浏览器又动了谁的奶酪?

小结:

Google 通过搜索引擎的创新掌握了互联网入口,逆袭 Microsoft,推出 Adwords 是公司开始盈利后推出 Adsense 和收购 Doubleclick,YouTube 等形成了在线公告联盟,智能手机的出现让互联网从桌面变到移动,线上线下的数据整合提出了新的挑战,同时社交网络的出现让更有针对性的广告推广变为可能,Google 不断发力整合资源目的是保证自己在线广告推广的吸引性,同时发力分析工具和大数据为企业提供点到点商业分析解决方案。

跨设备,跨平台,跨程序的用户追踪变的越来越重要,巨头们在寻找超越 Cookie 的技术,整个互联网大潮都在疯狂的收集和整合关于人的信息,似乎势不可挡

但是互联网推广科技巨头们可能面临的可能来自隐私,知情权,垄断,市场规范,法律和国家安全的考验,尤其在 Snowden 棱镜门之后的欧洲。

对于互联网内容方来说也面临一个抉择到底通过哪种方式变现? 是闭环广告还是开放广告,内容植入还是直接收费?

Apple 宣布将关闭 iAd 平台

linked-in 关闭了自己的广告平台转而投入赞助内容服务

互联网模式:

从获取营收 / 商业利益的角度来看,科技公司推出免费产品并在各个方面发力完成用户数据的收集,整合做用户画像来争夺广告主的青睐是必然的。

而一旦互联网推广业的基础面临危机 / 颠覆很可能直接对人们习惯了的互联网模式造成冲击。

本篇无意做价值判断只想做事实陈述,关于科技公司的理想的部分不谈了,有兴趣的可以阅读《删除:大数据取舍之道》《浪潮之巅》《信息简史》《必然》《失控》等书籍 。

其实,这些书我还在找时间啃……