互联网基础设施的经济学分析

互联网数据如何传输？

　　要理解互联网如何连接如此众多的设备，我们先从一个基础案例说起：某位用户从维基百科（Wikipedia）获取信息的要求如何引起若干即时操作？这就关系到用户通常看不到的数据传输机制。

　　这里是对该机制的一个简化解释：用户利用自己的计算机、手机或其他上网设备上已装载的网页浏览器，可以连接某家互联网接入提供商，即通过建设和运营能够传输数据的实体设备，提供有线或无线的网络连接的企业。此时，该企业把用户的访问要求提交给一台域名服务器，此服务器会把访问目的地（这里是指Wikipedia.org）关联到一个网络协议地址（IP address）。收到此信息后，用户的浏览器将把访问要求提交给该IP地址对应的服务器。然后维基百科网站的服务器将做出回应，以数据包形式发出用户要求获取的信息，数据包格式则是按照互联网上连接设备的特定协议编制的。这些数据传递给用户的互联网接入提供商，后者将其传递到用户的设备上，再由设备把信息转化为用户可以阅览的格式。

　　这一双向信息流动由多个市场交易支持。首先，互联网接入提供商的行为靠公开的市场交易决定：用户通常按月付费。此类企业大致分为两类：有线和无线提供商。有线提供商采用的技术各不相同，从最慢到最快的包括：卫星、数字用户线路（DSL）、有线调制解调器和光纤等。地球同步轨道上的卫星可以接收和发送来自全球任何位置的卫星天线的信息。DSL设备是对电话线加以改进来传输数据的。调制解调器是添加符合电缆数据服务接口规范（DOCSIS）的转化器和解调器，在有线电视系统上增加数据服务。光纤则通常是给用户铺设新的连接线路。

　　图1显示的是美国联邦通信委员会对企业宣传的几档网络传输速度开展的标准化测评结果，包含17家公司，其服务面向绝大多数美国用户。数据传输速率的单位是每秒百万单位，并将其换算成下载网页时的标准用户体验。如该图所示，不同接入技术宣传的传输速度会给用户带来不同的下载体验，也对应着不同的月费用。通常的卫星接入服务为每月90—120美元，另外需要至少300—500美元的初装费。DSL的月费用为30—50美元（仅包含互联网服务），美国最大的DSL提供商为AT&T（美国电话电报公司），用户近1600万。调制解调器服务的月费用为50—80美元，根据速度和流量封顶而不同，最大提供商为康卡斯特（Comcast），用户人数超过2800万。入户光纤的月费用为40—80美元（仅包含互联网服务），根据速度和流量封顶而不同，对商户与住户的最大提供商为威瑞森光纤（Verizon Fios），用户数量约为700万。对任意给定的地点来说，上网选项通常可能有0—2个有线接入提供商，加上一家潜在的跨越型接入提供商。

　　无线上网选项与有线宽带的用途不同。虽然卫星连接服务可以全覆盖，其大多数用户却位于人口密度低、缺乏有线接入提供商的地方。据估计，其用户包含800多万个美国家庭。美国最大的无线接入提供商是威瑞森无线（Verizon Wireless）和AT&T无线（AT&T Wireless），分别拥有超过1.5亿和1.6亿用户。

　　还有一类市场交易对用户来说是藏在幕后的。域名以及网站所有者的代理人需要给域名服务器公司付费（美国最大的域名服务器企业包括Cloudflare、Amazon Web Services、Akamai等）。虽然域名服务器可以成为独立公司，但越来越普遍的做法是把域名服务同其他服务（如安全等）捆绑。此外，需要发送大量信息的某些机构会采用企业内的域名服务器，而非采购第三方的服务（关于这方面的决策选择，可参见Bates et al.，2018）。

　　数据传输的五个选项

　　在互联网接入提供商与域名服务器发挥作用之后，还有一个关键步骤要解决：数据如何在用户的互联网接入提供商与维基百科等内容服务商之间传递？互联网数据可以在两点之间的多条路径流动，这使整个系统有极大的灵活度。那么每条消息的路径该如何决定？所有选项都采用相同的路由表和软件协议，通常把数据包发往堵塞最少的路径。这一过程主要依靠工程决策：在某些路径发生拥堵时，整个网络的参与者必须如何集体行动。至于数据传输的价格如何决定，我们将在后文解释，因为在了解网络运行机制后再讨论经济问题会容易得多。目前，我们还是聚焦于数据从用户到维基百科的往返路径，这里有五个选项。

　　第一个选项最简单，如果用户与内容服务商的连接通过同一家互联网接入提供商（如康卡斯特），则数据可以在这家互联网接入提供商的网络内部请求和发送。这条路径常见于个人之间的双边通信，如电子邮件，大多数发生在位置接近的两个参与者之间。不过，大多数其他流量，尤其是支持网页和流媒体应用的流量，发生在相距遥远的内容服务商与受众之间。由于地理分隔及美国互联网接入提供商的分散性质，此类交互通常并不局限在单一网络内部。

　　由此关系到互联网用来尽量减少延迟的最常见的第二个选项：把用户对内容服务商的数据请求转路由到内容分发网络（content delivery networks，CDNs），它是地理上分散的服务器构成的网络，更加靠近终端用户。有时将这种做法称为“把数据转移到网络边缘”。由于此类网络在现实中更靠近用户，便可以节约响应时间。许多内容服务商选择把内容缓存在内容分发网络上，只对最及时和流行的内容做更新，使大多数用户实际上是同内容分发网络而非最终的内容服务商做内容交换。内容分发网络还可以增加一层可靠性和安全性，例如当某些服务器失效时，内容分发网络上的缓存内容依然可以为用户提供服务。另外，内容分发网络可以保护内容免受“拒绝服务攻击”，发起此类攻击的人试图以大量信息涌入使目标网站的服务瘫痪。（*1.感兴趣的读者可参考Cloudfare获得的专利（Patent 8613089B1），识别对云代理服务的拒绝服务攻击（https://patentimages.storage.googleapis.com/a0/90/f7/3f8aa8ef076cf4/US8613089.pdf）。)

　　内容分发网络在商业互联网的初期并不存在，但如今，几乎所有大大小小的商业参与者都以某种方式利用它们来提供流行内容。美国目前最大的第三方内容分发网络提供商是Akamai，2018年的收入达27亿美元。紧随其后的提供商是Cloudflare和Limelight，2018年的收入分别为1.92亿美元和1.84亿美元。尽管内容分发网络对用户来说是隐形的，但他们收到的绝大多数数据其实直接来自这一路径。

　　传输数据的其他三个选项也在互联网私有化之后的20年中采用（Greenstein，2015），但很难估计其使用频率。在比较遥远的过去，私人对等互连（private peering）、互联网交换点（internet exchange points）以及传输载体（transit carriers）这三种传输选项更经常地用于把数据从内容服务商直接传递给用户，也就是说无须内容分发网络的帮助。如今，它们用于把数据从内容服务商传递给内容分发网络，并在大多数访问请求中作为内容分发网络的补充。在少数情形下，它们又作为内容分发网络的替代，例如当用户请求访问非流行的内容，或者内容服务商没有做出采用内容分发网络安排的时候。

　　私人对等互连兴起时，维基百科网站与它的用户（及支持用户的内容分发网络）有着不同的互联网接入提供商，但两家接入商有直接连接点，并相互达成了解决数据交换的双边合同。在典型的合同中，如果一个月内彼此往来的数据流量大致相当，则不需要支付费用；如果一方给另一方的数据流量占比更高，则发送净数据更多的运营商要给接受流量的一方付费。通常来说，这些支付的发生条件是流量超出谈判约定比例（在4 ∶1到8 ∶1之间）的时候。当然，此类合同与谈判的具体情况不是一句话能讲清楚的（详细介绍可参见Norton，2014）。

　　两家或更多互联网接入提供商还可以在互联网交换中心（IXP，internet exchange point）交换数据，互联网交换中心可以由独立机构运营，被设置为各运营商彼此连接交换流量的场所。每家运营商向提供这些数据交换设备的机构支付一定的费用，并可以对有关的建筑物、备用能源和设备投资，以确保互联网交换中心在任何情况下都维持运转。不同于私人对等互连，这里的所有参与者通常都同意发送和接收自身连接能力允许的任意数据流量，各家租户的收费可能不同，但往往并不与数据流量挂钩。美国有数百个此类交换中心，全球的数量更多。最大的运营商Equinix的年收入超过50亿美元，在多个城市设有200多个数据中心，其中一部分即设置为互联网交换中心。

　　假如在我们的例子中，用户与维基百科网站各自的互联网接入提供商之间没有任何直接连接，甚至没有通过网络交换门户连接，则有最后一种实现互联的方式。此时，另外一家或多家网络的连线可以充当这两家提供商之间的传输载体。提供载体传输的运营商可以根据与其他运营商达成的合同为这些行动获得补偿。

　　投资、扩张与改进的激励

　　我们需要关注这一体系的经济意义：如果能帮助企业获得收入或者避免其他企业的收费，则网络运营商会有激励建设更多网线，提供更多连接，以缓解网络传输拥堵。如果能增加对用户的收费或减少运营费用，则互联网接入提供商就有激励提高产能，保证连接。这样的激励看起来符合长期的理想结果，即为数据的发送和接收提供更高效、更优质的选择。一个有趣的开放问题是与网络收益有关的私人激励的大小。传输线路是系统的组成部分之一，一个部分的改善会把收益传递给其他所有互补部分。传输线路改善产生的大多数收益是归属利用这些线路的内容服务商、享受更快内容服务的用户，还是从用户那里收费的互联网接入提供商？答案部分取决于我们下文要讨论的定价机制。

　　与之相关的一个问题是关于建设内容分发网络的激励。第三方商业内容分发网络需要与互联网接入提供商或无线接入提供商就“靠近用户的服务器的权利”展开谈判。互联网接入提供商或其他网络接入提供商还可以向内容分发网络收取从网络上获取数据的传输费，这些数据传输发生在内容服务商的服务器到内容分发网络建立的设备之间。原始内容服务商则向内容分发网络提供商付费，后者把内容从内容分发网络服务器上分发给用户，前者按照每天的约定时刻表更新内容分发网络服务器上的内容。美国的所有（包括规模最小的）互联网接入提供商都采用这一合同安排，表明该安排符合此类厂商的利益。

　　某些大型内容服务商，如谷歌、苹果、微软、脸书、亚马逊和网飞等公司，有自己的内容分发网络，并根据自己的应用和服务调整技术特征。同样，它们需要就支付给互联网接入提供商的“搭配”价格展开谈判，有时也为数据传输付费。事实上只有大型企业采取这种做法，因为对中小规模流量来说，外包给第三方内容分发网络比自建的成本更低。另外，出于其他若干原因，如分级服务、谈判摩擦与搭配费用等，某些企业选择把部分自有的内容分发网络放置在互联网连接点上，而非互联网接入提供商的体系中。

　　一个悬而未决的问题是：内容分发网络改善带来的大多数收益是归属经营服务器的内容分发网络提供商，还是利用该网络的内容服务商、享受更好服务的用户，或收取搭配费用和用户月费的互联网接入提供商？与任何网络组成部分一样，这里我们并不清楚私人激励与网络整体收益之间的关系。

　　但这一问题非常重要，因为内容分发网络的兴起既是用户需求改变和网络快速进步的原因，也是其表现。许多用户已转移到更高速的宽带上，提高了网速。这些用户更需要和支持新的应用服务，例如网飞、Sling、Disney+以及HBO Go等厂商提供的超越运营商的OTT流媒体服务，它们越过有线电视或卫星电视，直接通过互联网为消费者提供内容，尤其离不开内容分发网络设施。

　　快速进步最引人注目的表现是互联网应用服务的深度进化以及与之伴随的流量。在互联网最早出现的时候，文字在流量中占主导地位，采用电子邮件或被动浏览形式。以当前标准看，当时的数据量在上下两个方向都非常小。如今居民家庭接收的数据比发送的高出很多个量级，因为他们接收的大部分流量已从静态内容变成视频与流媒体（Huston，2017）。例如在2013年，家庭每月使用的中位数据传输量为20—60Gb（Federal Communications Commission，2013）。而如今在线收看一部标清或高清电影会产生每小时1—3Gb的流量，远远超出任何被动网页浏览所能达到的水平。仅仅是不间断追看一部连续剧，就能大幅增加居民家庭的数据使用量。与此同时，最大的流媒体服务企业网飞的美国注册用户数在21世纪第二个10年从2000万飞涨到6000万，其业务还远不止流媒体。简而言之，随着家庭以流媒体收看电视和电影的增加，处理密集数据应用服务的基础设施的能力必须随之提高。要回答投资激励是否最优的问题总是颇有难度，不过互联网发展历史确实表明，私人投资激励已足以带来网络架构的巨大扩容与升级。