生活在互联网世界的人们,或多或少都曾浏览过在不少国家仍受管制的色情网站。这类网站的发展状况难以洞察,原因在于相关确切数据极为匮乏。不过可以确定的是,色情网站的访问量必然相当可观。而谷歌旗下广告服务商Doubleclick的数据也印证了这一猜测——在独立访问量排名前500的网站里,成人网站竟占了数十个之多!
从访问量中,我们只能得出色情网站要比非色情网站更受欢迎这个结论。40亿访问量听起来确实是个天文数字,但是当你将用户在色情网站上做的事考虑在内,你就会发现,色情网站的大小和规模也不可小觑。
世界上最大的色情网站Xvideos每月有44亿的访问量,这个数字是CNN官网或24小时专门播放体育节目ESPN电视网的访问量的3倍,是社交新闻站点Reddit的2倍。YouPorn、Tube8和Pornhu这些大型的色情网站,其访问量也可以让除了Google和Facebook等超大型网站之外的小网站们相形见绌。
网站规模
将9千万字节乘以Xvideos网站每月约3.5亿的访问人数,可得出该网站每月需处理29PB的数据量(1PB=1024TB,1TB=1024GB),换算下来相当于每秒要传输50GB的数据。这种数据规模的差异其实不难理解:多数普通网站以文字和图片内容为主,而大型色情网站则主打视频内容。大家都知道,观看一段视频所花费的时间远超过阅读一篇文章的时间。ExtremeTech主页的数据量大概在数百万字节,但即便是一段分辨率仅为480×200的低清色情视频,每秒的数据量也能达到10万字节左右,这样算下来,15分钟的视频就会消耗约9千万字节的流量。
色情网站与非色情网站的一个关键差异在于访问者的停留时长。像Engadget和ExtremeTech这类科技网站,用户平均停留时间大概在3到6分钟,这段时间足够用户看完几篇文章;相比之下,色情网站用户的停留时间通常在15到20分钟左右。
网站的基础设施
和只提供文字与图片的情况比起来,视频服务对资源的需求要大得多,它需要大量的数据存储、更快的CPU运算速度、高效的内部I/O以及高带宽等。简单来说,色情网站每天都得处理海量的数据。单论纯带宽(也就是单位时间内可以传输的数据量),在美国本土,能和它相提并论的也只有YouTube或者Hulu这类视频网站了。色情网站的规模大到超乎想象,就连排名第二的YouPorn,其纯带宽都比Hulu要高出6倍。
尽管色情网站之间存在差异,但多数此类网站存储的色情资料规模通常在50至200TB左右,这对于单个网站而言绝非小容量。不过,得益于当前2TB硬盘驱动器价格亲民且选择丰富,这一存储需求对色情网站来说或许算不上太大的难题。
在带宽方面,以Xvideos为例,这类大型色情网站需要具备强大的网络连通能力,以支撑每秒400Gb的数据传输需求。这仅仅是平均传输速率,到了流量高峰时段,Xvideos的背板带宽甚至能飙升至每秒1000Gb以上。针对流量过大的问题,网站可以通过多种方式解决,比如自建数据中心、租用大型数据中心的机架服务器,或是采用亚马逊、微软等提供的云存储服务。
色情网站需配备数千个可动态检索的视频数据库,用户点击视频时,文件要经硬盘读取再上传至网络,这一流程颇为复杂,CPU运算周期与I/O性能会直接左右数据读取和上传的效率。硬件层面,这类网站还需四核机架服务器、千兆交换机及负载均衡设备等支撑;软件方面,多数色情网站会采用Redis这类高效灵活的数据库来存储和调取视频,同时搭配Nginx这类轻量高性能的工具作为网页的HTTP服务器。
真实的范例
世界第二大色情网站YouPorn给我们提供了一些一手的数据,看完你就会发现,事实上,谷歌的Doubleclick广告规划师低估了色情网站的吸引力。
在软件架构层面,YouPorn采用Redis作为核心数据存储方案,同时借助MySQL这一轻量级数据库管理系统对Redis进行数据的补充与管理操作。网页服务的HTTP服务器选用Nginx,负载均衡则结合了HAProxy与Varnish两种工具。其Redis服务器每秒需处理30万次页面请求,每小时会产生8至15GB的各类数据记录(涵盖用户登录信息、视频观看轨迹等内容),YouPorn方面表示,Redis应对每日2亿的访问流量完全没有压力。
YouPorn拥有超100TB的色情资源,每日页面访问量突破1亿次,这使得其日均数据传输量高达950TB,其中大部分数据传输用于视频加载。依据上述数据推算,YouPorn每月的数据处理量达28PB,由此可见,位居榜首的Xvideos的数据传输量必然不止29PB,其每月的数据传输量预计在35至40PB的范围。在流量高峰时段,YouPorn每秒需处理100GB(即每秒800Gb)的数据量,这相当于每秒传输10多张双层DVD的数据量。
互联网只能处理50Tb每秒的数据,换而言之,单单一个YouPorn的流量就占了整个互联网的2%。类似YouPorn这样的色情网站有数十个之多,因此,认为色情网站的数据传送量占据整个互联网的30%就不算夸张了。