谁知道其他流量怎么用大的可以直接发任务的平台,推荐一两个?


无论是在社区还是在同客户交鋶的过程中,总会被问到到底什么时候该用 Docker什么时候用虚拟机?如果使用容器应该使用哪个容器平台?
显而易见我不会直接给大家┅个答案,而是希望从技术角度进行分析具体的场景例如客户是大公司还是小公司,将部署小集群还是大集群倾向于私有云还是公有雲,已经采购了 IaaS 还是没有 IaaSIT 运维能力强还是弱,是否需要物理机、虚拟机、容器的混合部署是一般的并发系统还是高并发,这里面所应該做的技术选型都不一样举个例子,如果你是一个初创型的主营业务非 IT 的小公司自然不应该花大力气在数据中心里面自己搭建一套大規模、高并发、高性能的容器平台。
接下来首先,我们来谈下什么情况下应该使用 Docker 的问题
如上图所示,左面是我们经常挂在嘴边的所謂容器的优势但是虚拟机都能一一怼回去。
如果部署的是一个传统的应用这个应用启动速度慢,进程数量少基本不更新,那么虚拟機完全能够满足需求
○ 应用启动慢:应用启动 15 分钟,容器本身秒级虚拟机很多平台能优化到十几秒,两者几乎看不出差别;
○ 内存占鼡大:动不动 32G64G 内存,一台机器跑不了几个;
○ 基本不更新:半年更新一次虚拟机镜像照样能够升级和回滚;
○ 应用有状态:停机会丢數据,如果不知道丢了什么就算秒级启动也没有用,照样恢复不了而且还有可能因为丢数据,在没有修复的情况下盲目重启带来数據混乱;
○ 进程数量少:两三个进程相互配置一下,不用服务发现配置不麻烦
如果是一个传统应用,根本没有必要花费精力去容器化洇为白花了力气,享受不到好处
那么什么情况下,才应该考虑做一些改变呢:
传统业务突然被互联网业务冲击了应用老是变,三天两頭要更新而且流量增大了,原来支付系统是取钱刷卡的现在要互联网支付了,流量扩大了 N 倍
这种情况下就只能:拆。
拆开了每个孓模块独自变化,相互影响变少
拆开了,原来一个进程扛流量现在多个进程一起扛。
微服务场景下进程多,更新快于是出现 100 个进程,每天一个镜像
容器乐了,每个容器镜像小没什么问题,虚拟机哭了因为虚拟机每个镜像太大了。
所以微服务场景下可以开始栲虑用容器了。
这时虚拟机又怒了我不用容器了,微服务拆分之后用 Ansible 自动部署是一样的。
这从技术角度来讲没有任何问题问题是从組织角度出现的。一般的公司开发会比运维多得多,开发写完代码就不用管了环境的部署完全是运维负责,运维为了自动化写 Ansible 脚本來解决问题。
然而这么多进程又拆又合并的,更新这么快配置总是变,Ansible 脚本也要常改每天都上线,不得累死运维
所以在如此大的笁作量情况下,运维很容易出错哪怕通过自动化脚本。这时容器就可以作为一个非常好的工具运用起来。
除了容器从技术角度能够使得大部分的内部配置可以放在镜像里面之外,更重要的是从流程角度将环境配置这件事情,往前推了推到了开发这里,要求开发完畢之后就需要考虑环境部署的问题,而不能当甩手掌柜
这样做的好处就是,虽然进程多配置变化多,更新频繁但是对于某个模块嘚开发团队来讲,这个量是很小的因为 5-10 个人专门维护这个模块的配置和更新,不容易出错
如果这些工作量全交给少数的运维团队,不泹信息传递会使得环境配置不一致部署量也会大非常多。
容器是一个非常好的工具就是让每个开发仅仅多做 5% 的工作,就能够节约运维 200% 嘚工作量并且不容易出错。
然而原来运维该做的事情开发做了开发的老大愿意么?开发的老大会投诉运维的老大么
这就不是技术问題了,其实这就是 DevOpsDevOps 不是不区分开发和运维,而是公司从组织到流程能够打通看如何合作,边界如何划分对系统的稳定性更有好处。
所以微服务、DevOps、容器是相辅相成不可分割的。不是微服务根本不需要容器,虚拟机就能搞定不需要 DevOps,一年部署一次开发和运维沟通再慢都能搞定。
所以容器的本质是基于镜像的跨环境迁移。
镜像是容器的根本性发明是封装和运行的标准,其它什么 namespacecgroup,早就有了这是技术方面。
在流程方面镜像是 DevOps 的良好工具。
容器是为了跨环境迁移的第一种迁移的场景是开发、测试、生产环境之间的迁移。洳果不需要迁移或者迁移不频繁,虚拟机镜像也行但总是要迁移,带着几百 G 的虚拟机镜像太大了。
第二种迁移的场景是跨云迁移跨公有云,跨 Region跨两个 OpenStack 的虚拟机迁移都是非常麻烦,甚至不可能的因为公有云不提供虚拟机镜像的下载和上传功能,而且虚拟机镜像太夶了一传传一天。
所以跨云场景下混合云场景下,容器也是很好的使用场景这也同时解决了仅仅私有云资源不足,扛不住流量的问題
所以这是我认为的容器的本质,是最终应该使用容器的正确姿势当然一开始你不一定完全按照这个来。

适合场景:初创公司无信息安全担忧
如果您是一家初创公司,人员少IT 运维能力不足,要部署的系统很少能够花在 IT 系统上的资金有限,当然应该选择公有云的虚擬机部署它能够解决您的如下问题:
○ 基层 IT 资源的管理交给公有云平台,公司自身运维人员仅需要基本的 Linux 能力;
○ 少量的部署系统例洳 10 台以下的虚拟机,往往替换一个 war重启 Tomcat 就能解决,如果稍微虚拟机多一点 10 到 20 台Ansible 脚本可以很好地解决这个问题;
○ 公有云按量按时收费,可以在花费很少的情况下启动并且在业务飞速扩展的时候,迅速申请大量虚拟机;
这里所说的信息安全担忧真的仅仅是心理的担忧,公有云往往有大量的安全机制来保证每个租户的安全隔离只要用好了这些机制,公有云的安全性绝对大于一般公司自己搭建的数据中惢 这篇文章讲到了绝对的端到端解决方案。
这里贴张图说明公有云的安全性:

公有云为支撑自身高并发业务积累了更强的安全防护能力囷更多的安全防护经验:

○ 多线 BGP外网线路冗余
○ 高吞吐量的 DDoS 外网防护
○ 更完善的防火墙,入侵检测WAF
○ 更完善的流量清洗规则

公有云为支撑自身高并发业务推出了更安全、更高可靠、更高可用的 PaaS 服务:

○ 高可用:主备切换数据零丢失
○ 高可靠:同城双活,异地备份
○ 安全性:访问控制IP 白名单
○ 高可靠:超大容量,三份备份异地同步
○ 安全性:访问控制,防盗链

公有云为支撑自身高并发业务推出更完善嘚监控运维的系统流程,经验:

完善的监控系统保障大促期间系统故障的快速定位和排障
保障大促能够极大的提升和训练一支有经验嘚运维团队
大促的业务层面的数据对运维也是机密的,需要流程保障

道高一尺魔高一丈公有云为保证自身业务的安全性对云平台不断升級:

○ 越来越强的 DDoS 防护
○ 越来越完善的防火墙规则
○ 最新的云平台安全功能和机制
○ 不断更新的虚拟机和容器镜像建设漏洞

模式二:无 IaaS,裸用容器

适用场景:初创公司无 IaaS有信息安全担忧
但是即便如此,还是有初创公司或者初创项目也许因为心理方面,也许因为合规方面非常担心信息安全问题,还是希望采取部署在自己机房的方式
但由于是初创公司,在机房里面一般是不能部署 IaaS因为 IaaS 平台的运维难度,优化难度更大没有一个 50 人的团队根本玩不起来,所以一般在使用容器之前采用的是物理机部署的方式,当物理机数目非常小比如蔀署 5 到 10 个应用的时候手动部署或者简单脚本部署就可以,但是一旦到了 20 个应用手动部署和简单脚本就非常麻烦了:
○ 运维人员比例低,洏应用相对较多
○ 部署在同一个物理机上的应用多配置冲突,端口冲突互相连接,运维需要一个 excel 去管理还容易出错
○ 物理机容器被腳本和 Ansible 改的乱七八糟,难以保证环境一致性重装物理机更加麻烦
○ 不同的应用依赖不同的操作系统和底层包,千差万别
这个时候可以試一下裸用容器,即在原来的脚本或者 Ansible 里面,将启动进程改为使用 Docker run,可以有以下的作用:
○ 配置端口隔离,冲突减少
○ 基于容器部署使得环境一致性,安装和删除干干净净
○ 不同的操作系统和底层包都可以用容器镜像搞定
在这个阶段,最简单的方式就是把容器当莋虚拟机来使用也即先启动容器,然后在里面下载 war 包等当然也可以更进一步,将 war 包和配置直接打在容器镜像里面这样需要一个持续集成的流程了,不仅仅是运维的事情开发也要参与其中。
在这个阶段网络的模式可以使用桥接打平的方式。
这种方式好处是访问 Docker 和访問物理机一样可很方便地实现 Docker 里面和物理机里面的互通,兼容原来部署在物理机上的应用
当然 Bridge 的性能一般,如果性能要求比较高可使用 SR-IOV 网卡嵌入容器内。

模式三:有 IaaS裸用容器

适用场景:创新项目,引入 DevOps 流程
有一些公司规模大一些已经采购了 IaaS,只不过有一些创新的項目需要部署这种状态下,基本虚拟机已经能够满足需求而且由于能够运维 IaaS,IT 能力比较强一般也采用了 Ansible 等部署工具。
这种情况下使用容器的动力相对比较少,然而容器也是能够带来一定好处的就是 DevOps。
创新项目迭代速度比较快如果有比较多的创新项目,对运维的壓力也是非常大的这里的裸用容器和模式二的裸用容器不同的是,不是拿容器当做虚拟机来用而是将容器当做交付物来用。
虽然容器囮对于运维的整个过程来讲改进有限但是关键就是要开发写一个 Dockerfile,这一点非常重要意味着运行环境的配置提前到开发,而非直接交到運维也即上面说的,开发 5% 的工作量增加减少大量运维工作容器环境原子性升级回滚使得停服时间变短,可以保持开发、测试、运维环境的一致性

适用场景:发展中公司,中等规模集群
当集群规模超过 50 台时裸用容器已经非常难受了,因为网络、存储、编排、服务发现等全部要靠自己的脚本或 Ansible 来搞定是时候引入容器平台了。
当容器平台规模不是很大时Docker Swarm Mode 还是比较好用的:
○ 集群的维护不需要 Zookeeper,不需要 Etcd自己内置
○ 命令行和 Docker 是一样的,用起来顺手
○ 服务发现和 DNS 是内置的
总之 docker 帮你料理好了一切你不用太关心细节,很容易就能够将集群运荇起来
而且可以通过 docker 命令,像在一台机器上使用容器一样使用集群上的容器可以随时将容器当虚拟机来使用,这样对于中等规模集群以及运维人员还是比较友好的。
当然内置的太多了也有缺点就是不好定制化,不好 Debug不好干预。当你发现有一部分性能不行时你需偠改整个代码,全部重新编译当社区更新了,合并分支是很头疼的事情当出现问题时,由于 Manager 大包大揽干了很多活不知道哪一步出错叻,反正就是没有返回停在那里,如果重启整个 Manager影响面又很大。

使用场景:万节点集群多定制
因为 Mesos 是一个非常优秀的调度器,它的雙层调度机制可以使得集群规模大很多
Mesos 的调度过程如图所示:
其它框架的调度器是直接面对整个集群,Mesos 的优势在于第一层调度先将整個 Node 分配给一个 Framework,然后 Framework 的调度器面对的集群规模小很多然后在里面进行二次调度,而且如果有多个 Framework例如有多个 Marathon,则可以并行调度不冲突
详细的调度机制非常复杂,可以看 号称了解 mesos 双层调度的你先来回答下面这五个问题!这篇文章。
而且 Mesos 的架构相对松耦合有很多可以萣制化的地方,从而运维人员可以根据自己的需要开发自己的模块详细的定制方式看文章 定制化 Mesos 任务运行的几种方法。
例如爱奇艺、去哪儿、携程、当当等都选择了使用 Mesos需要提一下的是,大家如果参加社区能发现裸用 Marathon 和 Mesos 的很多,但是整个 DC/OS 都用得比较少而用 Marathon 和 Mesos 往往不能解决一些问题,因而这些 IT 能力非常强的互联网公司做了大量的自己的定制化增加了 Marathon 和 Mesos 的外围模块。

使用场景:千节点集群少定制
Kubernetes 模塊划分得更细,模块比较多比起裸 Marathon 和 Mesos 来讲功能丰富,而且模块之间完全的松耦合可以非常方便地进行定制化。
而且 Kubernetes 的数据结构的设计層次比较细非常符合微服务的设计思想。例如从容器->Pods->Deployment->Service本来简单运行一个容器,被封装为这么多的层次每个层次有自己的作用,每一層都可以拆分和组合这样带来一个很大的缺点,就是学习门槛高为了简单运行一个容器,需要先学习一大堆的概念和编排规则
但是當需要部署的业务越来越复杂时,场景越来越多时你会发现 Kubernetes 这种细粒度设计的优雅,使得你能够根据自己的需要灵活的组合而不会因為某个组件被封装好了,从而导致很难定制例如对于 Service 来讲,除了提供内部服务之间的发现和相互访问外还灵活设计了 headless service,这使得很多游戲需要有状态的保持长连接有了很好的方式另外访问外部服务时,例如数据库、缓存、headless service 相当于一个 DNS使得配置外部服务简单很多。很多配置复杂的大型应用更复杂的不在于服务之间的相互配置,可以有 Spring Cloud 或者 Dubbo 去解决复杂的反而是外部服务的配置,不同的环境依赖不同的外部应用External Name 这个提供了很好的机制。
包括统一的监控 cadvisor统一的配置 confgMap,都是构建一个微服务所必须的
然而 Kubernetes 当前也有一个瓶颈——集群规模還不是多么大,官方说法是几千个节点所以超大规模的集群,还是需要有很强的 IT 能力进行定制化这个在模式七中会说一下我们在网易雲上做的事情。但是对于中等规模的集群也足够了
而且 Kubernetes 社区的热度,可以使得使用开源 Kubernetes 的公司能够很快地找到帮助等待到新功能的开發和 Bug 的解决。

使用场景:万节点集群IT 能力强
随着 Kubernetes 使用规模的越来越大,大型的公司可以对 Kubernetes 进行一定的定制化从而可以实现万节点甚至哽大规模的支撑,当然需要 IT 能力比较强网易在这方面有很多的实践。

随着集群规模的扩大apiserver 的压力越来越大。
因为所有的其他组件例洳 Controller、Scheduler、客户端、Kubelet 等都需要监听apiserver,来查看 etcd 里面的变化从而执行一定的操作。
很多人都将容器和微服务联系起来从 Kubernetes 的设计可以看出,Kubernetes 的模塊设计时非常的微服务化每个进程都仅仅干自己的事情,而通过 apiserver 的松耦合关联起来
而 apiserver 则很像微服务中的 api 网关,是一个无状态的服务鈳以很好地弹性伸缩。
最初用的是 etcd2这时候 listwatch 每次只能接受一个事件,所以压力很大为了继续使用 etcd2,则需要使用多个 etcd2 的集群来解决这个问題通过不同的租户分配到不同的 etcd2 集群来分担压力。
将来会迁移到 etcd3 有了事件的批量推送但是从 etcd2 到 etcd3 需要一定的迁移工作。

通过优化 Scheduler 解决并荇调度的问题

大的资源池的调度也是一个很大的问题因为同样一个资源只能被一个任务使用,如果并行调度则存在两个并行的调度器哃时认为某个资源空闲,于是同时将两个任务调度到同一台机器结果出现竞争的情况。
为了租户隔离不同的租户是不共享虚拟机的,這样不同的租户是可以参考 Mesos 机制进行并行调度的因为不同的租户即便进行并行调度,也不会出现冲突的现象每个租户不是在几万个节點中进行调度,而仅仅在属于这个租户的有限的节点中进行调度大大提高了调度策略。
并且通过预过滤无空闲资源的 Node调整 predicate 算法进行预過滤,进一步减少调度规模

通过优化 Controller 加快新任务的调度速度
Kubernetes 采用的是微服务常使用的基于事件的编程模型。
当有增量事件产生时则 controller 根據事件进行添加、删除、更新等操作。
但基于事件模型的一个缺点是总是通过 delta 进行事件触发,过了一段时间就不知道是否同步了,因洏需要周期性地 Resync 一下保证全量的同步之后,然后再进行增量的事件处理
然而问题来了,当 Resync 时正好遇到一个新容器的创建,则所有的倳件在一个队列里面拖慢了新创建容器的速度。
通过保持多个队列并且队列的优先级 ADD 优于 Update 优于 Delete 优于 Sync,保证相应的实时性

模式八:深叺掌握使用 DC/OS

很多公司裸用 Marathon 和 Mesos 而没有进一步使用 DC/OS,可能是因为和核心组件 Mesos 已经经过大规模生产性支撑不同这些外围的组件也是新的,对其穩定性也是有一定的顾虑所以需要比较长的学习曲线,并且对于这些新的组件有非常好的把控才敢上生产。
所以从这个角度来讲虽嘫 Mesos 的稳定性和大规模无容置疑,但就整个 DC/OS 来讲和 Kubernetes 从功能和稳定性来讲,在伯仲之间都需要使用者有强大的 IT 能力,对于开源软件的各个模块非常熟悉甚至能够做一定的代码修改和 Bug fix,才敢在大规模集群中使用

基于 Mesos 的 Spark 有两种方式,粗粒度和细粒度
粗粒度模式(Coarse-grained Mode):应用程序的各个任务正式运行之前,需要将运行环境中的资源全部申请好且运行过程中要一直占用这些资源,即使不用最后程序运行结束後,回收这些资源组粒度的方式浪费资源。
细粒度模式(Fine-grained Mode):按需分配应用程序启动时,先会启动 executor但每个 executor 占用资源仅仅是自己运行所需的资源,不需要考虑将来要运行的任务之后,mesos 会为每个 executor 动态分配资源每分配一些,便可以运行一个新任务单个 Task 运行完之后可以馬上释放对应的资源。细粒度的缺点是性能有问题
如果使用 kubernetes 部署大数据,其实和部署一个普通的应用思路差不多和 Mesos 不同,kubernetes 不会干预到夶数据运行的上下文中Kubernetes 启动的容器仅仅作为资源预留方式存在,容器内的资源分配则大数据平台自己解决这样的利用率就降低了,相當于粗粒度模式
基于容器部署大数据平台,也是建议部署计算部分例如 Map-Reduce,或者 Spark对于数据部分 HDFS,应当另行部署

模式十:容器和虚拟囮混合部署

使用场景:大型公司,逐步容器化
对于很多大公司但是非互联网公司使用容器还是需要小心对待的,因而需要逐步容器化所以存在有 IaaS 平台,并且虚拟机和容器混合使用的状态这种状态可能会持续相当长的时间。
在这种情况下建议容器套在虚拟机里面使用。
使用 Flannel 和 Calico 都仅仅适用于裸机容器而且仅仅用于容器之间的互通。
一旦有 IaaS 层就会存在网络二次虚拟化的问题。
虚拟机之间的互联是需要通过一个虚拟网络的例如 vxlan 的实现,而使用 Flannel 或者 Calico 相当于在虚拟机网络虚拟化的上面再做一次虚拟化使得网络性能大幅度降低。
而且如果使用 Flannel 或者 Calico那容器内的应用和虚拟机上的应用相互通信时,则需要出容器平台多使用 node port,通过 NAT 的方式访问或者通过外部负载均衡器的方式进行访问。在现实应用中不可能一下子将所有的应用全部容器化,只是部分应用容器化部分应用部署在虚拟机里面是常有的现象。嘫而通过 NAT 或者外部负载均衡器的方式对应用的相互调用有侵入,使得应用不能像原来一样相互调用尤其是当应用之间使用 Dubbo 或者 SpringCloud 这种服務发现机制时,尤其如此
网易云开发了自己的 NeteaseController,在监听到有新的 Pod 创建时调用 IaaS 的 API 创建 IaaS 层的虚拟网卡,然后在虚拟机内部通过调用 Netease CNI 插件將虚拟网卡添加到容器里面。添加技术用的就是上一节提到的 setns 命令
通过这个图我们可以看出,容器的网卡是直接连接到虚拟私有网络的 OVS 仩的和虚拟机是一个平的二层网络,在 OVS 来看容器和虚拟机是在同一个网络里面的。
这样一方面没有了二次虚拟化只有 OVS 一层虚拟化。叧外容器和虚拟机网络打平的好处是当部分应用部署容器、虚拟机时,对应用没有侵入应用原来如何相互访问,现在还是如何访问囿利于应用逐步容器化。

报告声明:本报告由威胁猎人鬼穀实验室独家编写与发布并受法律保护。未经允许不得擅自转载、摘编或利用其它方式使用本报告文字或观点如需转载请联系威胁猎囚。违反上述声明者将追究其相关法律责任。


一部影视剧火不火收视率和播放量似乎成为最直观的指标,太多无论热门与否的在线视頻播放量都能够轻松过亿,影视团队动辄过亿甚至百亿的宣传通稿似乎彰显着在线影视剧播放量进入百亿时代。


在线视频影视行业蓬葧发展的背后值得深思的是漂亮的数据背后到底孰真孰假,假数据到底又能带来怎样的恶劣影响

,刷量所带来最直接的影响是内容蝂权分销和付费增值服务资金的损失。其次如今在线视频行业由传统免费模式逐渐转变为用户付费模式,通过引进优质内容打造品牌ロ碑,才能抢占付费会员阵地而虚假数据的背后,直接干扰了平台对优质内容的引进影响用户体验导致平台付费用户流失。

播放量嘚造假会造成IP估值与实际背离,广告商、投资商的项目评估被掺水不仅广告资金损失没有达到预期的转化效果,长此以往必将会导致商業模式的扭曲和市场的不健康

,表面上作为其中的受益者其实不然。即便一时获得了炫目耀眼的业绩也不过是一种自我安慰和麻醉罷了,当制片方不知道哪一类内容是真正受用户喜欢会对整个影视业带来恶性循环。

不可否认在线视频虚假播放俨然成为整个行业的痛点。

报告的重点研究对象为在线视频(长视频)刷量黑灰产业短视频、直播等其他视频形式相关的黑灰产不在本报告的重点研究范围內。

本报告基于威胁猎人的黑产大数据期望以客观和详实的数据反映当前在线视频流量欺诈的现状,并深入挖掘隐藏在其背后的黑色产業链从分工内容与模式、刷量成本与收益、刷量方式与方法、团伙特征等多个维度进行阐述和分析。

- 刷量主要活跃在头部在线视频平台从刷量流量占比来看,前三分别为腾讯视频(34.11%)、爱奇艺(27.41%)和优酷(18.55%)

- 从被刷量的视频类型数据来看,电视剧因剧集多刷量总数夶,因而刷量占比最大达到72.69%;对于电影而言,更侧重于在上映前后通过刷预告片、宣传片或片花的播放量来提高电影的曝光量而不是矗接刷电影的播放量。

- 从刷量流量源IP角度分析超过99.95%的流量源于国内IP,覆盖国内各个省市自治区但有明显的地域聚集倾向,归属于江苏渻和北京市的IP数量超过了50%约有1/4的视频刷量流量源IP归属于各地的IDC机房,且绝大部分为腾讯云主机和百度云主机

- 研究推测,目前从事在线視频刷量的黑灰产从业人员数十万人年产值数十亿元。刷量从业人员主要集中在90后比例超过60%,且集中于我国东部地区刷量人员多以笁作室形式存在,业务种类多技术更新快,且视频刷量方式多样特征不一,各有优缺点数据造假热度由早期的电视收视率造假,转為在线视频播放量造假而目前在线视频刷量的热度也正在向短视频、直播行业转移。

- 已经有在线视频平台率先并持续性地与视频刷量黑咴产进行着积极地对抗并且效果显著,但是少数平台的积极对抗并不能给整个视频刷量黑灰产予以重创需要整个行业通力合作,协同咑击


二、在线视频流量欺诈黑灰产行业现状
1 刷量黑灰产业现状概述

艾瑞咨询预测,我国在线视频行业市场规模预计2020年达到2129.7亿元预计2016年箌2020年的年复合增长率为34.98%。巨大的行业市场产值除了吸引众多视频内容创作者投身其中,也引起了刷量黑灰产人员的注意加之法律、监管制度尚待完善,刷量的犯罪成本低、短时间内回报高吸引大量人员投入到视频刷量的黑灰产业当中。研究推测目前从事视频刷量的嫼灰产从业人员数十万,年产值数十亿元

虽然少数视频平台针对虚假播放量做出积极对抗,如爱奇艺加强了反刷措施并宣布关闭前台播放量展示,向“唯播放量”论发起挑战在一定程度上减少了播放量欺诈行为,但是并没有对整个视频刷量黑灰产业造成太大的影响

通过威胁猎人TH-Karma业务情报监测平台长期捕获的视频刷量数据来看,被刷量平台主要集中在腾讯视频、爱奇艺、优酷、搜狐视频、bilibili等已占据较夶市场份额的头部平台如下图所示:


究其原因,这些头部平台视频分成机制更加完善刷量不仅可以牟取更多的视频分成,也可以达到哽好的推广效果

从被刷量的视频类型数据来看,电视剧因剧集多刷量总数大,因而刷量占比最大达到72.69%;对于电影而言,更侧重于在仩映前后通过刷预告片、宣传片或片花的播放量来提高电影的曝光量而不是直接刷电影的播放量,详情见下图:


黑灰产的攻击行为会模汸真实用户的行为以增加厂商对异常流量识别的难度。不论是视频刷量黑灰产还是广告点击欺诈、文章阅读量造假等,刷量流量会尽鈳能地符合大众真实用户的访问习惯下图展示了视频刷量流量24小时内的时间分布情况,刷量高峰时间段为夜间19至23点并在黄金时间20点达箌最高值:


从视频刷量流量源IP角度分析,超过99.95%的流量源于国内IP广度覆盖国内各个省市自治区,但有明显的地域聚集情况视频刷量的源IPΦ,归属于江苏省和北京市的IP数量超过了50%约有1/4的视频刷量源IP归属于各地的IDC机房,并且绝大部分为腾讯云主机和百度云主机视频刷量源IP歸属地前十省市统计如下图所示:


另外,威胁猎人近期监测到于2018年12月27日在某视频平台开播的由多个当红流量小生参演的电视剧《*风刀》,开播起一个月内存在上亿次虚假刷量;泰国电影《降服**的手段》于2019年1月16日上映某泰语翻译字幕组作为幕后推手,欲通过制造每日上千萬的宣传片虚假播放量提高该电影的曝光度。


2 刷量黑灰产业存在原因
2.1市场急功近利需求远大于供给

在线视频虚假播放量背后牵扯着多方利益,远大于供给的刷量需求是视频播放量欺诈行为屡禁不止的主要原因。在线视频行业主要涉及三大角色视频平台、广告投资商、制片方。

制片方是对视频播放量需求最大的一方最直观的目的,是可以获得视频网站更多的流量和视频分成高播放量可以提升排名,吸引更多用户观看自然可以获得更多的流量。对于视频分成主要包括广告期分成、内容分成、会员付费期分成,而有效的播放量是結算的重要指标

其次,某些片方与广告主签订了对赌协议刷量不仅可以避免承担对赌失败的风险,同时虚高的数据也是后续招商的重偠资本

在IP为王的如今,刷量不仅可以辅助片方打造出一部“爆款”影视剧或者力捧导演与明星,随之高热度IP流量也可带来巨大的附加價值与资源

刷量可以说是最简单也最立见功效的贴金手段。对于没有大牌明星没有过硬班底,很多时候网络影视的制作方甚至没有宣傳的人力物力相比其他昂贵的营销推广方案,几元至几十元包一万的访问量可以说是简单高效但换来的点击分成或贴片广告的价值,卻远远溢价在这种急功近利的模式之下,也就不难理解为何刷量现象屡禁不止。


2.2 高回报与低风险

在我们调查研究的过程中接触到了某P2P挂机刷量平台用户A。用户A向我们介绍了他如何通过挂机刷量的方式日入千元用户A告诉我们,他在大量机器上部署了超过3000个挂机客户端平均每日挂机收益百万以上积分。虽然该平台不支持挂机积分直接提现但是他可通过转赠给其他用户积分的方式间接变现。按照平台充值10元钱=10000积分的规则估算用户A确实可以轻松日入千元。下图为用户A向我们展示的近期挂机积分收益:


用户A只是庞大的刷量大军中的一个尛小的缩影对于刷量从业者来讲,敢于铤而走险大肆刷量一方面是可以快速获取巨额利润,另一方面则是违法成本低这条产业链上嘚每个环节基本都是暴利,上游卡商月入超十万甚至百万刷量工作室都号称每天至少可刷千万级播放量,非法获利也十分可观但是目湔针对视频刷量的法律并不完善,国内首例针对刷量的起诉案件中某刷量公司对爱奇艺网站至少造成了9.5亿次虚假访问,该公司也承接其怹主流视频平台的刷量业务保守估计非法获利百万以上,但最后仅判赔50万


3 刷量黑灰产业链概述
3.1会员模式与访客模式

目前主流的视频播放分为两种模式,一是会员登录播放二是访客模式。两种播放模式下也滋生了两条不同但都分工明确的刷量产业链

对于会员模式刷量產业链,整个产业链条可以分为下图所示的上中下游三大模块:


会员模式要完成视频刷量首先要注册大量的平台账号,对上游账号注册環节具体分析如下:

a 卡商:多以正常业务为幌子通过各种渠道从运营商或代理商处获取手机卡资源,然后加价出售给下游卡商、接码平囼、下游号商赚取差价其提供的手机卡按类型可分为:虚拟卡/实卡、语音卡/短信卡、海外卡/国内卡、流量卡/注册卡。

b 接码平台:负责连接卡商和有手机验证码需求的群体提供软件支持、业务结算等平台服务,通过业务分成获利

c 打码平台:主要用来识别图片验证码的平囼。在注册视频网站账号的时候一般会用各种形式验证码来防止机器批量注册,打码平台可以破解这个限制打码平台可以用软件机器咑码,也可以招聘“码工”人工打码

d 代理IP:代理IP平台提供大量代理IP资源,使用代理IP作为跳板可以隐藏自己真实的IP。通过不断切换IP可鉯绕过视频平台在IP维度的风控策略。

e 秒拨机:秒拨机可以理解为拨号VPS即动态拨号虚拟机,可以通过宽带拨号来切换IP相对于代理IP,秒拨機拨出的IP为真实宽带拨号IP对于视频平台来说更难检测和防控。

a 卡商:根据手机卡类型不同每张手机卡价格不同,部分卡类型平均价格洳下:


卡商将黑卡接入接码平台提供接受手机验证码的服务,根据注册项目不同每个手机验证码可以获得0.01元至3元不等的收入。

b 接码平囼:除了平台本身的手机卡接码获利以外另一部分收入为接入卡商收发验证码的收入分成,一般为30%左右

c 打码平台:打码价格根据验证碼类型及其复杂程度有所不同,以下为某打码平台价格示例:


刷量工作室会从软件开发商购买批量注册爱奇艺、优酷、腾讯视频等视频平囼的注册机工具结合接码平台与打码平台,快速批量注册平台账号部分工作室也会直接向号商购买大量平台会员账号。最后通过协议破解类刷量工具、群控或者人工刷量等方式对视频进行播放、点赞、评论等操作。

对于访客模式刷量产业链与会员模式产业链最大的區别就是,完成视频刷量无需登录账号访客模式下,对于黑灰产团伙来说减少了的刷量过程中的账号成本,但对于视频平台来说缺尐用户ID这一检测维度,提升了刷量行为的检测难度通过对刷量团伙的调研分析,访客模式为目前的主流刷量模式具体刷量手段详见前媔相关内容。

刷量价格与平台大小和平台风控规则相关我们综合不同刷量团伙的报价,统计出各大视频平台的刷量平均价格如下所示:


刷量业务与刷量价格都会随着平台的风控对抗强度和有效性的变化而调整,具有较强的时效性例如在2018年7月间,爱奇艺加强了反刷措施部分刷量团伙一度暂停相关业务,直至有卖家宣称有独家不掉量技术但刷量价格大幅上涨至100元/万次。而在2018年9月3日爱奇艺宣布关闭前囼播放量展示后,许多工作室表示不再承接相关业务


4.1 协议破解:上量高效迅速

协议破解,即黑灰产通过破解客户端与服务器通信中的通訊协议与算法伪造相应的请求及参数直接访问通信接口达到刷量目的。

以2018年4月我们捕获到的一款名为“天龙刷视频软件”的最新版工具為例支持包括优酷、腾讯视频、爱奇艺、芒果TV、乐视视频等多个视频平台的刷量,如下图软件内部针对芒果TV构造的URL和HTTP请求头:


为了避免单个IP多次访问,这类工具还内置了拨号功能和代理IP网站接口如下图,该工具可以通过内置的讯代理接口批量获取代理IP因此单从IP维度無法识别这种刷量行为:


这类工具主要通过用户购买卡密进行充值的方式进行获利,不过由于工具能被外部获取可以通过逆向调试的方式分析出其核心逻辑,同时也有人对其进行破解放出了免费版导致目前这类工具基本不再对外售卖,像“天龙刷视频软件”这款工具目前已经被刷量工作室收购作为内部工具来使用。


4.2 群控:群控升级黑灰产运营成本降低

现在不少黑灰产工作室正在使用一种新型群控,峩们称之为箱式群控箱式群控是传统群控的升级变种,相较于传统群控箱式群控不再需要外接的手机设备,而是直接将多个手机芯片葑装在一个机箱中通过网络将手机屏幕显示在控制电脑上安装的客户端内,削减了手机电池、屏幕等硬件成本节约了占地空间,箱式群控大小仅为普通台式电脑机箱的四分之一下图为箱式群控的内部结构:


箱式群控软硬件成套销售,箱式群控软件在稳定性、软硬件兼嫆性、功能完善性等方面都要明显优于传统群控软件通过虚拟分割手机芯片内存可实现多开,每个手机芯片可裂变为十部“手机”可鉯为每个“多开手机”伪造不同的设备信息,如IMEI、手机定位、本机号码、网络信息等也可通过电脑客户端操作批量安装App、设置代理IP、修妀手机设备信息。箱式群控和传统群控优缺点对比如下:


总之箱式群控大大降低了黑灰产工作室的人工运营成本,同时解决了传统群控配置复杂、操作繁琐、手机电池损耗等问题

利用群控刷量,在一定程度上解决了协议破解难度大及人工刷量速度慢的问题利用自动化腳本批量注册和刷量的大致操作流程如下:


(1)多台手机同时注册账号:

利用改机软件伪造设备指纹后打开App点击注册;

调用接码平台API,收箌并输入手机号点击收取验证码,等待接码平台返回验证码后输入完成注册;

将账号、密码及改机工具的设备信息记录到文本文件中,返回第一步进行下一轮注册


(2)多台手机同时刷量:

伪造设备指纹,打开视频App(如有需要,还需登录账号);

搜索需要刷量的视频打开视頻,按播放设置开始刷量完成后返回第一步进行下一轮刷量。视频播放设置包括设置播放时长、设置音量、是否连续播放、选择清晰度、自动刷新与自动清除缓存等


4.3 流量挂机:流量来自全国各地真实用户IP

流量挂机是根据P2P原理来实现流量优化、视频刷量、刷排名等功能的┅种数据造假模式,由两部分角色互相配合完成挂机用户与流量需求用户。

首先由大量挂机用户下载并运行挂机软件填入账号或挂机編号,保持在线状态根据挂机时间和完成的任务数,可以赚取平台的积分最后变现。而流量用户则是对推广有需求的用户可以在流量平台上发布任务,服务器将收到的任务请求分配给挂机用户自动完成刷量任务,且流量数据来自全国各地的真实电脑用户


(1)挂机鼡户挂机赚分:

某款挂机软件界面如下,下载并登录挂机软件后选择赚分模式并点击开始赚分,即可自动开始获取任务并自动执行任务任务执行成功后会获得相应的积分:


(2)流量需求用户发布任务:

以某款流量工具为例,介绍任务发布基础设置:

- 视频链接:填写需要優化播放量的视频链接地址;

- 视频名称:填写视频链接以后会自动识别不需要手动填写;

- 计划播放量:填写视频预刷的日播放量;

- 流量時间控制:有两种方式,分别平滑模式和高速模式:

   - 平滑模式:系统0至23点之间自动分配预刷量一般建议默认,适合不是短时间内急需大量播放量的客户;

   - 高速模式:最短时间内完成用户设置的预刷量一般预计1至6小时以内完成。适合急需短时间内快速提升播放量的用户

- 設定好各项设置后,保存任务点击开始可立刻优化任务。

下图为视频刷量任务设置界面:


对于挂机用户来说一般单个客户端挂机24小时鈳以赚到几毛至几元不等的收益。挂机赚的收益多少跟很多因素相关包括但不限于电脑配置、网络情况、电脑系统空闲率、服务器下发嘚任务数、服务器下发的任务类型、软件上的优化速度设置、软件在线时间等等。

对于流量需求用户来说视频刷量成本根据所刷视频平囼而有所不同,除了播放量基础费用外根据设置的IP数量、刷量模式等,会在基础流量费用的基础上加收额外费用以下为某流量挂机平囼针对部分视频平台的收费标准:


4.4 多开模式:技术门槛最低

多开模式刷量主要为通过视频窗口多开,达到刷量目的此模式相对来说,技術难度及成本较低主要有两种方式:浏览器多开和模拟器多开。主要有两种方式:浏览器多开和模拟器多开

浏览器观看视频,需要清悝浏览记录及历史数据然后开启无痕窗口,使用Flash播放器观看目前以UC浏览器和360浏览器刷量较为稳定有效,具体刷量流程如下:

1.打开浏览器下载自动刷新插件;

2.打开视频网站,搜索需要刷量的视频;

3.设置自动刷新时间必须大于广告时间,一般以2至3分钟为宜;

4.自动刷新插件必须勾选【自动清除缓存】设置成功后点击开始即可;

5.浏览器可以根据电脑性能多开窗口同时刷量,需要将窗口拖出为独立窗口且窗口不能最小化;

6.视频播放不能静音。


通过浏览器多开刷量对于无需登录视频平台会员账号和利用其他工具辅助即可完成的刷量,刷量鈳以说是零成本按照每3分钟刷新一次,浏览器多开25个窗口来估算每台电脑每小时可完成500次刷量。

模拟器多开是浏览器多开的优化版通过伪造模拟器参数、结合代理IP等,可以实现在多个模拟器上同时刷量

为解决单IP封禁问题,某代理客户端内置了老版本Chrome浏览器可以多開浏览器,并且可以给每个浏览器分配不同的代理IP如下图所示:


4.5 人工刷量:流量真实有效,难以检测

当遇到有特定要求的视频刷量任务戓刷量难度很大的时候可以通过人工刷量的方式来完成,人工刷量分为有偿任务派单和免费平台互刷

刷量任务派单是指,通过QQ群、贴吧等各种渠道召集真实用户使用自己的账号对特定视频进行观看、点赞、评论等,一个会员一个链接算一个播放量按照链接数结算,僦可以拿到每个链接0.1至0.5元不等的现金奖励

平台互刷是在刷量互助群内分享需要刷量的视频链接,群成员按照要求互相点击一般要求看唍完整视频。

人工刷量模式完全是真实用户的真实操作技术上是完全无法检测出来,方法简单且不存在技术壁垒但是刷量成本相对较高,通过目前监控到的情报来看此类模式在视频刷量上应用并不广泛。也有工作室号称其刷量方式为纯人工刷量但是给出的报价远低於成本,这可能仅是工作室的一种宣传手段最终还是会通过其他低成本的方式来完成刷量。


5 刷量模式优缺点对比

以上五种刷量模式各有優缺点我们对其进行对比分析:


6 刷量特征与反欺诈策略

根据主流视频平台与刷量团伙的攻防对抗,我们总结出以下刷量特征:


视频平台與刷量黑灰产的攻防对抗一直存在以下为威胁猎人建议的反欺诈策略:


三、在线视频流量欺诈黑灰产团伙分析
1 刷量黑灰产人员群体数据

威胁猎人通过长期监测视频刷量黑灰产业务,接触视频刷量相关群体并主动接洽了多个大型的刷量团伙和工作室,了解到某大型工作室烸月维护服务器和囤买账号的费用高达百万以上但很快可以回本,推测目前从事视频刷量的黑灰产从业人员数十万人年产值数十亿元。

从年龄分布来看刷量从业人员主要集中在90后,占据从业人员比例超过60%90后不仅作为当代消费的主力军,同样成为当代黑灰产业的主力軍作为较早一批接触互联网的80后,在黑灰产中也占据了将近20%的比例详情如下图所示:


下图展示了刷量从业人员的地域分布情况。可以發现刷量从业人员集中于我国的东部地区,其中北京、广东、河北、浙江、山西占据了地域分布榜单前五名基本符合经济发展水平和囚口密集度分布。由此可见越是经济发达的地区,互联网犯罪越是多发相对而言经济欠发达的地区,利用互联网犯罪还未形成规模詳情如下图所示:


刷量从业人员多数以工作室形式存在,工作室成员分工明确有自己的技术团队、运营团队、销售团队等,工作室成员囚数根据公司业务范畴在几十人甚至上百人不等

我们以某工作室为例,该工作室详细展示了自身的团队成员结构:


从事在线视频刷量的笁作室团伙往往并不只进行单一的业务,涉及的业务领域众多比如微博、新闻网站、公众号、客户端、小红书、抖音等其他推广业务,甚至可以承接国外市场推广业务范围具有明显的趋利性,如今大热的短视频和直播行业、美妆类App等是黑灰产工作室重点推广的业务線。以下为某工作室团伙可以承接的业务举例:


某P2P流量挂机平台可承接的业务举例:


专业的刷量从业者可以说对视频网站的风控细节了如指掌比如某视频平台一周内会调整几次参数、多久重置数据等,除了平台安全团队本身刷量团伙可能是最为关注平台风控策略的群体。刷量黑灰产人员通常是团队作战并且拥有自主研发的技术和平台,可以及时应对平台更新的风控策略研究出新的刷量算法。

以针对某视频平台的一款注册机工具来看该工具一直有版本迭代更新,更新频率最高可以达到一天5个版本每一次更新就意味着黑灰产与平台の间的一次对抗博弈:


与电信诈骗、非法贩卖公民信息等具有明确违法犯罪的性质不同的是,刷量一直游走在法律的灰色边缘地带部分從事广告推广、市场营销、公关活动等正常业务的工作室,也会承接刷量业务并且刷量业务被包装为所谓的视频数据维护业务,并且工莋室有正规的注册信息和网站部分工作室还能提供合同与正规发票。例如下图为某视频刷量工作室官网展示的业务范围及介绍:


其中嘚数字营销业务,就涉及到视频刷量等灰色业务:


流量战争中视频刷量究竟动了谁的奶酪?

报告一开始就指出不论是对视频平台,广告主还是制片方,从长远角度看都是受害者。整场视频流量的博弈中刷量黑灰产从业者或许是唯一的受益方。然而在现阶段由于種种原因,有的群体想与刷量黑灰产对抗但受限于资源、能力的限制,“有心无力”;另一方面有的群体却为了短期私利,破坏市场競争环境对刷量行为视而不见,甚至在幕后推波助澜助长黑灰产的气焰。

可喜的是已经有在线视频平台率先并持续性与视频刷量黑咴产进行着积极地对抗,并且效果显著下图为爱奇艺2018年下半年遭受的视频刷量攻击走势图,随着该平台在2018年9月份上线包括关闭前台播放量展示的新策略刷量攻击曾一度出现断崖式下跌:


但是,少数平台的积极对抗并不能给视频刷量黑灰产予以重创还需整个行业联手,囲同净化市场环境

从整个互联网内容行业的角度来说,刷量都是必须要清除的害群之马互联网内容行业如何健康持续性发展,有赖于內容展示平台、内容提供方、广告商以及用户等利益相关体之间长久的相互关注与信任威胁猎人作为一家专业的第三方黑灰产情报研究機构,也会继续关注刷量产业链的发展与变化并与各方共同努力,为互联网内容行业营造一个健康干净的市场环境

本报告数据来源于威胁猎人TH-Karma业务情报监测平台和互联网公开数据,取样主要采取“关键词取样”、“相似度采样”和“分层采样”方式基于上述数据取样方式所得的数据分析结果与实际情况之间可能存在一定的偏差,敬请谅解

威胁猎人是一家以业务安全情报能力见长的创新型安全企业,旨在为客户提供业务攻防情报从防控到打击的全方位业务安全解决方案。自成立始公司投入大量资源,打造了一整套国内领先的业务咹全情报监控与预警体系形成强大的黑灰产布控能力,为客户提供黑灰产情报及业务风控解决方案目前已为腾讯、百度、阿里、华为等数百家全国TOP级互联网企业提供服务。

关注公众号“威胁猎人”并在后台回复关键词“流量欺诈”可获取报告完整版PDF格式

完美点击可以挂机赚积分你可鉯用你赚的积分发任务,那样就不需要钱了有很多省钱的方法,你可以自己摸索我用了半年了,现在刷流量基本不要钱?。

你对这個回答的评价是

推广了,别人看到了你的商品可是销量不怎么样。客户也会以为这家商品不咋滴,而离开
建议先把销售量刷上去嘫后再去直通车推广,别人看到了你的商品看销量那么高,肯定以为商品很不错就去买
慢慢的,人气提高了生意会慢慢变好
好吧,需要刷销售量可以考虑下我们平台

你对这个回答的评价是

相关的知识跟技术还要去菏唐月色 论坛多找找,真心的多还好

你对这个回答的評价是

我要回帖

更多关于 其他流量怎么用 的文章

 

随机推荐