““爬虫”怎么抢低价票？借助超链接新闻抓取网页”

你的廉价机票被“虫子”吃了。

不到两个月，春节就要到了。

“今年必须早点下手，抢回家的低价机票。 ”。 在北京打工的王先生对科技日报记者说，因为老家在云南，春节的机票太贵了，他坐了两天两夜的火车回去，长途旅行，很辛苦。

但是，当老王摩拳擦掌“洪荒之力”想要抢到便宜的机票时，网上，航空空企业拿出低价机票，80%以上被票务企业的“爬虫”抢到，普通顾客很少见。

小王的眼睛很傻。 “爬行动物”到底是什么呢？ 怎么抢机票？ 没办法吗？

用超链接新闻捕获网页

“‘爬虫’技术是实现网络新闻收集的关键技术之一，一般来说，‘爬虫’是批量自动收集网站数据的程序，几乎不需要人工干预。 ”。 北京理工大学网络科学技术研究院副教授闫怀志告诉科技日报记者。

据闫怀志介绍，“爬虫”又称网页“蜘蛛”、网络机器人，是按照一定规则自动抓取网络新闻的程序和脚本，一般常驻服务器上。 网页包括客户可浏览的副本、照片等新闻和超链接新闻。 互联网的“爬虫”利用这些超链接新闻，不断捕捉互联网上的其他页面。

“这个新闻收集过程就像爬行动物和蜘蛛在互联网上行走一样，被命名为互联网的‘爬行动物’和网页的‘蜘蛛’。 ”。 据闫怀志介绍，“爬虫”最早是谷歌、百度、Sogou等各搜索引擎行业使用的，每天需要捕捉数百亿个网页，需要利用巨大的“爬虫”集群实现搜索功能。

目前，“爬虫”广泛用于电子商务、互联网金融等多个行业。 例如，“爬虫”可以抓住航空空企业官网的机票价格，在发现低价或热门机票后，“爬虫”可以利用虚假客户的真实身份新闻实现提前预约。 此外，许多网络浏览器推出了抢票插件，以较高的订票成功率宣传浏览器。

根据捕捉任务和目标的不同，互联网的“爬虫”大致分为批量型、增量型、垂直型。 批量型“爬虫”的捕获范围和目标比较确定，可以是网页的设定数量，也可以是消费时间的设定。 增量式“爬虫”主要用于持续捕获更新的网页，以适应网页的变化。 垂直型“爬虫”主要用于特定主题的副本和特定领域的网页。

“爬行动物”怎么抢票

迄今为止，在线票务企业座位“防爬虫”专家在技术共享中表示，某网站页面每分钟浏览1.2万次，实际客户500人，“爬虫”流量占95.8%

在接受采访时，许多业内人士表示，即使在“爬虫”活动淡季，虚假流量也占预约网站总流量的50%，高峰期在90%以上。

那么，“爬行动物”到底怎么抢票呢？ 对此，闫怀志表示，如果机票代理企业利用“爬虫”技术，持续捕捉航空空企业售票网站的网络新闻，发现该航空空企业发行低价票，则 因为“爬行动物”的效率远远超过了通常的手动操作，所以用通常的操作几乎不能抢到票。

之后，机票代理企业通过自己的销售渠道(包括企业网站、网上旅行社、客户电话订单等)找到真实客户，在航空空企业许可的会计期内，取消此前以虚假客户身份预订的低价票，然后，

如果在航空空企业规定的会计期内未找到真正的客户，机票代理企业将在订单到期前添加虚假身份订单，并继续“占领”这张低价票，直到真正的客户被出售为止，反复进行。

“上述操作流程构成了完整的机票销售链条。 在这一过程中，航空空企业售票系统允许在账期内票务代理企业利用“爬虫”抢票，从而为提高利润提供便利。 这样的抢夺方法被称为技术“黄牛”。 ”。 闫怀志强调。

业内人士表示，这些“爬行动物”流量消耗大量机械资源，但不收取任何费用，这是各企业最讨厌的。 但是，由于担心会误伤实际客户，各企业的“反爬虫”战略非常谨慎。

可以使用一定的手段“爬行动物”进行控制

任何事件都有两面，“爬虫”技术也不例外。

闫怀志认为，“爬行动物”可以为正常数据的大量获取提供比较有效的技术手段，也可以被恶意采用从而获得不正当的利益。 “爬行动物”的技术如果被非法利用，将带来一定的危害。

首先，威胁数据安全。 航空空企业出票网站的数据可能被恶意提取，被机票代理企业恶意利用，也有被行业竞争对手获取的风险。

其次，系统性能下降，影响客户体验。 “爬虫”的大量捕获要求，会导致航空空企业售票网站服务器资源负荷上升，性能下降，网站响应变慢，无法提供服务，从而对顾客的搜索和交易体验产生负面影响。 但是，由于存在巨大的灰色优势空之间，“反爬虫”技术在与“爬虫”的对抗中作用有限，这种不公平的“作弊”方法成为了扰乱机票市场秩序的技术“顽疾”。

“从技术角度看，阻止“爬虫”可以从网站流量统计系统和服务器访问日志分析系统。 ”。 闪怀志通过流量统计和日志分析，发现一个ip访问、一个session访问、用户代理新闻超过设定的正常频率阈值时，将该访问判定为恶意的“爬虫”，并将其“

是设置各种访问验证的一环。 例如，在可疑的ip访问的情况下，返回验证页面，委托访问者通过填写、选择验证图像和文字等方法进行验证。 恶意“爬虫”爬上去后，很明显上述验证工作不容易完成，进而可以阻止该“爬虫”的访问，防止恶意新闻的蔓延。

网空之间不能有“灰色地带”

目前，以云计算、大数据等为代表的新一代新闻技术正在迅速发展。

“上述新技术如非法或不当应用，将造成严重危害。 网络空之间的安全需要建立健全完整的保护系统，决不能“裸奔”。 ”。 闫怀志说。

年6月1日，中国《网络安全法》正式实施，确定了各方在网络安全保障中的权利和责任。 这是我国互联网空之间管理和法制建设从量变到质变的重要里程碑，该法作为依法治网、化解网络风险的法律重要器皿，是我国网络在法治轨道上健康运行的重要保障

但是，目前对于高科技“黄牛”的转卖行为，恶意登报并不是不正当的利益行为，没有规定在法律法规监管的“灰色地带”。

据闫怀志介绍，与“爬虫”的应用相比，国际上制定了robots协议(即“爬虫”协议、网络机器人协议等)。 这个协议全称为“网络爬虫排除标准”，网站通过这个协议告知“爬虫”不能爬那些网页及其新闻。 该协议作为网站和“爬虫”的信息表达方法，用于规范“爬虫”的行为，限制不正当竞争。

作为国际网络界通行的道德规范，该协议的大致内容是“爬虫”和搜索技术必须为人类服务，尊重新闻提供者的意愿，维护隐私。 网站有义务保护其招聘者的个人新闻和隐私不被侵犯。 它规定了攀登者和攀登者双方的权利和义务。

即使是不愿具名的法律专家，“反爬虫”也不仅要通过技术预防和行业自律，还必须通过完善的管理和法律法规手段约束这一行为。 特别是法律手段无法表现出惩罚力和威慑力。 航空空企业也必须完善会计期管理，不为“爬虫”的抢夺提供机会。

本报记者付给莉莉