Our vision：#讓你成為國際貨代精英#

不到兩個月，2018年春節要來了。

“今年我得早下手，搶張回家的低價機票。”在北京打工的小王對科技日報記者說
，由於老家在雲南，春節機票太貴，他都選擇坐兩天兩夜的火車回去，長途跋涉，苦不堪言。

然而
，就在小王摩拳擦掌，準備使出“洪荒之力”搶張便宜機票時，看到網上曝出這樣一則消息：航空公司放出的低價機票，80%以上被票務公司的“爬蟲”搶走，普通用戶很少能買到。

小王傻眼了，“爬蟲”究竟是什麼鬼?它又是怎麼搶機票的?難道就沒有辦法治理嗎?

借助超鏈接信息抓取網頁

“‘爬蟲’技術是實現網頁信息采集的關鍵技術之一，通俗來說，‘爬蟲’就是一段用來批量、自動化采集網站數據的程序
，幾乎不需要人工幹預。”北京理工大學網絡科學與技術研究院副教授閆懷誌告訴科技日報記者。

閆懷誌介紹，“爬蟲”又稱網頁“蜘蛛”
、網絡機器人，它是一種按照一定規則自動抓取網頁信息的程序或者腳本，通常駐留在服務器上。在Web網頁中，既包含可供用戶閱讀的文字、圖片等信息，還包含一些超鏈接信息。網絡“爬蟲”正是借助這些超鏈接信息來不斷抓取網絡上的其他網頁。

“這種信息采集過程很像一個爬蟲或蜘蛛在網絡上漫遊，網絡‘爬蟲’或網頁‘蜘蛛’因此得名。”閆懷誌說，“爬蟲”最早應用在搜索引擎領域
，比如穀歌
、百度、搜狗等搜索引擎工具每天需要抓取互聯網上數百億的網頁，它們需要借助龐大的“爬蟲”集群來實現搜索功能。

當前，“爬蟲”已被廣泛用於電子商務、互聯網金融等諸多領域。比如
，“爬蟲”可以抓取航空公司官網的機票價格，發現低價或緊俏機票後，“爬蟲”可以利用虛假客源的真實身份信息實現搶先預訂。再有
，很多互聯網瀏覽器都推出了自己的搶票插件，以高訂票成功率來推廣瀏覽器。

根據抓取任務和目標的不同，網絡“爬蟲”可大致分為批量型、增量型和垂直型。批量型“爬蟲”的抓取範圍和目標較為明確
，可以是網頁的設定數量
，也可以是消耗時間的設定。增量型“爬蟲”主要用於持續抓取更新的網頁，以適應網頁的不斷變化。垂直型“爬蟲”主要是用於特定主題內容或特定行業的網頁。

“爬蟲”究竟是如何搶票的

此前，在線票務服務公司攜程的“反爬蟲”專家在技術分享中透露，某網站的一個頁麵
，每分鍾的瀏覽量是1.2萬，真實用戶隻有500個，“爬蟲”流量占比為95.8%。

采訪中，很多業內人士也表示
，即使在“爬蟲”活動的淡季，虛假流量也占到訂票網站總流量的50%，高峰期更是在90%以上。

那麼
，“爬蟲”究竟是如何實現搶票的呢?對此，閆懷誌解釋
，主要是機票代理公司利用“爬蟲”技術，不斷抓取航空公司售票官網網頁信息，如果發現該航空公司有低價票放出，“爬蟲”即刻利用虛假客源身份進行批量預定但不實際支付，以達到搶占低價票源的目的。由於“爬蟲”的效率遠遠超過正常的手動操作，導致通過正常操作幾乎無法搶到票。

隨後，機票代理公司會通過其自身銷售渠道(包括公司網站、在線旅行社、客戶電話訂購等)找zhao到dao真zhen正zheng的de客ke源yuan
，在zai航hang空kong公gong司si允yun許xu的de賬zhang期qi內nei，退tui訂ding此ci前qian使shi用yong虛xu假jia客ke源yuan身shen份fen預yu定ding的de低di價jia票piao，然ran後hou使shi用yong真zhen實shi身shen份fen信xin息xi進jin行xing訂ding購gou
，最zui後hou實shi現xian該gai低di價jia票piao的de加jia價jia轉zhuan售shou。

如果未在航空公司規定的賬期內找到真正客源
，機票代理公司會在訂單失效前再追加虛假身份訂單，繼續“霸占”該低價票，如此反複，直至找到真正客源售出為止。

“上麵的操作流程就構成了完整的機票銷售鏈條。在這個過程中，航空公司售票係統允許在賬期內反複訂、退票的規定為機票代理公司利用‘爬蟲’搶票並加價獲利提供便利。這種搶票方式，被稱為技術‘黃牛’。”閆懷誌強調。

的確，有業內人士表示，這些“爬蟲”流量消耗了大量的機器資源
，卻不產生任何消費，這是每個公司最痛恨的東西。但是
，因為怕誤傷真實用戶，各家公司的“反爬蟲”策略做得非常謹慎。

采用一定手段“爬蟲”可防可控

任何事情都有兩麵，“爬蟲”技術也不例外。

在閆懷誌看來，“爬蟲”既可為正常的數據批量獲取提供有效的技術手段，也可被惡意使用以獲取不當利益。如果“爬蟲”技術被不正當利用，就會帶來一定的危害。

shouxian，weixieshujuanquan。hangkonggongsishoupiaowangzhanshujubeieyipaqu
，shujukenenghuibeijipiaodailigongsieyiliyong，erqiehaicunzaibeitongyejingzhengduishouhuoqudefengxian。

其次，導致係統性能下降，影響用戶體驗。“爬蟲”大量的抓取請求會導致航空公司售票網站服務器資源負載上升、性能下降，網站響應變慢甚至無法提供服務

，對用戶搜索和交易體驗造成負麵影響。但由於存在巨大的灰色利益空間，同時“反爬蟲”技術在與“爬蟲”對抗中作用有限，使得這種顯失公平的“作弊”方式成為擾亂機票市場秩序的技術“頑疾”。

“從技術角度來看，阻擊‘爬蟲’可以通過網站流量統計係統和服務器訪問日誌分析係統。”閆懷誌說，通過流量統計和日誌分析
，如果發現單個IP訪問、單個session訪問
、User-Agent信息超出設定的正常頻度閾值，則判定該訪問為惡意“爬蟲”所為，將該“爬蟲”的IP列入黑名單以拒絕其後續訪問。

再就是設置各種訪問驗證環節。比如
，在可疑IP訪問時，返回驗證頁麵，要求訪問者通過填寫驗證碼、選取驗證圖片或者字符等方式實現驗證。如果是惡意“爬蟲”爬取，顯然很難完成上述驗證操作，進而可以封鎖該“爬蟲”的訪問，防止其惡意爬取信息。

互聯網空間不能有“灰色地帶”

當前，雲計算
、大數據等為代表的新一代信息技術處在高速發展階段。

“上述新技術如果被非法或者不當應用
，則會產生嚴重的危害。互聯網空間安全需要建立健全完善的保護體係，絕不能‘裸奔’。”閆懷誌說。

2017年6月1ri，woguowangluoanquanfazhengshishishi，mingquelegefangzaiwangluoanquanbaozhangzhongdequanliyuzeren。zheshizhongguowangluokongjianzhilihefazhijianshecongliangbiandaozhibiandezhongyaolichengbei，zhebufalvzuoweiyifazhiwang、化解網絡風險的法律重器
，成為我國互聯網在法治軌道上健康運行的重要保障。

然而，目前對於高科技“黃牛”倒票行為，尚未有明確規定
，使得惡意爬取信息並不當獲利行為處在法律法規監管的“灰色地帶”。

閆懷誌介紹，國際上，針對“爬蟲”應用，專門製訂了Robots協議(即“爬蟲”協議
、網絡機器人協議等)。該協議全稱為“網絡爬蟲排除標準”
，網站可通過該協議告知“爬蟲”可以爬取哪些頁麵及其信息，不能爬取哪些頁麵及其信息。該協議作為網站和“爬蟲”的溝通方式，用來規範“爬蟲”行為
，限製不正當競爭。

作為國際互聯網界通行的道德規範，該協議的原則是：“爬蟲”及搜索技術應服務於人類，同時尊重信息提供者的意願

，並維護其隱私權;網站有義務保護其使用者的個人信息和隱私不被侵犯。這就規定了爬取者和被爬取者雙方的權利和義務。

一位不願具名的法律專家也表示
，“反爬蟲”不bu僅jin要yao依yi靠kao技ji術shu防fang範fan和he業ye界jie自zi律lv，還hai應ying該gai通tong過guo完wan善shan管guan理li和he法fa律lv法fa規gui手shou段duan來lai約yue束shu這zhe種zhong行xing為wei

，尤you其qi是shi法fa律lv手shou段duan才cai能neng彰zhang顯xian懲cheng治zhi力li和he震zhen懾she力li。航hang空kong公gong司si也ye要yao完wan善shan賬zhang期qi管guan理li，不bu給gei“爬蟲”搶票提供機會。(記者付麗麗)

>>大神客服熱線/微信 QQ 690038479 E-mail： 歡迎垂詢……
>>飛捷騰達-國際貨代精英學習網 感謝您的光臨
，歡迎再來！
>>關注貨代精英，成為貨代精英