在技术专家们看来，robots协议代表了一种契约精神，互联网企业只有遵守这一规则，才能保证网站及用户的隐私数据不被侵犯。
连日来，3B搜索战争不断升级。这场大战中，关注的焦点不是360、百度等搜索网站，而是一个叫做“robots”的协议。
robots协议是什么？搜索引擎为什么必须遵守这一协议？为此，笔者走访了媒体、高科技企业的数位技术专家。
Robots协议背后的契约精神
据介绍，所谓“robots协议”是搜索引擎在抓取网站内容时，出于安全及隐私等方面考虑，双方约定的一个规则。其中包括网站是否希望被搜索引擎抓取，希望或不希望被哪些搜索引擎抓取，以及哪些内容不允许被抓取。目前，Robots协议已经成为所有搜索引擎必须遵守的国际惯例。
在技术专家们看来，robots协议代表了一种契约精神，互联网企业只有遵守这一规则，才能保证网站及用户的隐私数据不被侵犯。
“中国古语有云‘不以规矩，不能成方圆’，Robots这类协议的出台正是对‘规矩’二字在网络社区及互联网行业中的实例展现。”微软MVP冯亮表示。他指出，Robots协议代表着搜索引擎和网络内容提供者双方都应该遵循的行为及技术规范，只有双方都严格遵守此类协议并且确实执行，用户和网站的机要信息及隐私数据才可以得到真正的安全保障。”
InfoQ中文站创始人CEO霍泰稳也表示，“Robots协议是一个公约，体现的契约精神包括搜索技术应尊重信息提供者的意愿并维护其隐私权，以及网站有义务保护其使用者的个人信息和隐私不被侵犯。”
违背robots协议是对规则的践踏
在技术专家们看来，违背robots协议的实质，是企业对规则的漠视。
“Robots协议可以说是一个保护自身权益的准则，来区隔哪些东西可以与人分享，哪些东西是自己独用、当作自身特色的。如果我们不管青红皂白，把别人的东西拿来用，不仅是对别人的不尊重，更是对别人权益的蔑视，理应受到唾弃。”微软.NET MVP、大连赛高科技CTO桂素伟标表示。
中青旅江苏公司网络市场推广部主管朱雪宇则进一步指出，网络是现实社会的一个延续，Robots协议这一类网络公约就是对现实法律及道德体系在网络的体现，“如果无视公约无视规则，是对现今已伤痕累累的道德体系的践踏，更是对现今法律的一种赤裸裸的挑战。”
践踏规则将对行业造成巨大破坏
那么，如果搜索引擎无视Robots协议而肆意抓取未经授权的数据，将带来哪些后果？
在技术专家们看来，违背Robots协议将带来巨大安全隐忧——此前，曾经发生过这样一个真实的案例：国内某公司员工郭某给别人发了封求职的电子邮件，该Email存储在某邮件服务公司的服务器上。因为该网站没有设置robots协议，导致该Email被搜索引擎抓取并被网民搜索到，为郭某的工作生活带来极大困扰。
违背Robots协议产生的后果也与此相似。
在微软MVP冯亮看来，Robots协议是互联网安全与隐私的重要保障，“如果不遵守Robots协议，搜索引擎肆意抓取网站的内容，网站拥有者的安全意识淡漠，那么敏感信息毫无疑问将会泄漏，这对互联网的有序和良性发展都会产生巨大的破坏作用。”
51CTO安全频道主编王文文在其微博上表达了类似的担忧。他指出，如果搜索引擎提供方不遵守该协议，就跟没得到允许就把别人的隐私晒出来一样，势必引起网站所有者的反感。“届时可能会逼迫网站所有者动用其他技术手段封杀搜索引擎爬虫和IP。”
此外，违背Robots协议也将影响整个行业信用体系，甚至引发行业混乱。
“每个行业都有参与者应该自觉遵守的规则，Robots协议就是互联网行业的规则之一。不遵守游戏规则，也许能一时得利，但长此以往，损害的将是整个行业的利益。”北京菲诺科技CEO刘焕宇这样告诉笔者。
来自电脑商情报的媒体监理刘果更关注的，是整个互联网行业的信任体系会否因为企业无视robots协议而破产。“Robots协议的诞生建立在同业间互相信任的基础上，如果这个协议被无视，那么很有可能使行业信任体系崩溃，引发整个行业的混乱，造成严重后果。”他说。
