从行业惯例的角度分析robots协议的司法约束力

('龙源期刊网http://www.qikan.com.cn从行业惯例的角度分析robots协议的司法约束力作者：吴水兰来源：《青年与社会》2013年第13期【摘要】robots协议也称爬虫协议、爬虫规则等，是指网站可建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，而搜索引擎则通过读取robots.txt文件来识别这个页面是否允许被抓取。但是，这个robots协议不是防火墙，也没有强制执行力，搜索引擎完全可以忽视robots.txt文件去抓取网页的快照。那么，当百度基于robots协议诉奇虎不正当竞争时，法院该判令奇虎遵守robots协议吗？文章以此案例导出，通过对robots协议的法律性质作出认定，从行业惯例的角度去分析robots协议的司法约束力，并认为在法律缺失的条件下，符合习惯构成要件的robots协议应该得到遵守。【关键词】robots协议；爬虫协议；搜索引擎；法律性质；行业惯例一、案例简况2012年8月16日，360搜索上线并成为360网址导航的默认搜索，360搜索将百度多项业务纳入搜索范围供用户选择，如百度知道，百度音乐，百度地图等纳入自己的综合搜索。这一行为遭到百度的强烈抵制，随后百度通过技术手段，令这些搜索请求无法通过360直达结果页面，而是跳转至百度首页，让用户重新搜索。双方的争议随后进入司法程序，2012年10月16日，百度将奇虎360诉诸北京市第一中级人民法院。百度不允许360搜索直接访问百度的内容，其依据的是国外成型已久的所谓搜索行业规范——robots协议。百度认为，百度知道、百科、贴吧等内容是百度所有的内网内容，百度有权决定其内容是否要被360综合搜索抓取与展示，而360综合搜索无视百度在robots协议中未对其进行授权的事实，对百度知道、百度百科等内容进行强行抓取，违背行业规范，涉嫌侵犯著作权、不正当竞争。奇虎360“则认为，robots.txt仅仅是指导和提示搜索引擎蜘蛛程序，善意的提示性TXT”文件，既不是法规或标准，也不是合约，因而不存在违反与不违反的问题。百度既是搜索引擎，也是内容网站，百度百科和百度知道等内容的robots协议仅针对360综合搜索，其他引擎如谷歌搜索则可以顺利抓取，这是一种歧视性的行为，是假robots协议之名阻止360进入搜索市场，是不正当竞争。并且，百度百科和百度知道等都是公开的信息，是网民一点一滴贡献出来的，允许其它搜索引擎抓取就正说明不涉及隐私的内容，不符合robots协议的适用范围。本文无意探讨上述双方谁是谁非，只是借助这个案例，告诉大家什么是robots协议，通过对robots协议的法律性质作出认定，从行业惯例的角度去分析robots协议的司法约束力。二、robots协议的法律性质robots协议也称爬虫协议、爬虫规则等，就搜索引擎抓取网站内容的范围作了约定，当一个网站不希望其全部或部分内容被搜索引擎收录时，可以通过建立一个robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，搜索引擎则通过一种爬虫蜘蛛程序去自动依龙源期刊网http://www.qikan.com.cn据这个文件来决定抓取或不抓取该网页内容。robots.txt类似于游览景区的指示牌，为搜索引擎蜘蛛程序爬行于本网站的路径进行提示，同时标明了哪些是开放景区（允许抓取），哪些游客止步景区（不允许抓取）。通常鉴于网络安全与隐私的考虑，每个网站都会设置自己的robots协议，来明示搜索引擎，哪些内容是愿意和允许被搜索引擎收录的，哪些则不允许。例如高校bbs类网站，如有不希望被搜索引擎收录的相关内容，最好设置robots.txt以指示搜索引擎的访问路径，从而限制其蜘蛛程序的访问权限，这就解释了为什么一些bbs的网站内容能被搜索引擎检索到，而另一些则不能。Robots协议并非强制性法规，而是搜索引擎诞生后，互联网业界经过长期博弈，最终在搜索引擎与商业站点、公众知情权和用户隐私权之间达成的一种妥协。是为了互联网的和谐发展而制定的一种行业规范，是行业内一个约定俗成的协议，其根本性的权力来源是团体成员的理性契约与集体认同。正如Robots协议创始人MartijnKoster所言，该协议并不是有权机关制定的，不具有强制执行力，任何人都没有义务一定要去遵守这个协议。事实上，robots协议在20世纪93、94年出现后，几乎被所有的搜索引擎采用，包括最早的altavista、infoseek，后来的google、bing，以及中国的百度、搜狗、搜搜等公司也相继采用这一规则并严格遵循。Robots协议限制搜索引擎的抓取内容，保护网站数据和敏感信息、确保“”用户个人信息和隐私不被泄露，对人肉搜索这类侵犯用户隐私的行为树立了一道屏障，为互联网的和谐发展起着重要的作用，如果某一搜索引擎被禁止访问某一网站全部或者部分内容，该搜索引擎蜘蛛程序就要绕开robots.txt而随意抓取该网站的内容，无视robots.txt的存在，这必然会导致信息提供者保护私有财产的权利无法得到保护和用户的隐私无法得到保障。此外，中国互联网协会于2012年11月1日在北京举行《互联网搜索引擎服务自律公约》“”（以下简称公约）签约仪式，百度、360等12家搜索引擎服务企业现场签署了该公约。该公约第7“条规定，搜索引擎企业要遵循国际通行的行业惯例与商业规则，遵守机器人协议（robots”协议），对于违反公约内容的，相关网站应及时删除、断开连接。从上诉公约内容来看，可以看出网络搜索行业自身已认可robots协议具有国际通行的行业惯例与商业规则的地位。那么，行业惯例在像我国这样的成文法国家是否可被用来作为司法裁判的依据？惯例成为具有法律拘束力的习惯法应该具备些什么条件？robots协议又是否符合惯例构成要件，得到更强有力的法律保障？以下将逐一分析。三、行業惯例的法律适用在我国，法的正式渊源主要是制定法，系指国家机关依照一定程序颁布的，通常表现为条文形式的规范性法律文件，可以直接发生法律效力。法官审理案件，在查明案件事实后，首先要寻找制定法，即在现行法律体系的诸多法律规范中寻找所要适用的法律，或者在没有可资使用的法律时，根据现行法律体系以某种方式提供的素材确立一个规则，然后对所选定或确定的规则进行解释，最后将如此找到和解释的法律适用于争议。在本案中，既没有针对robots协议的现行的法律规定，也找不到相应的法律规则，这种情形就叫做法律漏洞。法律不可能囊括现实生活中的纷繁复杂的状况、也不可能立即对千变万化的社会关系做出调整，法律上的空白、监管的缺失在迅速更新发展的互联网显得更为突出。而对于出现法律漏洞的案件，法官不能因为法无明文而拒绝审判，所以只能依据法律漏洞补充方法创设规则。一般来说，法律漏洞补充方法具体包括：（1）依惯例补充。这是最首要的方法，依惯例包括依交易惯例、行业惯例龙源期刊网http://www.qikan.com.cn和地方惯例。（2）类推适用。是指法官受理的案件法律没有直接加以规定，但根据该案的主“要特征，与某法律规定的情况类似，因而适用规定类似情况的法律。类推，在刑法中因法无”明文规定不为罪而被严格限制使用，但在民事裁判中却是各国法院普遍采用的漏洞补充方法。（3）目的性限缩。是指一个法律条文所涵盖的案型依立法目的衡量明显过宽，故应将不该包含在内的案型排除在法律文义之外。（4）目的性扩张。这一解释方法与目的性限缩正好是相反的。是指法律条文所涵盖的案型过窄，依立法目的将本不为该法律条文所涵盖的案型，包括于该法律条文的适用范围之内。（5）一般法律原则。即以诚实信用、公序良俗、禁止权利滥用等法律原则作为评价标准，以衡量本案事实。在民事司法领域里，法官不得拒绝裁判，在存在法律漏洞的情况下，法官有义务补充它。因此，法官们不得不通过各种法律漏洞补充方法，在制定法以外寻找断案的依据。惯例作为法律漏洞的首要补充方法，适用领域非常广泛。依习惯补充法律漏洞，其根据在于各国民法均与明文规定，于一定条件下习惯有与法律同一的效力。例如，瑞士民法典第1条规定，本法未规定者，审判官依习惯法；无习惯法者，依自居于立法者地位时，所应行制定之法规，裁判之。我国台湾民法1条规定：民事法律所未规定者依习惯；无习惯者，依法理。日本法例第2条：不违反公共秩序及善良风俗的习惯，限于依法令规定被认许者或有关法令中无规定的事项，与法律有同一效力。日本裁判事务须知第3条：民事之裁判，有成文法者依成文法；无成文法者，依习惯；无习惯者，应推考条理裁判之。我国对于习惯能否具有法律效力并没有一个具有宏观指导性的条文予以规范，但在部分民事立法条文、法律解释中，针对某些具体问题做了允许法官适用惯例（习惯）的零星规定。如宪法第4条第4款规定：各民族都有使用和发展自己的语言文字的自由，都有保持或者改革自己的风俗习惯的自由。物权法第85条规定：法律、法规对处理相邻关系有规定的，依照其规定；法律、法规没有规定的，可以按照当地习惯。合同法第61条规定：合同生效后，当事人就质量、价款或者报酬、履行地点等内容没有约定或者约定不明确的，可以协议补充；不能达成补充协议的，按照合同有关条款或者交易习惯确定等等。在实践中，法官以惯例作为断案“的依据并不少见，如曾意龙与江西金马拍卖有限公司、中国银行股份有限公司上饶市分行、”“”徐声炬拍卖纠纷案中，最高人民法院判决，其违反三声报价法惯例的拍卖行为无效。“在实践过程中，法官适用惯例的规则包括：第一，无法律方可适用习惯。民事之裁判，”有成文法者依成文法；无成文法者，依习惯。从该通说可推知，民事案件，如果法律已有规定时，则没有适用习惯的余地，习惯仅具有补充制定法的效力。第二、当事人对某一事项已有约定的，对惯例的适用不得违背当事人之间的约定，即当事人的约定排斥惯例的适用。第三，适用惯例不得违背法律的精神。这里的法的精神包括法律普遍适用的原则，如诚实信用、不得损害他人权益。当然，并不是任何惯例习惯惯例都可以作为司法裁判的法源，法官适用惯例首先需要识别、认定和审查惯例。通常来说，习惯可以被法官认可为具有法律约束力的习惯法要符合以下几个条件：（1）习惯应用的时间已经很长，是一种事实上的惯行。（2）习惯的内容必须是确定的。（3）人们内心确信，自愿接受其约束。（4）不违背公序良俗。（5）具有合理性。（6）需为法律所未规定之事项。（7）必须经过法官的认可。这种认可，当然是在某一具体案件的审理程序中，法官明示或者默示地认可某一具体惯例（习惯）。四、结语龙源期刊网http://www.qikan.com.cn在前述案例中，百度设置的robots.txt，禁止360搜索引擎的蜘蛛程序访问百度网站、百度知道、百度百科和百度贴吧的任何内容。但360搜索依然抓取了百度网站及其相关栏目的网页快照，表明其蜘蛛程序绕过了其设置的robots.txt文件。百度指责360违反robots协议，侵犯著作权及不正当竞争。是否侵犯著作权不是本文讨论的范围，而对于违反robots协议是否涉及不正当竞争，由于此种行为不属于《反不正当竞争法》明确规定的不正当竞争行为，因此只能适用《反不正当竞争法》第2条第1“款规定：经营者在市场交易中，应当遵循自愿、平等、公”平、诚实信用的原则，遵守公认的商业道德。行业惯例历来被视为商业道德的一种，robots协议作为公认的行业惯例和商业规则，其司法拘束力如何就看其符不符合习惯可以被法官认可为具有法律约束力的习惯法的条件。robots协议自诞生之日起，就成为大多数网站避免被搜索引擎访问而使用的技术手段，而且也得到大多搜索引擎的遵循，使用时间将近20年，俨然成为互联网行业的惯行。虽只是一种自律性质的协议，但已被人们内心确信，自愿接受其约束。且robots协议保护网站数据和敏“”感信息、确保用户个人信息和隐私不被泄露，对人肉搜索这类侵犯用户隐私的行为树立了一道屏障，使得信息提供者可以选择是否将自己所有的信息公布于众，搜索引擎服务商也能高效快速的甄别信息获取的合法性，其合理性经过反复的实践已得到普遍认可。对robots协议的尊重以及对robots.txt的遵守，体现了一种有序竞争的商业道德，对互联网的和谐发展起着非常重要的作用，在法律滞后或者缺失的情况下，如果不遵守这种商业伦理和行业习惯，势必破坏整个行业的平衡。因此，robots协议满足了习惯的所有构成要件，在司法实践中可以强制要求相关搜索引擎遵守。参考文献[1]百度诉奇虎360索赔一亿元法院立案[EB/OL].法制日报网，2013年3月10号.[2]杨华权，曲三强.论爬虫协议的法律性质[J].法学论坛，2013年第4期.[3]王仲云.法律方法及其运用[J].山东大学学报，2004（6）.[4]梁慧星.民法解釋学[M].中国政法大学出版社，2003.[5]朱英，魏文享.——行业习惯与国家法令以1930年行规讨论案为中心的分析[J].历史研究，2004（6）.作者简介：吴水兰，女，中国政法大学2011级法律硕士学院，法律硕士（非法学），研究方向：知识产权。',)