DigExt

DigExt【DigExt】DigExt是IE5的“允许脱机阅读”模式时发出的特殊标记 。DigExt虽然并非是一个爬虫程式,但可能像爬虫一样造成大量的伺服器访问 。
DigExt由于设计的失误,离线浏览功能被许多用户无意中错误地使用为每天抓取整个站点,这个特性将使用伺服器允许的最大连线数,因而会“成功”阻挡其他用户的使用,直到抓取结束 。因此,很多站长封闭了这种形式的浏览器访问 。以上问题仅存在于IE5中 。微软已经承认了发行这种浏览器功能是个失误,并在其后版本(IE 5.5以上)进行了修正,转而採用一种强度不高的预读(read-ahead)算法 。範例信息HTTP User Agent: Mozilla/4.0(compatible; MSIE 5.0; Windows 98; DigExt) Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt) Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt; DTS Agent Mozilla/4.0 (compatible; MSIE 5.00; Windows 98; DigExt)