百度蜘蛛(Baiduspider)的referer

什么是百度蜘蛛的referer

百度蜘蛛的referer,是指当百度蜘蛛抓取某一个URL的时候,在HTTP头中带的Referer字段。请注意,这个定义和百度最近声明去除Referer中关键词数据没有任何关系。这次讲的是spider发起的HTTP请求,百度而去除的是用户发起的。如果百度蜘蛛抓取百度首页的logo,会发起这样的请求:

上面Referer字段很明确的表示了他是从www.baidu.com这个页面上发现并抓取了www.baidu.com/img/bd_logo1.png。而大家在服务器访问日志中也应该能看到[……]

Read more

SEO PUSH API(如何实现SEO元素的定制化和需求分离)

一般的大网站会划分产品,运营,销售,营销,研发等部门。其中几乎所有职能部门都会给研发部提需求,排期,上线,改BUG。营销中的SEO往往是被排在优先级靠后的位置,SEO的需求实现很慢,而出了BUG也比较靠后才会修复。为了解决这个问题,我提出一个“SEO PUSH API”的概念。 相信很多公司已经这么做了,比如的友情链接管理(全站每个页面都不同,不是说首页的),TDK的单独定制。我所描述的这个API,无非是将所有SEO需求都综合到一起了,没什么难理解的。

SEO PUSH API

好处有三点:

一,可以任意定制每个页面的SEO元素:

举个例子(临时找的,如果不准确请原谅),先说好几个前提:

  1. 我[……]

Read more