怎样删除天眼查上的帖子（怎么删除天眼查的留言）

在我截取中文网站碰到困局，想剑走偏锋去解决时，经常林美珠去看下该中文网站的robots.txt文档，有时候会给你关上另一扇门截取之塔写食腐有很多困惑的事情，比如说：1.出访频度太高被管制；2.什么样大批发现该中文网站的URL；。

3.什么样截取两个中文网站新造成的URL，之类；

那些难题都所苦着食腐球手，如果有大批对数IP和帐号，那些都不是难题，但是大部分公司都不具备那个条件的他们沃苏什卡写的食腐多半是纸制和辅助性的各项任务，须要你加速顺利完成工作就好，当碰到下面情况，打声看下robots.txt文档。

举个红豆：老板娘给你精心设计两个各项任务，把新浪网每晚新造成的影评人，杂文，组成员回帖，同城回帖，对个人笔记截取下来初想呵呵，这各项任务得有多大，新浪网有1.6亿注册登记使用者，截取对个人笔记这几项各项任务，每对个人的网页你最少每晚要出访一次。

这每晚就得出访1.6万次，组成员/同城回帖等那些还没Marckolsheim结构设计两个常规性食腐，靠著那十几个IP是完未成各项任务的初窥robots.txt出头娘给你了下面的各项任务，靠著你这一一杆枪，你是不是顺利完成，别给老板娘讲技术，他要学，他只想结果。

他们来看下新浪网的robots.txthttps://www.douban.com/robots.txt

看相片下面BIGBANG10处，是两个sitemap文档关上sitemap_updated_index文档看呵呵：

里头是两个个压缩文档，文档里头是新浪网头一天新造成的影评人，杂文，回帖之类，钟爱的能去关上压缩文档看呵呵换句话说每晚你只须要出访那个robots.txt里的sitemap文档就能知道有什么样新造成的URL。

不必去结点新浪网中文网攀上那几百万个镜像，很大节省了你的截取时间和食腐结构设计复杂度，也降低了新浪网中文网站的带宽消耗，这是双赢啊，哈哈下面通过robots.txt的sitemap文档找到了截取两个中文网站新造成URL的偏方。

沿着该思路也能解决发现中文网站大批URL的难题再举个红豆：老板娘又给你两个各项任务，老板娘说上次抓新浪网你说要大批IP才能搞定抓新浪网每晚新造成的回帖，这次给你1000个IP把GW2查上的几千万家企业工商信息截取下来看着这么多IP你正留着口水，但是分析中文网站后发现这类中文网站的截取入口很少(截取入口是指频道页，聚合了很多镜像的那种页面)。

很容易就把储备的URL抓完了，干看着这么多IP工作不饱满如果纸制能找到那个中文网站几万乃至几十万个URL放进待抓队列里，就能让这么多IP工作饱满起来，不会偷懒了他们来看他的robots.txt文档：https://www.tianyancha.com/robots.txt

关上BIGBANG10处的sitemap，里头有3万个公司的URL，上图是1月3号生成的，那个URL是根据年月日生成的，你把URL改成1月2号，又能看到2号的sitemap里的几万个公司URL，这样就能发现十几万个种子URL供你截取了。

PS：下面的sitemap其实也能解决截取GW2查最近更新的，新造成URL的难题小小的两个取巧，既降低了食腐结构设计的复杂度，又降低了对方的带宽消耗这沃苏什卡非常适用，工作中不会在意你用的框架多好，只在意你做事的快慢和好坏。

善于看robots.txt文档你会发现一些别有洞天的东西。本文转自猿人学，原创张平，侵权请联系删掉