如何深度搜索网页(怎么深度搜索)

如何深度搜索网页,怎么深度搜索

内容导航：

搜索引擎爬虫在不知道域名的情况下如何搜索到网站

怎样在百度深度搜索

如何搜索网页

深度搜上可以搜索到的文献资料全面吗

一、搜索引擎爬虫在不知道域名的情况下如何搜索到网站

这个做不到吧？我们以在国内最主要的百度爬虫为例。你有一个新网站，你希望他来抓取你，需要先到百度站长平台提交你的网站。这就要满足一些要求，比如有域名，域名要完成备案。百度爬虫通过多种维度对你的网站进行评级，来决定抓取的频次，评级越高越会经常来抓取你的网站。所以没有域名没有完成备案应该是不满足最基本的要求的。还有，那你现在只能用ip访问网站呗，等以后有了域名，又改用域名访问导致链接变化，这样很不好会掉权重的。

这个问题初看答案是不可能的，不知道域名怎么爬呀，那我们先来分析下，搜索引擎是怎么爬取数据的。

首先，我们讲下正常的爬取。

一般，你的网站想要被搜索引擎录入，你就会在网站跟目录，放一个文件，有这个文件，就相当于在饭店的一个清单，上面列出了你想要给搜索引擎录入的一些目录，你也可以说，哪些目录不能检索，搜索引擎就不会去检索这些目录了，文件格式可以看下示例

User-agent: Googlebot

Disallow: /

Crawl-delay: 5

Disallow: /bin/

Disallow: /tmp/

Sitemap: /

上面这个表示，Google你就另来录入我了，其它引擎可以，并且不要去看我的bin和tmp目录，且检索间隔是5s

但我怎么让搜索引擎知道我的网址地址呢？早期，搜索引擎有提供一些入口，做为网址的录入，站长如果想在搜索引擎上显示自己的网站，会自己先行去录入，这样可以为自己的网站导入流量。现在基本上，搜索引擎会有专门的渠道获取已经开通域名，然后统一拨测一下，就可以获取取，就可以录入网址了。

你说这世界域名千千万，它不可能都爬一次吧，其实，这个校验速度还是很快的，另外，别忘了，搜索引擎每天基本都要对链接进行维护，因为，链接可能存在变更和失效的情况。

当然，还有一些是通过搜索引擎的其它技术来实现的，比如在解析一个网页时，这个网页如果有外链地址的话，爬虫会把这些URL放到URL池中，再进行深度遍历，继续爬取。

如果你的网站没有域名，只有IP，那还能被录入吗？理论上，IPV4的最大组合是2^8^4个，再刨去10,172,198等非公用IP，总共不超过40亿个，看起来很多，但对计算机来说，并不多。不过，这样检索非常的消耗资源，一般是不考虑的。

所以说，即使搜索引擎爬虫不知道域名，也是可以通过穷举法来搜索的，但其实不需要这么麻烦，通过注册局的数据，完全可以知道每天新增多少域名，减少多少域名，再进行遍历一次，查找，就比较简单了。

当然，也还是有引擎搜索不到的。移动互联网的App时代，就创造了这种信息孤岛，他们已经不靠搜索引擎引流，所以就不在乎搜索引擎是否能搜索到他们。

域名服务商提供的，你都知道是爬虫了，初期就26个字母拼接域名去爬呗，通了就记录，没通就继续爬，全世界最多也就几千万个域名，对服务器爬虫来说小意思，周期性的爬爬就好，以后对已经爬到的域名检验一下就可以了！

这个事情我做过，申请了一个新域名，然后网站发布了，如果你不告诉任何人，那你在百度上是不会找到这新网站的，因为这个新域名就是一个孤岛。你的描述说过一段时间，就会被搜索引擎收录了，这是因为你肯定在某些地方留下了网址，比如往百度提交，过一段时间后你的网站就可以在百度搜索到了。

二、怎样在百度深度搜索

搜索技巧，最基本同时也是最有效的，就是选择合适的查询词。选择查询词是一种经验积累，在一定程度上也有章可循：表述准确
百度会严格按照您提交的查询词去搜索，因此，查询词表述准确是获得良好搜索结果的必要前提。
一类常见的表述不准确情况是，脑袋里想着一回事，搜索框里输入的是另一回事。例如，要查找2004年国内十大新闻，查询词可以是“2004年国内十大新闻”；但如果把查询词换成“2004年国内十大事件”，搜索结果就没有能满足需求的了。另一类典型的表述不准确，是查询词中包含错别字。例如，要查找林心如的写真图片，用“林心如写真”，当然是没什么问题；但如果写错了字，变成“林心茹写真”，搜索结果质量就差得远了。不过好在，百度对于用户常见的错别字输入，有纠错提示。您若输入“林心茹写真”，在搜索结果上方，会提示“您要找的是不是:
林心如写真”。查询词的主题关联与简练
目前的搜索引擎并不能很好的处理自然语言。因此，在提交搜索请求时，您最好把自己的想法，提炼成简单的，而且与希望找到的信息内容主题关联的查询词。
还是用实际例子说明。某三年级小学生，想查一些关于时间的名人名言，他的查询词是“小学三年级关于时间的名人名言”。这个查询词很完整的体现了搜索者的搜索意图，但效果并不好。绝大多数名人名言，并不规定是针对几年级的，因此，“小学三年级”事实上和主题无关，会使得搜索引擎丢掉大量不含“小学三年级”，但非常有价值的信息；“关于”也是一个与名人名言本身没有关系的词，多一个这样的词，又会减少很多有价值信息；“时间的名人名言”，其中的“的”也不是一个必要的词，会对搜索结果产生干扰；“名人名言”，名言通常就是名人留下来的，在名言前加上名人，是一种不必要的重复。因此，最好的查询词，应该是“时间名言”。试着找出下述查询词的问题，并想出更好的能满足搜索需求的查询词：所得税会计处理问题探讨周星驰个人档案和所拍的电影根据网页特征选择查询词
很多类型的网页都有某种相似的特征。例如，小说网页，通常都有一个目录页，小说名称一般出现在网页摘要中，而页面上通常有“目录”两个字，点击页面上的链接，就进入具体的章节页，章节页的摘要是小说章节名称；软件下载页，通常软件名称在网页摘要中，网页正文有下载链接，并且会出现“下载”这个词。等等。
经常的搜索，并且总结各类网页的特征现象，并应用查询词的选择中，就会使得搜索变得准确而高效。例如，找明星的个人资料页。一般来说，明星资料页的摘要，通常是明星的名字，而在页面上，会有“姓名”、“身高”等词语出现。比如找林青霞的个人资料，就可以用“林青霞
姓名 身高”来查询。而由于明星的名字一般在网页摘要中出现，因此，更精确的查询方式，可以是“姓名 身高
intitle:林青霞”。Intitle，表示后接的词限制在网页摘要范围内。这类主题词加上特征词的查询构造方法，适用于搜索具有某种共性的网页。前提是，您必须了解这种共性（或者通过试验性搜索预先发现共性）。更多的在/search/

三、如何搜索网页

大学的电脑老师布置的在web上有数以百万计的网页，如何才能找到所需要的网页呢？有以下几种方法：

1、可以在地址栏中键入网页的地址。

在地址栏中，键入要转到的地址。
然后按“转到”或“Enter”键。
如果以

前访问过这个站点，IE将在键入网址时给出一个最匹配地址的建议，该地址在

地址栏内反白显示。

2、可以使用搜索引擎在web进行查找。

所谓搜索引擎就是被设计来将网页按主题进行分类和组织的特殊站点。

Internet Explorer中包含了一项内建的搜索功能，可通过单击按钮，访问大量

流行的搜索引擎（比如新浪、雅虎、搜狐），并将结果显示在浏览器的窗口

中。

具体操作步骤如下：

（1）单击“搜索”按钮。

（2）浏览器窗口会自动分为两个窗格。

（3）在搜索窗口中，从“选择服务商”下拉列表中选择一个搜索引擎。

（4）在搜索文本框内输入要搜索的词，然后按回车键。

（5）搜索结果会显示在搜索窗口内。
单击任意一个链接就会在浏览器的右

窗格内直接进入该网页。

（6）要隐藏搜索窗口，再次单击“搜索”按钮。

直接查找；

或者，‘’‘’等等。
查找关键词。
（比如，你想找杭州的茶叶，就打入‘茶叶’，‘杭州’。
）

四、深度搜上可以搜索到的文献资料全面吗

答：据了解，深度搜是集中收录了4万种中英文权威学术期刊、6000万篇专业学术论文，专注提供学术文献、专利文摘、百科知识、学习教育以及医药健康等相关内容查询的搜索引擎。目前正逐步加入生活方面的知识。该搜索引擎一经开放使用就受到用户的广泛好评，在用户使用过程中，其搜索结果的专业性以及精准性之高成为目前最大的优势。