网站管理员为了提高他们搜索引擎中的排名,常常会采取一些方式,例如在网页上添加过多或与内容不相关的关键词。早期的搜索引擎,例如AltaVista和Infoseek,也为了防止这些手段对排名的影响,调整了自己的算法。
针对性搜索结果的营销价值很高,因此搜索引擎和搜索引擎优化服务提供商之间存在敌对关系的可能性。2005年,AIRWeb在一次年会上针对网络上的对抗性信息检索展开讨论,试图减少恶意网络内容提供商的影响。
一些公司通过聘请激进的技术人员,使其客户的网站在搜索结果中被禁止访问。《连线》杂志报道,一家名为“交通电力”的公司2005年因此被起诉。该公司被控使用高风险技术,但未向客户透露风险。后来,谷歌的Matt Cutts证实,谷歌确实禁止了交通电力及其部分客户的网站。
一些搜索引擎也涉足SEO行业,同时还担任SEO会议、聊天以及研讨会的赞助商和嘉宾。各大搜索引擎还提供了信息和指导,以帮助网站进行优化。谷歌推出了一个Sitemaps计划[死链接],帮助站长了解谷歌是否顺利索引他们的网站,以及提供Google上的网站流量数据。另外,冰工具箱则提供了一个提交Sitemaps以及Web提要的方法,并让用户了解其网站被自家搜索引擎抓取并建立索引的情况。
搜索引擎,如谷歌,必应,和百度,使用爬虫在其算法中找到相关搜索结果页面。从其他搜索引擎获取索引的网页不需要链接,因为它们可以被自动提交。部分搜索引擎,特别是雅虎,还提供付费提交服务,以固定费用或点击成本的方式保证页面被抓取。这种方案可以保证页面加入数据库,但不能保证页面在搜索结果中的具体排名。死链接:需要手动提交和人工审核的目录有两个:雅虎目录和开放目录项目。谷歌提供XML站点地图,用户可通过谷歌网站管理员工具自由创建和提交,以确保所有页面得到索引,特别是那些通过自动链接但未被发现的页面。
在爬取一个网站时,搜索引擎爬虫会关注一些不同的要素,但并非所有页面都能被检索。一个网站根目录中界面的间距会严重影响页面是否被爬取。此外,搜索引擎还可能在爬取某些类型的图型内容、Flash文档、可移植文本格式文档网站及其动态内容时遇到困难。