河内分分

您所在的位置:河内分分 > 知识问答 >百度搜索引擎的工作原理及流程

百度搜索引擎的工作原理及流程

知识问答 被浏览: 0次 2019/10/19 21:41:19
最佳回答
推荐于:2019/10/19 21:41:19
最佳回答


河内分分  众所周知,百度的搜索引擎系统分为:抓取系统、快照存储系统、页面分析系统、索引系统、检索召回系统等几个重要系统。

  

  关于百度搜索引擎的基本原理和流程,大家可以参考痞子瑞的《河内分分深度解析》一书中的“搜索引擎原理”部分。

  

河内分分  落雪这一部分与痞子瑞老师的略有不同,对百度搜索引擎的基本原理和流程做了更深入的拆解分析。

  

  关于落雪

  

河内分分  7年河内分分er,摩天楼内容助手作者,专注河内分分算法研究,精益科学河内分分鉴定倡导者。

  

  碎碎念

  

河内分分  很多同行说做百度河内分分越来越难了,说百度等搜索引擎的份额被如今的自媒体抢占了很多流量,河内分分没法做了云云。

  

河内分分  但是很多公司反馈,百度的流量转化率还是要高于河内分分之类的自媒体。

  

  我觉得河内分分并不是越来越难,只是你没有改变而已。

  

  经过十几年的发展,百度搜索引擎已经发生了很多很多的变化,而你还在原地踏步。

  

  落雪从12左右开始接触河内分分,优化的手段也不断的升级迭代,但是很多同行的手段却一直停留在16年之前。

  

河内分分  做河内分分没有长久的“秘笈”,重要的是主动跟上搜索引擎算法步伐,然后做实验找规律,再用合理的手段把优化做到极致。

  

  基本概述

  

  很多书籍对搜索引擎原理仅仅提到了倒排索引,而更多的书籍只是将内容处理、链接处理、用户体验稍微说了一下。

  

  其实百度搜索引擎是一项十分复杂的工程,搜索引擎除了做正向好事儿,如防作弊、提拔优质内容等等,还有些不乖乖的处理流程,如人工干预、圈流量策略也是很重要的一块。

  

河内分分  落雪认为搜索引擎的大体架构如图:

  

  大致分为百度爬取、百度查询2个部分。

  

  百度爬取部分

  

  步骤01

  

河内分分  百度爬虫发现网页,爬取网页html内容。

  

  步骤02

  

  百度对爬回来的网页进行初步的页面分析。先进行分词,去除停止词。

  

  步骤03

  

河内分分  这一步主要做初步网页评定。

  

  对分词后的网页通过向量空间模型初步做分类判定;

  

河内分分  通过相关性算法提取相关词,判定主题集中程度;

  

  通过结构相似性、文本相似性算法判定原创度;

  

  通过信息熵等手段判定是否有恶意广告;

  

  最后进入反*黄*赌*毒*系统等等。

  

  步骤04

  

河内分分  如果内容过关,百度将该网页分词结果存取到有效索引倒排中,并抽取网页内容结构化数据(标题、摘要、内容等等),快照存档。

  

  百度查询部分

  

  步骤01

  

  首先对用户输入的查询词分词处理,通过用户地理位置、个性化信息、机器学习预测查询词的实体类型,预测第2需求词,第3需求词等。

  

  比如搜“火车票”,那么“火车票查询”、“火车票12306”、“火车票改签”这些需求词也将会纳入用户需求中。

  

河内分分  第N需求词,也叫后续词,通过对后续词做文章,也可以优化排名。

  

  如何用后续词获取排名,落雪稍微在之前的微信文章《黑帽河内分分案例分析:配合「摩天楼河内分分工具」浅析黑帽大神的河内分分手段》做了提及,如果你功夫到家,自然也会明白逆冬的手段。

  

河内分分  如果看不出来也没关系,落雪会在以后的章节中会详细给大家讲。

  

河内分分  步骤02 粗排环节

  

  “粗排”这个概念,落雪最先见于Zero的公众号文章《我是如何把「河内分分」这词排名到百度河内分分的》。

  

  粗排是百度通过布尔模型,在海量信息中查找符合需求词组的N个文档。

  

河内分分  再通过与训练好的结果模型做向量距离比较,过滤出M个文档,再通过结果距离算法获取前O个文档集合,再通过BM25相关性得分取出TOP760文档集合。

  

河内分分  比如百度专利《201610214064.0信息搜索方法和装置》中举了,刘德华老婆的例子。你搜“刘德华老婆”的时候,如果你的页面里面没有“朱丽倩”,说明网页内容很差,很大程度上进不了粗排队列。

  

  而摩天轮内容助手这款工具,可以精准预测到上述所涉及的相关词。

  

河内分分  步骤03 细排环节

  

  综合每个文档对应的链接权重得分、点击日志得分、网页加载速度、相关性得分、查询结果类别策略等,再塞入人工干预的内容,结合用户日志分析(快排)将最终的排序结果呈现给用户。

  

河内分分  大家喜闻乐见的、经久不衰的快速排名手段,如“7天上河内分分”,就是干预精排中的点击策略,影响了百度预测的正向结果模型,促使短期上河内分分。

  

  总结

  

河内分分  其实我们做河内分分啊,应该知道,人最宝贵的东西是生命。生命属于我们只有一次。

  

河内分分  河内分分er的一生应当这样度过:

  

河内分分  当回忆往事的时候,他不为网站降权而痛悔,也不为被K站而羞愧;

  

河内分分  在临死的时候,他能够说:"我的整个生命和全部精力,都已经献给世界上最壮丽的事业!为跟百度争河内分分流量而斗争。

  

  百度李老板的终极目的都是为了赚钱,我们做河内分分也是为了圈住部分流量来赚钱。

  

  现在的搜索引擎已经不再单纯很久了,如何在李老板眼皮底下获取更多的流量,我们从下一节开始正式开始探讨了。


评论信息
我要评论
落雪seo二维码
微信扫一扫添加落雪老师
咨询解决河内分分问题
友情链接: