基于Google 搜索路径的课程信息垂直搜索引擎毕业论文

　　【摘要】课程信息垂直搜索引擎，即在课程信息这个特定的领域里，让用户能搜索到最精准

　　最全面的结果。本文利用 Google 发现“学校-学院-教师-课程”路径，利用 HTMLParser 进行

　　基于 WEB 页面结构的课程元数据信息抽取。为了做到信息的最准确，为每个学校的每个学 院都编写了包装器 (解析页面并将得到的元数据内容的抽取器)。在精确的课程领域元数据 信息支持下，本搜索引擎支持简单检索、元数据高级检索、导航等综合的检索功能。

　　关键词：垂直搜索;搜索路径;元数据抽取;包装器

　　Abstract

　　This paper proposes a Vertical Search Engine aiming to provide the most accurate and comprehensive results in the specific field of course information. After finding search paths by Google according to the

　　order "university - school - teacher - Course", we use HTMLParser to extract metadata information based on web page structures. Different wrappers (analyzing web pages and extracting metadata

　　information) for different schools are written for the sake of accuracy. By the support of precise

　　metadata information, this search engine supports integrated search functions, such as simple retrieval, metadata advanced search, and navigation.

　　Keywords: vertical search; searching path; metadata extraction; wrapper

　　1.引言

　　随着因特网(Internet)和万维网(World Wide Web)技术的发展，全球共享学习资料和 知识使得传统意义上的教育向远程教育和自主学习转变，这就需要提供对学习资源的全球共 享和在线访问，需要为资源的拥有者提供学习资料发布和共享的支持，需要为学习者提供获 取知识的有效手段。

　　但是，由于因特网具有较大的自由性，教课老师可以按照任意形式在因特网上发布其与 课程有关的信息;没有固定、标准的信息发布格式，且信息发布主要注重视觉效果，缺少语 义信息;信息源变化频繁，信息源的和产生没有规律性。因此，如何在海量的、多变的、缺 乏固定格式的因特网学习资源中查找需要的课程信息，并将这些信息快速而准确地抽取出 来、进行有效的整合并提供高质量的服务，具有重大的科研价值和现实意义。

　　课程信息垂直搜索引擎，通过对课程网页的元数据信息进行自动提取和结构化的组织， 使用户通过关键字搜索能得到最全面最精准的学习资源，为高校教师、学生等教育领域用户 提供更好的服务。

　　目前国外比较成功的垂直搜索引擎包括：专门提供法律信息的 LawCrawler (www.lawcrawler.com);专门提供家居信息检索服务 BuildingOnline(www.buildingonline.com) 等等。国内比较出名并且得到用户认可的垂直搜索引擎包括：生活信息搜索引擎酷讯 (www.kooxoo.com)，面向商业的天网商搜(sunsou.tianwang.com)，电视精品节目搜索平台 TV 猫(www.tvmao.com)以及面向餐饮的咕嘟妈咪(www.gudumami.cn)等等。

　　构建垂直搜索引擎，“爬虫”(spiders)是不可缺少的部分。目前，为了获得特定领域内的 相关信息，有两种流行的方法来确保爬虫抓取内容的相关性和质量：1. 让爬虫只抓取特定 的网域的内容。例如，在丰田汽车公司的网站 www.toyota.com 中抓取到的信息必定是和汽 车相关的;2. 根据领域的特定需要来过滤抓取到的内容。例如，编写1个程序来过滤数量 关键字没有达到1定数量的网页。

　　目前有3种爬虫能分析基于内容/基于链接的网页，并把对这些网页的分析与图搜索算 法相结合。1. 广度优先搜索的爬虫(breadth-first search spider) [1]，按照图遍历算法 BFS 来工 作。由于最重要的页面往往含有指向其他页面的大量链接，breadth-first search spider 在有效 组织的网站中有很高的抓取效率和准确率。2. 页面权重爬虫，结合了基于链接的分析与基

　　于遍历的算法，采用了 Junhoo Cho 和他的实验室成员发明的算法[2]。3. Hopfield Net Spider，

　　将 Web 看作为1个加权单层神经网络，然后利用包含激活扩散算法的爬虫来完成信息发现 和检索的工作[3,4]。

　　命名实体识别(Named Entity Recognition，NE)作为信息抽取中的子任务，其主要目的 是从文本中检测出专有名词并进行分类，如人名、地名、公司名、日期等。很多知名研究机 构都致力这方面的研究，多个国际会议也举办了命名实体识别的评测活动，如 MUC[5]、 CoNLL[6]、ACE[7]、SIGHAN[8]等。