中国科学技术信息研究所--国家工程技术数字图书馆

[学位论文] 陈志伟中山大学 2007年硕士导师: 纪庆革共51页

摘要 : 随着Internet上信息的快速增长，各种与Web有关的应用应运而生，其中基于Web的信息采集技术是当今研究的热点问题。然而，随着人们对各项信息服务要求越来越高，传统的基于整个Web的信息采集也越来越力不从心，它无法及时地采集到足够的Web信息，也不... 展开

关键词 : 信息采集 Web 信息抽取信息采集模块

2. 专利信息采集及分析系统设计与开发

[学位论文] 王伟琼浙江大学 2008年硕士导师: 孙守迁共87页

摘要 : 专利信息资源是首选的竞争情报资源，它蕴含着巨大的知识存量。充分挖掘和利用专利信息有助于技术人员改进现有技术，发现新的技术领域。然而当前专利数量急剧增长，依靠人工手段寻找有用专利信息，并进行快速有效的专利分析，犹如大海捞针般费时费力... 展开专利信息资源是首选的竞争情报资源，它蕴含着巨大的知识存量。充分挖掘和利用专利信息有助于技术人员改进现有技术，发现新的技术领域。然而当前专利数量急剧增长，依靠人工手段寻找有用专利信息，并进行快速有效的专利分析，犹如大海捞针般费时费力。国际上专利信息采集及分析的研究和相关软件很多，但大多数只关注英文专利，语种局限性很大；国内还没有针对本国专利的专利信息采集软件；在专利分析方面已经有很多研究成果，但都没提供针对专利无结构数据的分析功能。因此，本文以中国大陆地区专利为研究对象，研究专利信息的采集及分析技术。考虑到专利信息深藏于Web专利库中，一般的信息采集技术仅能获取公开可索引的数据，而无法深入Web后台数据库中提取信息。因此，采用包装器模型，设计开发专利信息的采集系统。规则库是包装器模型中最为关键部分，本文采用人工解析网页方式创建规则库，同时利用VC#中的Webbrowser控件调用规则库，自动解析网页提取数据。在信息采集过程中，由于网络的不稳定，会造成采集的信息不完整、采集进度难以控制，因此采用了定时刷新机制、网页下载完成事件及多线程机制等解决方案。此外还设计了线程调度中心，以解决没有控制机制的多线程程序容易陷入死锁的问题。对文本进行聚类分析，是专利分析的有效手段。本文探讨了基于文本聚类的专利信息分析技术。发明和实用新型等专利文献文辞冗长、文字晦涩，因此，首先研究专利词汇处理技术，提出了基于则的新词识别方法和新词释义方法。在此过程中，涉及频繁的词典访问，词典数据结构选取的好坏直接决定分析效率，本文提出Hash+索引+Map(set)的存储方法，提升了时间和空间上的效率。此外，针对技术专利文献结构规范的特点，还研究了专利文献的结构化分析技术。最后，依据“具有大量相同概念的文档是相似的”这一判断，采用文本聚类技术进行处理，借助凝聚算法和SOM网络完成专利的聚类过程。最后，设计实现了专利信息采集及分析系统，并以打火机为例，给出了专利信息采集和分析实例。收起

关键词 : 专利信息采集

3. 信息采集中的高效多策略方法研究

[学位论文] 应钦北京邮电大学 2008年硕士导师: 钟义信共52页

摘要 : 搜索引擎在现实生活中应用非常广泛。近年来，随着INTERNET网规模的不断扩大，作为搜索引擎核心部分的信息采集的效率越来越受到人们的关注。由于，信息采集的采集效率跟网络结构息息相关，所以，要提高信息采集的效率，很好的分析和利用目前网络的结... 展开

关键词 : 信息采集多策略

4. 深度web采集系统的设计与实现

[学位论文] 宋宇电子科技大学 2012年硕士导师: 羊恺共82页

摘要 : 随着互联网的不断发展以及互联网内容的爆炸式增长，人们开始关注这些海量信息背后隐藏的内容，也就是对web信息的数据挖掘，作为数据挖掘的基础----数据采集，则直接决定了数据挖掘的质量。然而，已有的信息采集系统，在某些方面还不够完善，如对使用... 展开随着互联网的不断发展以及互联网内容的爆炸式增长，人们开始关注这些海量信息背后隐藏的内容，也就是对web信息的数据挖掘，作为数据挖掘的基础----数据采集，则直接决定了数据挖掘的质量。然而，已有的信息采集系统，在某些方面还不够完善，如对使用 AJAX技术的动态页面支持较差，以及没有有效应对服务器的反抓取措施等。本文提出一种使用 JAVA语言开发的深度 web信息采集方案，该方案包括采集策略配置、一般/深度采集、自动代理技术，以及采集内容的索引和后续处理等一系列技术，初步实现了一个简要的深度 web信息采集系统；并以百度搜索、网易新闻（包括评论）、京东商城作为测试网站，完成了该系统测试工作。本系统基于现有的 web信息采集技术，首先将深度采集所涉及的各种策略和行为整合为对应的网络模板，再基于开源的HtmlUnit模块实现相关行为，完成深度采集，最终将得到的数据进行字段提取、构建索引并写入数据库，完成整个采集过程。同时，系统提供了友好的用户界面，方便用户创建、管理采集任务，以及实现对已采集内容的检索。在介绍深度web信息采集系统设计的基础上，本文详细阐述了网站模板编辑/管理模块、一般页面下载模块、深度页面采集模块、网页去重模块、自动代理模块、网页索引模块以及字段抽取模块的设计和实现。由于本系统使用Java语言开发，在保证界面友好的前提下，整个系统具有良好的跨平台性，既可以在Windows下运行，也可以在Linux下运行。该系统将轻量级无界面web测试引擎HtmlUnit引入到信息采集中，使得系统可以支持更多网站的动态页面采集。同时，系统的插件化设计使得其具有良好的可扩展性和二次开发性，用户可以通过添加模板以采集所需的信息，也可以通过加载其他功能模块（数据库接口、采集引擎）来支持更大规模的数据采集，或者对动态页面的更好解析，真正实现了系统的易用性、高效性、扩展性。收起

关键词 : 信息采集数据挖掘 JAVA语言 web信息采集网站模板管理模块

5. 个性化的Web信息采集技术研究

[学位论文] 吴丽辉中国科学院计算技术研究所 2005年博士导师: 白硕共111页

摘要 : 随着Web信息的爆炸性增长，如何快速、准确地从浩瀚的信息资源中寻找到所需信息已经成为困扰人们的一大难题。传统搜索引擎技术满足了人们一定的需要，但由于其通用的性质，仍然不能满足不同背景、不同目的和不同时期的用户个性化的需求。个性化Web信... 展开随着Web信息的爆炸性增长，如何快速、准确地从浩瀚的信息资源中寻找到所需信息已经成为困扰人们的一大难题。传统搜索引擎技术满足了人们一定的需要，但由于其通用的性质，仍然不能满足不同背景、不同目的和不同时期的用户个性化的需求。个性化Web信息采集就是针对这个问题而提出来的。个性化Web信息采集的研究目标在于充分利用用户的个性化信息，通过用户兴趣制导或与用户交互等灵活手段来采集’Web信息，充分利用网络信息，以更好地服务于用户的个性化需求。围绕个性化Web信息采集系统PSearch，论文的主要工作包括以下几个方面： (1)用户兴趣个性化信息的获取。分析了用户兴趣个性化信息的收集和更新，重点从用户需求扩展、特征选择，以及文本聚类分析三个方面来做了分析和实验。当捕获用户当前的浏览行为时，根据用户当前浏览内容的计算结果，选择那些跟用户需求关键词相似度最大的词扩展进来，从而保证了扩展词的质量。实验结果表明，通过这样的需求扩展确实获得了用户的当前个性化兴趣。隐式收集用户兴趣在本质上与文本分类中的特征选择问题相似。隐式收集用户兴趣可以借鉴文本特征选择方法来实现用户兴趣的收集。实验结果表明在用户兴趣个性化信息的获取中，信息增益方法效果较佳。如果能够对用户浏览的页面聚类，就能够得到用户具体感兴趣的主题。隐式收集用户兴趣可以借鉴文本聚类分析来实现用户兴趣的收集。实验结果表明在用户兴趣个性化信息的获取中，Bisecting K-means是一个合适的选择。 (2)待采页面的选择。根据页面在Web上的分布特征，分析了个性化Web信息采集系统PSearch的种子URL设置、页面采集过程、已采页面与用户兴趣的相关度判定和待采URL与用户兴趣的相关度预测，提出了PSearch页面选择算法。实验结果表明PSearch页面选择算法的采集准确性要明显优于广度优先算法。 (3)相关度的判定。借鉴了信息检索中的分类过程，实验结果表明，在PSearch的相关度判定中kNN的性能较佳。提出了PSearch页面推荐算法。较之Google返回的检索结果，PSearch推荐给用户的页面和用户的当前兴趣更相关，实现了为用户提供个性化服务的目的。 (4)个性化Web信息采集的性能优化。分别从优雅采集、页面采集、页面刷新、分布式采集等几方面详细分析了PSearch的性能优化。在页面采集中分析了多线程、DNS缓存、持续连接、重复网页、采集器陷阱和网页的存储。收起

关键词 : 个性化服务 Web信息采集信息采集系统搜索引擎

6. 基于WebGIS的城市商业网点信息采集研究

[学位论文] 廖红娟华东师范大学 2005年硕士导师: 徐建华共71页

摘要 : 　　本文在WebGIS的支持下，研究了城市商业网点信息采集网络化实现的原理机制、数据标准、核心技术以及实现方案。在研究这些问题的基础上，结合上海市商业网点信息采集WebGIS系统的建设实例，采用java相关技术及组件技术，具体实现了城市商业网点信... 展开

关键词 : 城市商业网点信息采集 WebGIS 商业网点信息采集

7. 大学校友信息采集系统化研究

[学位论文] 李易飞大连理工大学 2016年硕士导师: 张德祥共73页

摘要 : 校友是大学的特殊资源，更是一所大学得以发展的特殊资本，尤其是优秀校友，他们给大学带来的不只是声誉、生源方面的暂时的提升，更是影响大学发展的综合性、系统性、永恒性要素，因此世界知名高校纷纷将大学校友资源当成大学发展永不枯竭的财富。 ... 展开校友是大学的特殊资源，更是一所大学得以发展的特殊资本，尤其是优秀校友，他们给大学带来的不只是声誉、生源方面的暂时的提升，更是影响大学发展的综合性、系统性、永恒性要素，因此世界知名高校纷纷将大学校友资源当成大学发展永不枯竭的财富。大学从校友工作时间上来看，我国大学校友工作的发展可以追溯至19世纪末期，但是直到上世纪80年代实质性的校友工作才逐渐展开，在进入90年代后校友工作在我国的大学内被逐步普及起来。近年来大学校友更是成为了我国高等教育界重点关注的对象之一，大学纷纷开始着手建立校友工作的相关组织机构，并且快速推进校友资源开发项目。但是在快速发展的校友资源开发中，我国很多大学却忽略了处于基础地位的校友信息采集，以至于当前我国大学校友工作组织还没有一套较为完整且严谨的校友信息收集整合体系。很多的大学没有形成科学的校友信息采集理念在指导校友信息采集，从信息采集方法和效果上回体现出较强的无序性，急需建立一套系统化的校友信息采集机制来支持大学校友工作的进一步发展。想要在校友工作上与世界领先的大学比肩，我国大学还有很长的路需要探索。本文首先将借鉴政府信息管理中的三个信息采集模型，通过对其进行拆分提取其中能够为大学校友工作所用的理念进行特征、要素整合;其次将以我国具有代表性的综合性研究大学X大学作为研究对象，从三个维度对其校友信息采集的全过程进行分析;最后引入美国校友工作具有代表性的公立大学——奥尔巴尼大学进行案例的比较分析，总结出能够被我国其他大学学习的经验，并构建出一套适合我国国情的系统化校友信息采集体系。收起

关键词 : 高等院校校友资源信息采集

8. 远程主机信息采集系统的设计与实现

[学位论文] 赵迪电子科技大学 2010年硕士导师: 任立勇共67页

摘要 : 随着局域网技术的不断发展,由其带来的管理问题愈加严重。系统架构不合理、内网软硬件资源管理不透明、内网服务器压力过大、病毒木马的肆虐传播等诸多问题越来越引起各公司企业的重视。通过采集分析内网主机信息数据,可以了解整个局域网以至整个广域... 展开随着局域网技术的不断发展,由其带来的管理问题愈加严重。系统架构不合理、内网软硬件资源管理不透明、内网服务器压力过大、病毒木马的肆虐传播等诸多问题越来越引起各公司企业的重视。通过采集分析内网主机信息数据,可以了解整个局域网以至整个广域网下的运行态势、网络安全状况、用户行为模式等信息,为网络的运行和维护提供了重要依据和参考价值。因此,本文设计实现了远程主机信息采集系统,通过主动管理获取内网下主机设备信息,进而采取相应策略进行维护管理。首先,本文以网络管理国内外发展背景和现状为理论背景,介绍了网络管理的重要性及其研究意义,阐明了目前广泛使用的信息采集方式以及采用分布式系统管理的便捷之处。然后对现今应用最广泛的Windows ManagementInstrumentation,WMI网络管理规范以及Simple Network Management Protocol,SNMP网络管理标准做了深入剖析,对WMI和SNMP的工作原理及其体系框架进行具体解释,分析了WMI和SNMP在信息采集方面的特点和优势。并且深入研究了在Java平台下使用WMI/SNMP的方法,即使用Jacob组件访问WMI,SNMP4J组件访问SNMP以及系统被管主机相对应的系统配置工作。其次,本文进行了基于WMI/SNMP的远程主机信息采集系统的功能描述与层次架构设计,对系统进行了基本模块的划分,将本系统划分为管理端模块、设备配置模块、轮询模块、采集模块、存储模块、告警模块等等,其中着重分析了采集模块的具体实现过程,相关接口函数也简单有所介绍。最后,通过实际测试,本系统获取远程主机的相关信息继而进行整理分析,以WEB界面的形式进行展示,对超过阈值范围的数据信息向管理员告警。系统采用非agent模式,多线程技术在一定程度上提高系统安全性和实时性。结果表明,应用WMI/SNMP进行管理,有助于减轻系统管理员的工作压力,提高工作效率,具有较强的实用性和通用性。本系统的优点为容易搭建,扩展性好。收起

关键词 : 信息采集 WMI SNMP Java

9. 自然人涉税信息管理制度的国际比较与借鉴

[学位论文] 王娜中南财经政法大学 2018年硕士导师: 李波共64页

摘要 : 法人涉税信息管理和自然人涉税信息管理是税收信息管理的两条主线。2016年全面“营改增”后,地税部门税收管理工作重点由营业税转到个人所得税和财产税上,征管对象的重心由法人纳税人转向自然人纳税人。目前,我国法人涉税信息管理体系相对健全,而自然... 展开法人涉税信息管理和自然人涉税信息管理是税收信息管理的两条主线。2016年全面“营改增”后,地税部门税收管理工作重点由营业税转到个人所得税和财产税上,征管对象的重心由法人纳税人转向自然人纳税人。目前,我国法人涉税信息管理体系相对健全,而自然人纳税人的数量极其庞大,近几年呈激增趋势,自然人涉税信息管理存在体系不完整、制度缺失、管理手段落后等问题,是税收信息管理的短板。因此建立自然人涉税信息管理体系对加强自然人税收征管以及提高征管效率具有重要意义。本文以自然人涉税信息管理的主要环节,即信息采集和信息共享,作为主线展开研究。文章首先展开理论层面的研究,梳理相关文献,总结国内外学者对自然人涉税信息管理的相关研究,以信息不对称理论作为本文的核心理论,分析了信息不对称理论与自然人税收征管的联系,从理论上分析我国建立自然人涉税信息管理制度的必要性;其次,介绍了国内和域外主要国家关于自然人涉税信息管理的立法现状,找出存在的不足,总结我国现阶段自然人涉税信息管理的采集和共享环节存在的主要问题;再次,从国际比较的视角,展开本文的核心研究内容。该部分主要就自然人涉税信息管理的釆集和共享环节,系统地比较介绍OECD成员国代表的发达国家和非OECD成员国代表的发展中国家的实践情况,并作出得失评价;最后,在国际比较的基础上,总结对中国的借鉴意义,找出适合中国国情的自然人涉税信息管理体系建设思路,从强化税务机关获取涉税信息的能力、建立涉税信息共享机制、优化纳税服务等角度提出建立我国自然人涉税信息管理制度的政策建议。本文以国际比较作为研究视角,全面剖析国际上高效的现代化的自然人涉税信息管理体系。一方面能够为进一步完善自然人涉税信息管理体制建设提出政策性建议,满足我国自然人税收征管的客观要求,而另一方面也为我国个人所得税综合模式改革、房地产税改革奠定基础,使自然人税收管理愈加国际化、高效化。全面掌握自然人涉税信息,构建自然人涉税信息管理制度能够加快我国向直接税转变的进程,加快我国的个人所得税、房产税改革进程,减少与欧美发达国家的税制差异,促进国际税收征管合作,加强自然人涉税信息共享,提高涉税信息透明度,降低自然人纳税人的逃避税空间。收起

关键词 : 涉税信息自然人信息采集

10. Web伪原创内容自动生成机制与防范

[学位论文] 宗乾进华南师范大学 2010年硕士导师: 邓顺国共53页

摘要 : 随着网站开发技术的不断进步，拥有网站成了一件非常简单的事情。而利用web信息采集技术，在短时间内生成多个网站，已经成为一部分中国个人网站主获取诸如Google Adsense、百度等广告联盟收入的惯用手段。而web信息采集技术的滥用，带来一系列问题。... 展开

关键词 : 原创内容伪原创信息采集网站采集