企业舆情监测系统

2024-07-27

企业舆情监测系统(精选8篇)

1.企业舆情监测系统 篇一

舆情监控,整合互联网信息采集技术及信息智能处理技术通过对互联网海量信息自动抓取、自动分类聚类、主题检测、专题聚焦,实现用户的网络舆情监测和新闻专题追踪等信息需求,形成简报、报告、图表等分析结果,为客户全面掌握群众思想动态,做出正确舆论引导,提供分析依据。

天互云镜舆情监控系统的大致工作流程分为如下三个部分:

1.制定危机预警方案。针对各种类型的危机事件,制定比较详尽的判断标准和预警方案,以做到有所准备,一旦危机出现便有章可循、对症下药。此步骤主要是确定好监控的目标网站和过滤关键词。

2.密切关注事态发展。保持第一时间知悉事态发展,加强监测力度。这个可以通过第一时间大量采集、汇总各种互联网上的信息。

3.及时传递和沟通信息。即与舆论危机涉及的政府相关部门保持紧密沟通。建立和运用这种信息沟通机制,已经成为网络舆情管理部门的重要经验。以上海为例,无论在涉日舆情、地铁调价,还是城管打人等“网络热点舆情”处理上,各部门协同作战、相互配合、共同商议,判断危机走向,对预案进行适当修正和调整,以符合实际所需是危机应对的重要措施。

2.企业舆情监测系统 篇二

关键词:网络舆情,监测,预警

0 引言

近年来, 随着“人人都有麦克风、人人都是微媒体”的时代到来, 网络舆情作为一个新兴社会现象, 成为社会各界综合反映公司企业管理、优质服务、安全生产、依法治企等工作成效的重要媒介, 同时也成为影响公司品牌建设水平、展现公司承担社会责任的重要评价指标[1]。

目前, 国网甘肃省电力公司所属各单位均已开展舆情管控工作, 然而, 因为人员编制的问题, 大部分单位舆情管理人员为兼职工作、劳动量大、工作效率不高。通过电网企业网络舆情在线智能监测系统的设计与应用, 有效减轻舆情管理人员的工作量, 抢占舆情管控时机, 及时开展危机公关, 有效维护公司品牌形象, 提升公司品牌建设和品牌维护工作水平。

1 系统设计

1.1 系统总体架构

电网企业网络舆情在线智能监测系统的架构是在一个通用的搜索引擎基础上扩展而成的, 同时体现了网络舆情在线智能监测系统与通用搜索引擎系统的关系。系统总体架构如图1所示。其中, 黄色部分是该系统区别于普通搜索引擎的重要组成部分。

1.2 技术路线

电网企业网络舆情在线智能监测系统包括舆情监测、舆情预警、舆情分析和舆情报告4部分应用功能, 这不仅是直接面向用户的独立的功能部分, 同时, 互相之间也存在调用等依赖关系, 如舆情分析是一个直接面向用户的应用, 同时也是舆情报告的输入者、舆情预警和监测的驱动者。

电网企业网络舆情在线智能监测系统以统一的用户接口, 向用户提供多种方式的应用, 除了传统的基于浏览器的检索和浏览, 还包括以电子邮件、短信和其他方式向用户提供消息、提醒、预警、跟踪等信息服务。

1.2.1 基于自然语言处理技术的技术结构

自然语言处理技术是电网企业网络舆情在线智能监测系统中最主要的技术手段和研究重点。基于自然语言处理技术的舆情监测分析, 主要通过集成文本自动聚类[2]、自动分类、自动摘要和自动标引等技术, 实现从“文档”到“舆情”的生成、更新、特征标注、属性计算等任务, 并在此基础上, 利用舆情评价模型, 实现与上层舆情应用的交互。

1.2.2 基于统计分析技术的技术结构

统计分析是舆情监测分析不可缺少的方法之一, 具有许多自然语言分析所不具备的优点。统计分析的前提是文档数据的结构化, 即“信息提取”。

信息提取[3]就是从网页中提取所需要的数据。信息提取有多种研究方向, 如面向数据密集型网站的数据提取、面向固定格式超文本标记语言 (Hyper Text Mark-up Language, HTML) 的数据集成、面向特定类别网页的页面集成等。

电网企业网络舆情在线智能监测系统信息提取的特点如下。

1) 自动学习。对一个新的文档 (或者新的文档类型) , 能够自动进行学习并生成对该类型网页的数据提取方案。

2) 良好的适应能力。即生成的数据提取方案具有良好的适应变化的能力和容错能力 (因为很多网页并不规范, 但浏览器都能容忍) 。

3) 自动适配。即对一个新的网页 (或URL) 能够自动决定该采用已有的哪个方案来提取数据, 如果找不到正确的方案, 则应提交学习并生成相应的方案。

4) 跨文档。有时一组数据并不在一个文档中, 如论坛的一个线索可能由几十页甚至上百页组成, 中间通过“上一页”、“下一页”等方式来衔接, 信息提取方案需要将多页的内容按照一个整体来提取, 而不是简单地按文档归入不同的单元。

5) 可监控。即能够自动发现提取方案执行的进展情况, 特别是执行过程中的错误, 如某个提取方案因学习不充分而不能正确提取该类型下的某写文档时, 需要及时将有关信息告知相关模块或相关操作人员, 以便采用继续学习、增加方案等手段来解决。

6) 可管理。数据提取方案的产生、运行、替换、修改等, 均可接受人工干预, 同时, 数据提取方案中, 提取数据和结构化数据存储 (这里是关系型数据库) 之间的数据映射、数据更新等方案, 都是可配置的。

1.2.3 舆情分析技术结构

舆情分析的主要任务是在舆情文档库和舆情成果数据库的基础上, 通过一定的分析技术和过程, 发现舆情的特征、规律、因果等, 并进一步对未来作出预测。舆情分析技术架构如图2所示。

舆情分析的核心技术是复杂多重关联分析技术和事件时空发展路径分析。

1) 复杂多重关联分析技术是在海量文档和舆情成果数据的基础上, 寻找特定的规则, 这些规则可以被认为是“规律”。本系统提供的规律性发现可以是:基于原始文档的;基于舆情分类体系的;基于特征标引的;基于涉众标引 (或者实体标引) 的。然后, 可能根据这些规则, 对特定的指标进行预测。

2) 事件时空发展路径分析是在舆情成果数据的基础上, 进行时间相关分析、空间相关分析和涉众相关分析。其中舆情成果数据可能包括舆情分类体系、舆情的实体标引或涉众标引结果、舆情的特征标引结果等。时间相关分析, 即时间序列分析是时空发展路径的时间维度的展示和分析;空间相关分析是时空发展路径的空间维度的展示和分析;涉众相关分析则是按照不同的参与者标引, 从特定涉众的角度观察和分析事件的时空发展变化情况。所有这些分析, 都可以看作是对事件因果关系的一种“拟合”或者“启示”, 有助于分析人员寻找事件发生和发展的内在逻辑, 从而预测未来发展, 或者为当前和未来的应对提供参考。

1.3 关键技术

1.3.1 访问穿透

访问穿透是对普通搜索引擎中的“下载器”的扩展, 即其除了具备普通下载器的功能 (根据URL描述, 实现对目标资源的访问, 并完整下载该地址所代表的资源内容) 外, 还需要增加访问穿透方面的功能。

访问穿透在不改变宏观网络环境的条件 (如网络基础运营商的网站过滤、关键词拦截等) 下, 实现对互联网上尽可能多的网站的访问。主要解决的问题包括:突破网络基础运营商对特定站点或特定文档的访问限制;满足目标网站部署的访问控制系统的要求, 实现对有用信息的访问, 如对需要注册和登录的网站进行注册和登录;规避反搜索引擎 (或者“反爬虫”) 技术的限制, 实现对尽可能多的互联网信息的自动访问和下载。

1.3.2 网站监控策略

网站监控策略是一种URL遍历和注入的策略管理机制。与普通搜索引擎不同的是, 舆情监测并不要求完整包含互联网上的所有信息, 但对于特定的网站, 则不仅要求“全面”, 而且要求“快速”, 如专业搜索引擎对普通网站更新的响应时间可能是若干小时或者数日, 而舆情监测要求对特定网站更新的反应时间是分钟级的。

1.3.3 信息提取

信息提取[4]也叫“信息抽取”, 这里特指面向HTML半结构化文档的信息提取。

基于自然语言处理技术的文本分析方法, 不能满足所有的舆情分析要求, 因此, 应将半结构化的HTML文档结构化, 采用传统的数据分析方法, 是舆情分析的重要手段之一。针对不同类型的网页, 数据提取的结构是不同的, 如新闻类网页提取标题、作者、发表时间、发表机构等, 而论坛上的发帖则将一个Thread的每一个发帖进行单独的处理和存储, 包括作者、发表时间、在Thread中的位置、被回复的发帖、浏览量等。

1.3.4 结构化文档数据库

结构化文档[5]是信息提取后的数据存储, 与普通数据库存储不同的是, 对每个信息项都进行了单独的分词和索引处理, 以便全文检索和后期的文本分析技术能够按照信息项进行引用。依照信息提取中的分类, 结构化文档数据库可能包含新闻库、论坛库、博客库等多种不同子库。

1.3.5 舆情监测、评价分析、预警模型

舆情监测、评价分析 (主要是针对结构化数据的分析) 和预警模型等, 都需要一种能够适应千变万化的网站, 因此, 需要以一种“可配置”或者“可定制”的形式提供, 因此, 本架构中将其作为数据存储的一部分, 以期实现相关模型的“参数化”。

2 系统功能

系统包括舆情展现、舆情汇总、数据中心、预警推送、舆情专题、咨询分析、工具箱、业务配置、系统管理九大板块。

1) 舆情展现:舆情每日信息展现, 包括正负面及与预警信息滚动播报, 热点墙、热点信息趋势图表和分布图表。

2) 舆情汇总:按监测目标平台分类展现新闻网站、电子刊物、视频网站、论坛、贴吧、微博、博客、社区、虚拟空间等相关舆情信息内容体现, 并提供目标信息加入简报、加入溯源、加入收藏等研判功能。

3) 数据中心:包含所有监测目标信息实时采集。

4) 预警推送:预警信息现在浏览、编辑、推送, 推送历史和新推送建立, 舆情简报浏览。

5) 舆情专题:舆情定点专题设置、浏览、编辑、分析板块。

6) 咨询分析:所有舆情相关信息分维度统计、分析、图表展现、数据导出、溯源、热门发帖人活动轨迹等。

7) 工具箱:IP查询、收藏夹、微博在线回复。

8) 业务配置:系统所有监测目标、业务关键词、、负面关键词、屏蔽网站、屏蔽关键词配置板块。

9) 系统管理:系统运维管理板块, 包括用户管理、日志管理、首页定制、网站分类、数据维护、爬虫管理、预警管理、公参管理等。

3 系统应用

国网甘肃省电力公司网络舆情在线智能监测系统的建设实施历经了系统调研、设计开发、构建部署、用户培训和上线试运行等阶段, 最终成功上线运行。目前系统运行稳定, 各功能模块应用情况良好。

截至目前, 该系统实现了虚拟社区类、网络贴吧类、人民网领导留言、报纸杂志类、博客站点类、网络论坛类、新闻媒体类等104个网站/栏目的定向, 对94组关键词进行了更新采集, 监测传统媒体及新兴媒体类型共计21 857条舆情信息, 其中正面2 710条, 负面4 686条, 中性14 464条, 并实现了共计932条的预警推送。

该系统的运行, 提高了电网企业网络舆情监测及预警的管理水平, 有效减少了工作人员的劳动强度, 提高了工作效率, 取得了良好的经济效益, 系统实施产生的实际效果对比见表1所列。同时, 本系统具有很强的实用性和可移植性, 在电力行业相关部门中具有较高的应用推广价值。

4 结语

电网企业网络舆情在线智能监测系统对舆情进行甄别分类, 对舆情影响程度和级别进行自动定位, 大大减轻了舆情搜集及应对工作量, 降低劳动力成本, 提高工作效率, 更好地开展舆情管控工作, 为提升公司品牌建设和品牌维护水平起到积极的作用。

参考文献

[1]李勇, 刘站东.面向网络舆情分析系统的本体应用[J].西安石油大学学报, 2014, 29 (1) :94–97.

[2]王春龙, 张敬旭.基于LDA的改进K-means算法在文本聚类中的应用[J].计算机应用, 2014, 34 (1) :249–254.WANG Chun-long, ZHANG Jing-xu.Improved K-mains algorithm based on latent dirichlet allocation for text clustering[J].Journal of Computer Applications, 2014, 34 (1) :249–254.

[3]陈桂鸿, 曹树金, 陈忆金.网络舆情信息提取与预处理研究[J].图书情报知识, 2011 (6) :50–54.CHEN Gui-hong, CAO Shu-jin, CHEN Yi-jin.A study on information extraction and preprocessing of online public opinion[J].Document, Information&Knowledge, 2011 (6) :50–54.

[4]戴媛, 程学旗.面向网络舆情分析的实用关键技术概述[J].信息网络安全, 2008 (6) :62–65.

3.网络舆情监测制度初探 篇三

[关键词] 社会舆情;网络舆情;舆情监测制度

【中图分类号】 TP393 【文献标识码】 A 【文章编号】 1007-4244(2013)12-015-1

一、舆情对司法的影响

首先,通过下面一组案例了解社会舆论,尤其是社会舆情对司法的影响:

(一)泸州二奶继承案:2001年,黄某立遗嘱将财产遗留给情人张学英,并进行了公证。黄去世后,其妻拒绝将其遗产交付张。张遂提起诉讼,引起许多媒体的关注,更引发了法律界的争论,网络上舆论纷纷,给审判机关带来了很大压力。法院判定遗嘱无效。二审维持原判。

(二)李思怡案:2003年6月4日,长年吸毒的成都妇女李桂芳因偷盗被抓,后被送去强制戒毒。李桂芳被抓后,曾多次极力哀求抓她的人去救出被关在屋里的无人陪伴的女儿李思怡,但都遭到拒绝,最后只是简单的通过电话进行联系,在戒毒所里求助时同样没有给予答复,其家人及邻居也都未接到通知,导致其3岁幼女李思怡被困家中活活饿死,直到6月21日才被发现。四川媒体记者在网络发文,立即引起广泛关注。人民法院公开审理此案,涉案民警被以涉嫌玩忽职守罪提起公诉。8月19日,成都市新都区法院对原金堂县公安局城郊派出所副所长王新和民警黄小兵公开宣判,以玩忽职守罪分别判处王新和黄小兵有期徒刑三年和两年。

(三)河南“喝水门”案:2010年2月18日,河南省鲁山县一名叫王亚辉的男青年因涉嫌盗窃罪,被公安机关带走,3天后其亲属被告知,王亚辉已在看守所内死亡。亲属查看尸体后,发现死者身上有多处伤痕。对此,当地警方解释,犯罪嫌疑人是在提审时喝开水突然发病死亡。当地警方“喝开水死亡”的说法一经报道,立刻引起广泛关注,“喝开水”一词迅速成为网络热词。同时,不少网友也发出检察机关能否查明事件真相、能否依法公正处理的质疑。河南省检察院监测到鲁山县“喝水门”事件的舆情信息后,指示平顶山市检察院介入,迅速查明了4名公安人员的刑讯逼供行为,4名涉案人员被依法批准逮捕。至此,这起网络舆论事件才渐渐平息。

以上几个案例,都可以看出社会舆论监督特别是网络舆情对案件审判产生影响,包括积极影响(李思怡案),也包括消极影响(泸州遗产案);同时值得注意的是,司法机关的舆情监测与相应的举措也对案件结果起到重要影响。那么,到底什么是网络舆情、舆情监测,后者对前者有什么影响,又应该怎么去完善,笔者将在本文提出一些个人想法。

二、网络舆情概述

(一)网络舆情的概念。天津社会科学院舆情研究所王来华研究员在国内最早对舆情进行系统性定义,其研究认为“舆情是指在一定的社会空间内,围绕中介性社会事项的发生、发展和变化,作为主体的民众对作为客体的国家管理者产生和持有的社会政治态度。”网络舆情是由于各种事件的刺激而产生的通过互联网传播的人们对于该事件的所有认知、态度、情感和行为倾向的集合。

(二)网络舆情的特点。网络舆情形成迅速,对社会影响巨大。网络的开放性和虚拟性,决定了网络舆情具有以下特点:1、直接性,通过BBS,新闻点评和博客网站,网民可以立即发表意见,下情直接上达,民意表达更加畅通;2、突发性,网络舆论的形成往往非常迅速,一个热点事件的存在加上一种情绪化的意见,就可以成为点燃一片舆论的导火索;3、偏差性,由于发言者身份隐蔽,并且缺少规则限制和有效监督,网络自然成为一些网民发泄情绪的空间。

三、舆情监测制度概述

(一)舆情监测制度的概念。舆情监测,是通过对互联网传播的公众对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的言论和观点的一种监视和预测行为。

(二)舆情监测制度建立保障。网络舆情监测体系的建立主要依靠两方面保障:一是人力、资金等物质方面的保障,二是计算机软件系统等技术方面的保障。随着互联网技术的不断更新,网络舆情监测和舆情分析有必要通过与之相匹配的科技手段来进行。

四、舆情监测制度建议

(一)加强对各类网络论坛,尤其是市县级论坛的舆情监测。加强地方网络舆情监测,应建立以当地新闻媒体和网络论坛为先锋、以政府和事业单位为后盾、以同级司法网站为互访对象的舆情监测网,搭建夯实的技术平台,对网络不良信息严格管理和控制。

(二)加强全国性、主流论坛和主流网络媒体的议程设置引导。全国性、主流论坛往往是舆情热点事件的“孵化器”,同样值得我们高度重视。这类主流论坛和网络媒体通常具有较强的组织性和影响力,可以与传统新闻媒体一样通过“议题设置”把网民的注意力和社会关心引导到特定的方向。

(三)加快司法部门对涉法网络舆情的应变速度。畅通网络与司法部门的舆情沟通渠道,确保司法部门能在网络舆情事件发生后的最短时间内作出正确决策。司法部门应拓展自己的网络传播阵地,创办好法院网站,对题材敏感、社会关注度高的案件在充分策划后及时公布结果。这是平衡网络舆情与司法审判关系的根本途径。

参考文献:

[1]人民网舆情监测室.网络舆情热点面对面[M].北京:新华出版社,2012.

[2]人民网舆情监测室.如何应对网络舆情——网络舆情分析师手册[M].北京:新华出版社,2011.

[3]杨兴坤.网络舆情研判与应对[M].北京:中国传媒大学出版社,2013.

[4]唐钧.应急管理与危机公关:突发事件处置、媒体舆情应对和信任危机管理[M].北京:中国人民大学出版社,2012.

4.最新舆情监测系统采集技术分享 篇四

舆情调查软件就从舆情监测系统的架构说起是:

1、舆情采集系统:

一、只要是互联网上发生的与“我”相关的舆情信息,都可以第一时间监测到,并且以最直观的方式显示出来,“一网打尽,一目了然”。监测网站类型包括:新闻、论坛、博客、贴吧、微博、电子报、搜索引擎等。

二、对于重点舆情以及负面信息通过手机短信等方式及时预警,不需要有专人值守就可以随时掌握舆情。

三、自动分析舆情信息的发展变化趋势、舆情信息的首发网站、作者、转载情况、热度变化、评估干预处理之后的效果等。

四、自动生成各种统计分析报表和舆情报告,助力舆情工作。配合相应的工作机制,可以有效提升舆情监管的质量和效率,提升舆情应对水平。

五、除了提供系统级7*24小时的运维服务,还配备专门的舆情分析师协助监测,人工预警。系统建设目标是整合互联网信息渠道,形成系统、有效的舆情监测机制。实现系统运行,监控互联网信息、新浪、腾讯等主要微博微博,对其进行实时数据采集、全网监控、分析、检索,对敏感信息进行预警,防止负面信息传播,对重大事件做出最及时的反应和相应处理建议。并对近一段时期的热点问题、敏感词句进行搜索,从而掌握网络舆情,辅助领导决策服务。

主要的门户网站,主要的报纸、主要的大型网络论坛、社区、贴吧、博客、微博。例如新浪新闻、各大报纸的电子报、天涯论坛、新浪微博、百度贴吧等。各类与我相关的以及区域内有影响力的网站。百度、谷歌、360搜索等搜索引擎。论论坛搜索,博客搜索、微博搜索等专业搜索引擎。重点网站提供的站内搜索等。

2、舆情分析系统:

分析引擎是本系统的关键组成部分。其主要作用是对采集系统采集的数据,自动进行智能分析。分析引擎的主要功能包括:自定分析舆情级别、自动生成热点、负面舆情研判、自动分类、自动生成专题、转载计算、自动抽取舆情要素和关键词、自动摘要、自动预警、自动生成统计图表等功能。例如:多瑞科舆情数据分析站系统引擎内置了政府舆情模型、企业舆情模型和垂直监控模型,这些分析模型,是在多年舆情行业中按照客户的实际需求,不断重构和完善起来的,具有良好的实际应用效果。在实际项目中,不用通过二次开发就可以全面满足政府、企业单独应用。或者通过SAAS平台完成从上到下的垂直监测需求。对于特殊的应用需要,分析引擎还支持扩展插件,用于快速完成二次开发,支持各种需求定制。

3、舆情服务平台:

主要是用户进行日常舆情管理的平台,能够及时接受舆情信息,进行一些常规的舆情管理工作。4.舆情系统原理: 全网舆情监测的手段:数据源的获取是做舆情监测的第一步,有了米才能做粥嘛。从获取的方法上有简单的取巧办法,也有复杂到需要应对各类网站难题的情况。方法大致如下: 使用搜索入口作为捷径

搜索入口有两类:一类是搜索引擎的入口,一类是网站的站内搜索。做舆情监测往往是有主题、有定向的去做,所以很容易就可以找到监测对象相关的关键字,然后利用这些关键字去各类搜索入口爬取数据。

当然也会遇到反扒的问题,例如你长时间、高频次的爬取搜索引擎的结果页面,网站的反扒策略就会被触发,让你输入验证码来核实是否是人类行为。使用搜索入口作为捷径也会带来一些好处,除了爬取门槛低,不需要自己收录各类网站信息外,另一个特别明显的好处是可验证性非常好,程序搜索跟人搜索的结果会是一致的,所以人很难验证出你获取的数据有偏颇。爬虫根据网站入口遍历爬取网站内容

第一步要规划好待爬取的网站有哪些? 根据不同的业务场景梳理不同的网站列表,例如主题中谈到的只要监测热门的话题,这部分最容易的就是找门户类、热门类网站,爬取他们的首页推荐,做文章的聚合,这样就知道哪类是最热门的了。思路很简单,大家都关注的就是热门。至于内容网站怎么判断热门,这个是可以有反馈机制的:一类是编辑推荐;一类是用户行为点击收集,然后反馈排序到首页。

第二步是使用爬虫获取数据。爬虫怎么写是个非常大的话题,在这里不展开说明,需要提一嘴的是,爬虫是个门槛很低但是上升曲线极高的技术。难度在于:网站五花八门;反扒策略各有不同;数据获取后怎么提取到想要的内容。数据检索与聚合

数据获取下来后哪些是你关心的、哪些是垃圾噪声,需要用一些NLP处理算法来解决这些问题。这方面门槛高、难度大。首先大规模的数据如何被有效的检索使用就是个难题。比如一天收录一百万个页面(真实环境往往比这个数量级高很多),上百G的数据如何存储、如何检索都是难题。值得高兴的是业内已经有一些成熟的方案,比如使用solr或者es来做存储检索,但随着数据量的增多、增大,这些也会面临着各种问题。

通常对热门的判断逻辑是被各家网站转载、报道的多,所以使用NLP的手段来做相似性计算是必须的,业内常用的方法有Simhash或者计算相似性余弦夹角。有些场景不单单是文章相似,还需要把类似谈及的文章都做聚合,这时就需要用到一些聚类算法,例如LDA算法。从实践经验来看,聚类算法的效果良莠不齐,需要根据文本特征的情况来测试。

目前舆情监测的现状存在很多待改进的地方。首先,手工监测存在天然局限性。通过安排固定人手24小时值班,不间断地浏览目标站点并搜索目标关键词,是在缺少自动化系统时最直接也是最初级的舆情监测方式。由于受到每个人主观思想的限制,手工监测总会有观察盲区,总会有觉得不重要但事后被证明很严重的地方,且手工无法察觉到一些站点或者一些偏僻的网页内容发生改变;同时,人不是机器,长期反复监测容易导致疲劳,经常会使得该判断出来的舆情,一不留神就漏掉了。这些都会在实时性和准确性上存在很大波动。

其次是过度依赖搜索引擎。人们往往认为在网络舆情的大海里也只有搜索引擎才可能具备捞针的本领。但是,搜索引擎仍然具有不少局限性。除了搜索结果受关键词影响很大外,搜索引擎返回的结果往往来自不受任何访问限制的网站,而诸如论坛等需要登录的网站则完全被排除在外。但是网民发表意见最多的地方,恰恰是这些提供互动功能的网站。更进一步的,搜索引擎的网络爬虫具有一定的时延性,因此不能实时搜索到最新的网页更新。因此,搜索引擎不能为我们提供问题的全貌,因为它只针对关键词而不针对问题,所以谈不上全面性;搜索引擎也不能在第一时间得到我们所想要的结果,因为不仅是它的内容更新不够快,而且它也不能提供针对时效性的服务,所以谈不上及时性;搜索引擎只能在海量网页中返回另一个海量的结果,而且是以杂乱无章的形式,对于我们关心什么,它一无所知,所以它给出的结果是所有人都关心的,而非我关心的,因此也谈不上准确性。可见,我们不能完全依赖搜索引擎来监测网络舆情,需要提出全新的技术手段来获知网络舆情,并跟踪和分析舆情。

5.徐州普果舆情监测系统平台简介 篇五

2013年7月,徐州普果网络技术有限公司与中国联通徐州分公司达成战略合作,使用国内最具影响力的Goonie搜索引擎软件以及Goonie互联网舆情分析软件,建设一套面对各级政府单位及企业服务的互联网舆情监测与分析平台(以下简称舆情平台)。该舆情平台能够对互联网各类新兴媒体中传播的海量舆情信息进行监测、分析;及时、准确、智能的发现热点舆情、重要舆情,有价值的人物;并从多种维度,多种方式进行挖掘、展现;借助于新闻传播学的理论及方法,结合数据挖掘及搜索引擎等技术,帮助各政企单位及时洞察社情民意或企业、品牌、产品在用户中的形象及口碑,对涉及政府或企业品牌形象的舆情进行及时响应,进而提升舆论形象,并为日后的正确决策提供支持。中国联通徐州分公司与徐州普果网络技术有限公司合作共建的舆情监测平台,是徐州市及周边地区首家运营商参与投建的舆情监测技术平台。此平台充分依托联通公司IDC(互联网数据中心)的优势,以特级的机房和宽带网络资源,将舆情监测平台的数据抓取速度和监测效果体现的淋漓尽致,受到了新闻媒体、政企客户、舆情监测领域专家们的一致好评。通过此舆情监测平台,完全有能力让您第一时间发现网上负面信息、第一时间洞察民意口碑、第一时间知晓竞争情报,从而让您更好的掌控全局。

据徐州普果网络技术有限公司副总经理朱麒运先生介绍,该舆情监测平台采用了实时采集网络舆情信息,包括新闻、论坛、博客、贴吧、微博、QQ群以及公众微信等形式,7*24小时为客户提供信息采集、信息处理、信息编辑功能,实时掌控所关注的网络舆情信息,为政府、企业决策提供参考依据,及时了解民意、民生,及时解决民生问题。普果公司朱总谈到:论坛、社区、微博、贴吧为网民发表言论提供了阵地,地方政府和宣传部门缺乏有效的监测手段,造成突发舆论的大面积传播,特别是一些不负责任的负面言论,严重影响社会和谐,破坏投资环境,损害领导威信。对于这类信息,如果及时监测发现处理,就能及时处理还处在萌芽状态的事态的发展。对于现代企业来说,网络舆情监测具有非常重要的意义。因为有关企业和产品的“网络舆情”,就代表了企业的产品或者服务在消费者中的主流印象和评价。如果能监测收集到这些舆情信息,对于企业的的发展有着巨大的推动作用。

6.企业舆情监测系统 篇六

一、红麦舆情监测系统

红麦网络舆情监测系统(也称unotice舆情监控系统,鹰眼舆情监控系统),是将搜索引擎技术应用在企业舆论情报服务的一次创新。系统利用独有爬虫技术,能根据预定的监控关键词在15分钟以内发现15万个重点媒体、论坛、博客、微博等网站里的舆情信息,并对危机信息及时报警。系统利用中文分词技术、自然语言处理技术、中文信息处理技术,对信息进行垃圾过滤、去重、相似性聚类、情感分析、提取摘要、自动聚类等处理,配合专业分析师生成详细的舆情分析报告。

(一)服务对象:政府机关、各级各类组织机构、企业等。

(二)解决方案

红麦为传统企业、互联网企业和政府部门提供专业的舆情数据监测、数据分析及咨询服务。协助企业准确掌握产品和市场情况,监控竞争对手和行业动态,了解网民口碑,为企业市场、行销决策提供支持支撑服务。帮助政府部门快速发现突发事件、重大事件,快速应对,提高政府和企业的形象。并在国内网络口碑研究领域奠定了领先地位和服务品牌。红麦从产品出发,推出一系列面向行业客户的一体化舆情平台解决方案,这些方案为客户的互联网舆论环境、危机公关、营销效果、品牌口碑、竞争对手策略等提供全方位解决之道。

◆ 红麦认为,聆听网络口碑很重要

◆ 品牌需要通过网络口碑获取消费者洞察和产品反馈,深入理解网络社区文化

◆ 品牌需要融入网络社区,与网民互动,传递品牌心声

红麦舆情监测解决方案综合了各类政府、企业级用户的应用需求,旨在为客户提供更加容易与目标人群沟通并挖掘更多价值资讯的全方位解决方案。

二、麦知讯第三方网络舆情监控系统

麦知讯是一家致力于向国内外行业用户提供互联网信息监测整体解决方案、业务发展信息咨询的高科技公司。它在资本运作和整合国内多家互联网信息专业公司、行业研究咨询公司的过程中不断成长,并通过合理地选择和应用成熟的互联网信息技术,使公司在原有业务的优势得到巩固的同时,也在新的业务领域取得了优异的成绩。它的舆情监控内容包括:口碑信息监测(企业、产品、品牌正负面口碑监测,竞品间的口碑对比监测等)、网络营销监测(针对营销主题,提供点击数、回复数、回复时间、回复人、回复内容、回复语气、回复人感情倾向、正反向关注度、主题删帖率等监测服务)、网络营销效果监测(搜索引擎呈现率、产品品牌知名度、用户关注度、好评率变化统计分析)、网络营销咨询服务(为企业或公关公司提供网络营销方案或决策意见及建议)等。

三、Goonie网络舆情监控系统

它依托自主研发的搜索引擎技术和文本挖掘技术,通过网页内容的自动采集处理、敏感词过滤、智能聚类分类、主题检测、专题聚焦、统计分析,实现各单位对自己相关网络舆情监督管理的需要,最终形成舆情简报、舆情专报、分析报告、移动快报,为决策层全面掌握舆情动态,做出正确舆论引导,提供分析依据。它支持多种网页格式、多种字符集编码、整个互联网采集以及内容抽取识别技术,具有热点话题、敏感话题识别,舆情主题跟踪,自动摘要,舆情趋势分析,突发事件分析,舆情报警系统,舆情统计报告等多种功能。同时,用户可以设定采集的栏目、URL、更新时间、扫描间隔等,系统的扫描间隔最小可以设置成1分钟,即每隔一分钟,系统将自动扫描目标信息源,以便及时发现目标信息源的最新变化,并以最快的速度采集到本地。

四、鹰隼网络舆情监控系统

本果公司在透析互联网特点、网民习惯和偏好基础上,充分运用自身搜索引擎技术、全文检索技术、相似性排重技术、自然语言智能处理技术、内容管理、互联网技术以及电子政务和电子商务软件开发优势,成功研发了鹰隼网络舆情监控系统。

它对舆情的处理按照信息采集、舆情过滤、自动分类、相似性排重、舆情分析、舆情展示的流程推进,整个系统由三部分组成,分别是信息采集子系统、舆情处理分析子系统和舆情管理子系统。它能够有效地搜索互联网上各层次各角落各形式的信息,深层次地挖掘网络舆情价值,全天候并及时地提供最新网络舆情资讯、丰富翔实的信息、形象直观的图表,自动化的舆情预警,并递送网络舆情、舆情分析、统计数据、舆情报告。

五、军犬网络舆情监控系统 它是中科点击公司开发的一个体系结构先进、功能强大的面向政府、企业提供网络舆情监测和决策参考的应用系统,广泛地用于舆情监控监测,竞争情报以及风险预警等领域,它是一套综合运用搜索引擎技术、文本处理技术、知识管理方法、自然语言处理、手机短信平台,通过对互联网海量信息自动获取、提取、分类、聚类、主题监测、专题聚焦,以满足用户对网络舆情监测和热点事件专题追踪等需求的舆情监控平台。

7.基于数据挖掘的舆情监测系统设计 篇七

1 舆情监控系统组成

本文设计的舆情监测系统组成结构如图1所示, 部署于互联网的舆情监测系统主要有四个大的部分组成, 分别是数据采集子系统、基本数据传输中心、数据挖掘处理子系统和舆情监测管理子系统。

数据采集子系统包括网络爬虫模块、数据去重模块、数据过滤模块和数据筛选模块。通过网络爬虫在网络上进行自动的传播和扩散, 能够自动的对网络上的网页、微博和论坛进行数据采集。由网络爬虫采集到的页面原始数据经过数据去重, 剔除在采集过程中所得到的重复数据, 然后在根据预先设定的数据过滤规则, 将一些不需要进行处理的页面类型和页面信息进行过滤, 之后再根据舆情监测管理系统, 预先设定的数据采集敏感值, 对所采集到的数据进行筛选, 提取出有分析价值潜力的页面数据。基本数据传输中心主要是完成舆情监测应用系统工作过程中所需要的数据存储功能。数据挖掘处理子系统包括分词模块, 分词聚类算法、页面排名统计、回贴数量统计、页面转发次数统计和数据处理周期设定等功能模块。通过预先设定的数据处理周期, 对处于当前周期内的所有页面数据, 首先进行分词和聚类提取出每个页面的核心内容, 之后根据页面的排名回贴数据和转发次数, 对页面数据的热门程度进行评价, 给出页面数据的热点特征, 数据挖掘处理子系统中的分词聚类算法流程图如图2所示。舆情监测管理子系统包括用户接口模块、舆情显示模块、热点统计模块、舆情趋势动向显示模块和数据检索模块。通过用户接口能够满足舆情监测管理系统与用户之间的人机交互应用需求, 对数据挖掘子系统输出的各种热点事件和页面的热门评价结果转化成舆情态势显示, 并对热点事件进行统计, 同时也对舆情的发展趋势进行记录。舆情监测管理子系统还能够根据用户希望输入的检索关键词, 对相关的页面原始数据进行检索和输出。

2 系统性能分析

应用本文设计的系统相对于传统的舆情监测系统具有以下有益效果。

(1) 本文设计的舆情监测系统监测的媒体种类, 能够涵盖静态页面、动态页面、微博和论坛等多种信息媒体。

(2) 文本设计的舆情监测系统数据融合能力强, 对所采集的多种类型的页面信息能够快速有效的提取数据, 能够利用分词模块快速有效的提取出页面的核心内容, 并将所提取到的数据融合在一起进行综合处理。

(3) 本文设计的舆情监测系统数据挖掘智能化程度高, 通过建立事件热门程度评价模型, 能够智能化的挖掘出不同类型的页面对同一事件的关注程度, 从而准确的对舆情做出判断。

(4) 本文设计的舆情监测系统实施性强, 能够快速的对网络舆情变化情况做出反应。

3 系统具体实施流程

下面将以基于数据挖掘的舆情监测系统典型的工作过程, 介绍系统的实施方式。

(1) 启动舆情监测系统, 通过舆情监测管理子系统中的用户接口模块, 输入用户希望监测的敏感事件关键词。

(2) 由舆情监测系统中的数据采集子系统对网络数据进行采集, 通过网络爬虫模块在互联网中快速进行传播, 实现对多种信息媒介内容的采集。

(3) 所采集到的原始数据分别经过数据去重、数据过滤和数据筛选等功能模块, 最后提取出有分析价值的页面数据。

(4) 将所采集到的原始数据送入基本数据存储中心, 以通用的数据格式将所采集到的所有数据存储在存储中心。

(5) 启动数据挖掘处理子系统中的分词模块, 依次从基本数据存储中心提取页面数据, 并从中抽取出各分词结果。

(6) 应用分词聚类算法对分词结果进行聚类, 给出每一个页面的主体内容描述。

(7) 启动页面排名统计、页面回贴次数统计和页面转发次数统计等功能模块, 按照页面数据的类型分别计入页面的这些特征参数。

(8) 应用热点事件评价模型对当前页面的内容、热门程度进行评价。

(9) 如果事件达到预先设定的热门敏感程序预值, 则进行热点事件的报警, 将预警结果输出至舆情监测管理子系统。

(10) 舆情监测管理子系统针对所接收到的预警信息, 将舆情状况实时的进行显示, 同时对累计收到的各种热点事件进行统计, 并对舆情发展趋势进行显示。

(11) 当用户确切的查询某个热点事件中具体的原始页面信息, 可以通过监测管理子系统中的数据检索模块, 通过关键词对基本数据存储中心中的页面数据进行查询。

4 总结

本文结合数据挖掘最新技术, 设计一种部署于互联网的舆情监测应用系统。系统通过数据采集子系统、基本数据存储中心、数据挖掘处理子系统和舆情监测管理子系统等核心模块分别实现各自的功能, 通过网络爬虫原理实现数据的自动化采集工作, 通过分词和聚类算法以及热门事件评价模型, 能够对所采集到的数据进行准确的内容提取和热门程度评价, 最后通过一个友好的界面输出给用户, 从而达到舆情监测的目的。

参考文献

[1]郑斐然, 苗夺谦, 张志飞, 等.一种中文微博新闻话题检测的方法[J].计算机科学, 2012, (1) :138-141.

[2]时睿, 封化民.一种基于名词的微博语义计算方法[J].北京电子科技学院学报, 2011, (4) :16-22.

[3]程传鹏, 夏敏捷.微博自动标引关键技术的研究[J].计算机工程与应用, 2011, (34) :137-140.

[4]丁荩, 涂浩.微博感知突发重大新闻事件的研究与分析[J].广西大学学报 (自然科学版) , 2011, (1) :335-338.

[5]龙志祎, 程葳.基于词聚类的热点话题检测算法[J].计算机工程与设计, 2011, (6) :2214-2216.

[6]赵艳红, 聂哲.基于内容分析的中文BBS话题检测系统的设计与实现[J].计算机应用与软件, 2011, (6) :242-246.

[7]田森平, 吴文亮.自动获取k-means聚类参数k值的算法[J].计算机工程与设计, 2011, (1) :274-276.

[8]曹鹏, 李静远, 满彤, 等.Twitter中近似重复消息的判定方法研究[J].中文信息学报, 2011, (1) :20-27.

[9]贾世杰, 黄青松, 马世霞.基于网格聚类的案例检索策略[J].计算机工程, 2009, (10) :170-172.

8.蚁坊软件:掘金舆情监测新商机 篇八

在诸多“神器”中,湖南蚁坊软件有限公司(下称“蚁坊软件”)生产的鹰眼全网舆情和鹰击微博舆情系统可谓佼佼者。它能在日采集3亿条微博的基础上,提供信息溯源、情感分析、自动生成舆情报告、微信等多方式预警等功能。而正是这些独树一帜的产品优势,让成立仅5年的蚁坊软件拥有了网宣、公安、教育等行业的5000多家用户。

蚁坊软件的创新成果得到了市场的肯定,也获得了社会的认可。3月27日,在长沙高新区召开的2015年经济工作会议上,蚁坊软件总裁刘江宁与CTO张兵分别获得“2014突出贡献创新专家”与“2014年度长沙高新区优秀科技人才”殊荣。

在此前召开的湖南省科学技术奖励大会上,蚁坊软件与国防科大联合申报的“在线社交网络分析关键技术及系统YH-SNAS”项目荣获2014年度湖南省科学技术进步一等奖。

2010年,年近半百的黄三伟深感“年纪大了,再不闯就晚了”。好哥们刘江宁也受到“传染”,两人一拍即合,辞掉高薪职位后便迈上了创业之路。同是从国防科大毕业,又有数年中间件开发经验的他们早已胸有成竹,将创业目标瞄准了大数据领域,聚焦社交网络舆情监测产品。同年8月,两人联手成立了湖南蚁坊软件有限公司,黄三伟出任董事长,刘江宁担任总裁。

彼时,整个行业的运营模式是做项目,去不同的地方了解客户需求、部署网络环境,再设计、安装软件。“新手上路”的蚁坊软件本想沿着老路发展,但很快发现此路不通。这是因为要想从互联网中获取海量数据,对客户网络环境中的带宽、IP资源、机器扩容数量都有要求,而一般的客户只有几台电脑,根本无法完成。面对如此情况,蚁坊软件的第一个项目完成得费时费力。“公司15人全员出动,前后花了近8个月,最后还留了两名常驻员工,为客户解决后期工作。”提到这次经历,黄三伟直摇头,“这次之后,我们再也不做项目了。”

摆脱项目定制开发的思路,蚁坊软件决定自己做产品。淘宝只需一个账户就可购物,舆情监测也可以。它不局限于时间、地点、某台特定的机器,只要有网络,客户用一个账户就可以实现对商情、品牌、服务等进行网络监测,这才是互联网时代软件企业应有的思维。

2011年5月,蚁坊软件的第一个产品鹰击微博舆情系统初具雏形。该产品能在某一事件发生或一个新产品推出后,将网络上有哪些人关注、做了什么评论都实时推送给客户。“对某一事件在第一时间做报道的往往不是媒体,而是当事人在微博等社交网络上的爆料。客户设定关键词,微博上与之相关的最新消息就会立刻呈现。比如当某地发生交通事故,相关部门尽早得到消息,就能及时赶到现场进行救援。”让总经理刘涛自豪的是,“去年4月广东东源县发生3.8级地震后,我们30秒内就得到了消息,而且还能知道第一个在微博上发布消息的是谁。很多事件我们都能在第一时间得到线索。”

要做到这些必须有强大的数据处理能力。蚁坊软件每年在大数据方面的设备投入达数千万元,每天采集的微博超过3亿条。采集数据的同时,计算机还对数据进行实时分析,将内容分类、打标签、过滤去重等。就在这样边用边完善的过程中,掌控舆情发展态势的鹰眼全网舆情系统“孵化出世”。“与分散精力,为不同客户做项目相比,我们就是集中精力,不断完善平台、改进产品,这样客户就能得到最新最好的应用。”黄三伟的坚持获得了市场的认可。在市场部工作的厉耀华对此深有体会:“我们卖给客户的只有一个账户,原来客户的态度是需销售员催着他们试用,现在经常是客户催着我们开通试用。”

“学校好的技术点多,但大多停留在研究层面,企业可以与其进行良性互补。高校负责研发,我们负责后期产品化。”黄三伟表示,高校的优秀成果早已渗透在公司产品的每个细节中。

当某事件发生后,公众对此抱有怎样的态度和情感?网络上的公众表达通常饱含强烈的个人情感,若能将这些抽取、统计,就能得知事件对社会造成的情感影响。如意外事故发生后,人们最初的情绪是悲痛,经人挑拨后变得激愤,这说明事件在往不好的方向发展,当人们冷静下来,就会探讨事故发生的原因、总结经验,情感趋于理性。

然而,心理学把人类的情感分为数十种,汉语言的表达博大精深,要想让系统猜透人们的心思、分辨情感的倾向性,光会编程、设计软件还不够。“这就需要学术界做大量研究。”刘涛介绍,蚁坊软件与国防科大合作开展“在线社交网络分析关键技术及系统YH-SNAS”项目,针对某一具体事件,进行情感分析。此外,鹰击系统的实时处理、实时索引、大数据存储等多项技术都是合作项目的成果。“和高校一起走,企业减少了在研发初期的投入,节省成本。更重要的是,这相当于为企业探路,让企业不走冤枉路。”在黄三伟看来,两条腿走路让企业走得更稳更快。

在这样的发展思路下,蚁坊软件陆续与国防科大计算机学院、长沙软件园联合建立“海量数据处理工程研究中心”,与北京邮电大学、中科院计算所等机构组建了国家“社交网络及其信息服务协同创新中心”,联手北京大学、上海交通大学等单位发起成立“973社交网络开源社区”……“技术在不断进步,我们会不断把学校的研究成果产品化。”黄三伟坚定地表示。

在借助外力的同时,蚁坊软件也不忘进行自我升级。传统的软件公司一般只有几个美工,而蚁坊软件却为提高客户的应用体验专门成立了交互设计部。每个功能按钮的位置、提示信息的内容等的设计都会经过深思熟虑。“设计部想做什么公司都会响应,实时推送的功能就是他们设计的。”刘涛介绍,很多舆情系统类似于搜索引擎,输入关键词后再点击刷新,如果忘记了页面就停了,无法发现最新消息。而实时推送功能是一旦有新消息就会出现在页面,某些紧急情况下还会自动报警。实时推送功能实现了与同类产品的差异化,“这在同行中是首创”。

蚁坊软件的舆情产品获得了“2011年度中国信息安全用户推荐奖”、“2011年度中国信息安全值得信赖品牌奖”。如今,蚁坊软件的足迹遍布全国各省市,一个都没落下。

为最大限度地激发员工创新活力,蚁坊软件别出心裁地发起了企业内部创业,任由员工“异想天开”。“公司搭好大数据平台,每个员工都可以用。只要有好的创业点子,我们就会尽力帮助。”黄三伟对此的想法是,“我40多岁才创业,而现在很多年轻人都有这个想法。但他们没有人脉,很难从社会上筹集到资金。其实,帮他们就是帮公司。”

2013年成立的山东蚁巡网络科技公司是蚁坊软件内部孵化的第一个创业公司。其产品蚁巡运维平台是一台简单实用的IT运维设备,只需接入网络,按向导简单配置就可以使用。它能自动发现需要监控的网络设备、服务器,主动巡检设备的运行状态,发现业务系统隐患并智能预警,保障业务正常运转。“要检查机房的上百台机器运行是否正常,以前需要人工巡检,现在上网就可以查看机器的运行状态。硬盘满了、内存不足、CPU占用过高等问题都可远程解决,只有当机器的硬件系统坏了才需要去机房。”黄三伟介绍,当初也是发现有这一市场需要,员工又能做出产品,所以助一臂之力。刚成立时,蚁巡只有几名技术和销售人员,市场宣传、行政管理、财务等都由蚁坊软件代管。经过一年多的发展,蚁巡已有近50人,开始独立门户。

2014年,蚁坊软件的内部创业又发新芽。湖南识微科技有限公司、湖南傻蛋科技有限公司相继成立。识微主打的是一款社交媒体精准营销产品,它负责寻找社交媒体上某个产品的关注人群,分析互动数据,并从中发现重点对象,企业据此可以展开更有针对性的营销活动。傻蛋的产品“傻蛋搜”可以自动进行联网设备搜索,检测安全漏洞,并提供安全防护的解决方案。黄三伟也没有闲着,他正在设计一款远程办公软件,雄心勃勃地准备第二次创业。

上一篇:高校毕业生自主创业资料下一篇:综治维稳培训简报