大数据在政府部门的应用 （二）

编译：工业和信息化部国际经济技术合作中心  高常水  江道辉

企业和政府的比较

     虽然企业和政府的主要任务并不冲突，但各自的举措具有不同的目标和价值。企业的主要目标是通过提供产品和服务获取利润，发展或维持自身的竞争优势，创造令 消费者和其他利益相关者 满意的价值。政府的主要目标则是维持国内稳定，实现可持续发展，确保公民的 基本权利，改善国民福利和促进经济增长。

     在竞争的市场环境下 ，大部分企业着眼于 制定短期决策，并且执行人员数量 也很 有限。 而 政府的决策制定过程通常 需要 更长 的时间，经过不同群体（包括官员、利益集团和普通民 众）反复讨论和磋商，在彼此间达成一致后才能有最终结果 。因此 ， 政府制定决策 要完成很多程序性步骤，以降低 决策风险，提高决策效率和 确保其 效果 。由此看来 ，大数据在政府部门和私有部门的应用具有很大不同。

数据集属性比较

     大数据环境是以信息技术为基础的决策支持系统的演进：从上世纪 60年代的数据处理，到 70 - 80 年代的信息应用，再到 90 年代的 决策支持模型，进入 2000 年后 的数据存储和挖掘，再 就是 今天的大数据。 大部分与大数据相关的技术和分析应用是从 2010 年左右开始出现 的，故大数据时代正处于早期阶段 /发展初期 。

     大数据的属性和挑战已用 3V 来描述 ： 海量 （ volume) 、 速度（ velocity ）和多样性 (variety) 。海量是大数据的基本属性，各类机构和组织在业务活动过程中产生数以百万亿字节的数据 ，数据容量越来越大。速度是指数据量增长越来越快，对处理速度和响应速度提出更高要求，运用传统的信息技术手段难以有效处理，以及从中提取有价值的信息 。多样性是指 数据以各种各样类型的出现， 包括结构化的（ SQL 等传统的数据库）；半结构化的（具有关键字和规则，但数据结构不规则或不完整） 和非结构化 的（非组织性的数据，没有商业智能）。

     大数据的概念 已经表明，大数据不仅仅是海 量的数据，还包括通过处理大 数据从中获取价值。如今，大数据与商业智能、 商业分析和数据挖掘是同义词，已经使商业智能从报告和决策支持转移到预测和制定未来行动纲领 。新的数据管理系统旨在应对大数据带来的挑战，如 分布式架构技术是一个开源平台，目前是在管理存储和接入，以及高速并行处理大规模数据集等方面应用最为广泛的技术 。然而， 对于很多企业，特别是不少 中小企业来说，分布式技术 是一个挑战。因为这些中小企业往往不具备应用大数据需要的专业人员和经验，他们需要外部资源帮助。应该看到， 大数据应用需要 的不是纯 粹基于技术的技能， 找到正确的分析大数据的技能 ，或许是企业应用大数据面临的最大难题。 对于大部分企业来说 ， 发现和选择胜任的数据专家（在数据挖掘、可视化、 操作和发现等方面）是困难而昂贵的。

     其他商业大数据技术包括 Casandra 数据库， 它是一个动态的数据库工具， 采用行存储格式，每一行能存储二百万个数据单元 。对于企业的另一个挑战是选择 最适合他们 的大数据技术：开 源技术 (如分布式 架构技术 ) 或者商业技术 (如 Casandra ， Cloude ra, Hortonworks, MapR) 。

     政府在应用大数据时，不仅 要处理多个来 源、不同格式数据集成等一般问题，而且还面临一些特殊挑战， 最大的挑战就是数据搜集 。因为政府搜集的数据不仅来自于多种渠道（ 如 社交网络、 互联网 、众包），也来自于不同的来源（如国家、机构和部门），搜集难度可想而知 。 其次，在国家之间分享数据和信息是一个特殊的挑战。跨国分享信息，由于涉及到语言转换和不同的文化背景（内容的表现形式）， 分享和传递 的 信息 有可能失真。第三 个挑战 是在一个国家不同的政府部门和机构之间分享数据。政府数据与商业数据最重要的不同就在范围和区域，其差异近几年都在平稳
增长。政府（ 包括地方政府和中央政府 ）在实 施法律和规章、提供公共服务 和 监管金融交易的过程中积累了大量数据。 这些数据的属性、价值和 带来的 挑战， 都不同于公司运营中产生的数据。政府的大数据特征属性可以表述 为存储、安全和多样性。通常 ， 每个政府机构或部门 都有自己的存储机构，用于存储公共或机密信息，而且并不愿意分享各自 的专有信息。

     每个系统都保存有 与其他系统隔绝的信息，这使得政府机构和部门之间的数据集成更 加 复杂。 彼此 沟通的失败有时是影响数据集成的重要原因。例如，在英国，警察机构和医院之间曾经打算在暴力犯罪方面分享信息，但这一项目 最终失败，原因就是两者 之间沟通不 足 。另一个分享政府信息的挑战是建立统一的数据格式，能够允许不同机构进行 分析。尽管大部分政 府数据是结构化的，但是从多种渠道和来源去搜集数据仍然是一个更大的困难。缺乏标准化的数据格式和软件，以及从多个政府机构的离散数据库中提取有用信息的跨机构解决方法，也是 政府推进大数据应用 面临的 挑战 。但 由于政府的 紧缩措施，导致其缺乏相应资金去发展和推进解决上述问题 。

      在使用大数据时，政府 必须解 决相关的法律、安全和许可要求等问题。在搜集和使用大数据用于预测 分析与保障公民隐私权之间 ， 应该有一条 清晰的 界限。

     在美国，美国爱国者法案允 许合法监控，有时 还可以监控公民；电子通讯隐私法案允许相关部门不经 授权 便可进入电子邮件系统； 要对 网络情报共享和保护法案 (CISPA) 加以注意，它将允许安全机构和私人网络公司之间的信息共享，这 增加了 人们 对误解信息不适当应用的关注。

     数据安全是政府大数据最基本的属性，因此 ， 搜集、存储和使用大数据都需要特别注意。然而，目前大部分大数据技术，包括 Casandra 数据库和分布式技术， 都缺乏足够的安全保护工具。对政府而言， 确保安全是又一个 挑战。