随着“大数据时代”的来临，企业越来越重视数据的作用，数据给企业带来的价值也越来越多。本文档将介绍大数据给企业带来的机遇与挑战以及企业的大数据解决方案。
第一步先搞清楚什么是大数据？他不是简单的大量数据或海量数据，致店一八七三而零一四尔吴零，而是有着4V特征的数据金矿。他给我们的企业会带来机遇与挑战。
第二步我们根据大数据的特征，分析企业大数据平台要迎接大数据的挑战，应该具备什么样的能力。
第三部分，基于大数据平台要求，我们提出一个企业大数据的技术解决方案，介绍解决方案是如何解决大数据难题。
最后我看一看大数据应用当前存在的问题，未来将会怎样发展。
什么是大数据？
从数据角度看，大数据不是简单的大和多，而是有着4V的特征。简单说就是体量大、样式多、速度快、价值低。
体量大：最新研究报告，到2020年，全球数据使用量预计暴增44倍，达到35.2ZB。我们说大数据时，一般企业数据量要达到PB级才能称为大数据。
样式多：除了量大，大数据还包括了结构化数据和非结构化数据，邮件，Word,图片，音频信息，视频信息等各种类型数据，已经不是以往的关系型数据库可以解决的了。
速度快：这里说的是数据采集的速度，随着电子商务、移动办公、穿戴设备、物联网、智能小区等等的发展，数据产生的速度已经演进到秒级。企业要求能够实时获取数据，实时进行决策。
价值低：指的是价值密度，整个数据的价值是越来越高，但是因为数据量的壮大，数据价值密度也相应降低，无价值数据要占据大部分，企业需要从海量的业务中寻找价值。
从开发人员角度看，大数据和以往的数据库技术、数据仓库技术是不同的，他代表以Hadoop、Spark为首的一系列新技术。
这类技术的显著特点是：分布式、内存计算。
分布式：简单的说，分布式就是将复杂的、费时的任务拆分为多个细小的任务，并行处理。这里的任务就包含了数据采集、数据存储、数据处理。
内存计算：实质上就是CPU直接从内存而非硬盘上读取数据，并对数据进行计算、分析。内存计算非常适合处理海量的数据，以及需要实时获得结果的数据。比如可以将一个企业近十年几乎所有的财务、营销、市场等各方面的数据一次性地保存在内存里，并在此基础上进行数据的分析。
数据挖掘：大数据的核心实际上还应该包括数据挖掘技术，这是一个和统计学联系紧密的技术，粗略的划分为分类、聚类、预测、关联四大类，可从大量的、不完全的、模糊的数据中利用数学方法，提取出潜在的规律或知识。
大数据平台要求
大数据的能力分为数据采集、数据存储、数据计算或处理、数据挖掘、数据展现五个方面。
数据采集：需要对于海量数据、实时数据的采集能力，这是数据利用的第一步。
数据存储：对应大数据特点，需要大容量、高容错、高效率的存储能力，这是数据利用的基础。
数据计算：需要强大、廉价、快速的数据处理货计算能力，强大对应大数据的量大、类型多，廉价对应大数据的价值密度低，快速对应大数据的速度快，这是大数据能够发展的关键。
数据挖掘：要能够全角度、多方位的立体分析挖掘数据价值，应用好数据挖掘才能将数据转化为价值，这是数据利用的核心。
数据展现：多途径、直观、丰富的数据展现形式是数据的外在形象，这是数据应用的亮点，是能够得到用户认可的窗口。
以上是对于大数据平台需要解决的问题，必须具备的能力，数据提出的要求。
技术解决方案
企业大数据解决方案从数据处理流程上分为数据采集层、数据存储层、数据计算层、数据挖掘层、数据展现层，每一层解决大数据所需的关键难题。其中标黄的部分是传统数据处理技术。
数据采集层：
数据采集技术分为实时采集和定时采集，实时采集采用Oracle GoldenGate等工具，实时增量采集数据，保证数据的及时性；定时采集采用SAP Data Services等工具相结合的方式，定时抽取数据，主要用于大批量、非实时性数据。加入kettle、sqoop等分布式ETL工具，丰富多样化数据抽取服务，同时加入整合实时数据的kafka服务，处理大量实时数据。
数据存储层：
数据存储区在传统oracle的基础上，加入分布式文件系统、分布式列式数据库、内存文件系统、内存数据库、全文搜索等模块。其中，分布式文件系统ceph由于拥有数据分布均衡，并行化度高等特性，所以用于存储非结构化数据；分布式文件系统Hdfs由于拥有极佳的扩展性和兼容性，用于存储其他结构化数据；列式存储数据库hbase主要用于存储特定需求的海量数据，以供运算查询等服务。
数据计算层：
计算层采用标准SQL查询、全文搜索、交互分析Spark、实时数据处理Streaming、离线批处理、图计算Graph X等技术，对结构化数据、非结构化数据、实时数据、大批量数据进行数据计算处理。
核心计算方式spark内存计算引擎的优势：
轻量级快速处理。
易于使用，Spark支持多语言。
支持复杂查询。
实时的流处理。
可以与Hadoop和已存Hadoop数据整合。
可以与Hive整合
数据挖掘层：采用Spark_Mllib、R、Mhout等分析工具，依据模型分析引擎创建模型、算法库。由模型算法库对模型进行训练，生成模型实例，最后依据模型实例进行实时决策及离线决策。
数据展现层：提供门户展现、数据图表、电子邮件、办公软件等多种数据分析方式，在展现途径上可支持大屏幕、电脑桌面、移动终端等。
结束语
随着高性能计算机、海量数据的存储和管理的流程的不断优化，技术能够解决的问题终将不会成为问题。真正会制约或者成为大数据发展和应用瓶颈的有三个环节：
第一、数据收集和提取的合法性，数据隐私的保护和数据隐私应用之间的权衡。
任何企业或机构从人群中提取私人数据，用户都有知情权，将用户的隐私数据用于商业行为时，都需要得到用户的认可。然而，目前，中国乃至全世界对于用户隐私应当如何保护、商业规则应当如何制定、触犯用户的隐私权应当如何惩治、法律规范应当如何制定等等一系列管理问题都**滞后于大数据的发展速度。未来很多大数据业务在最初发展阶段将会游走在灰色地带，当商业运作初具规模并开始对大批消费者和公司都产生影响之后，相关的法律法规以及市场规范才会被迫加速制定出来。可以预计的是，尽管大数据技术层面的应用可以无限广阔，但是由于受到数据采集的限制，能够用于商业应用、服务于人们的数据要远远小于理论上大数据能够采集和处理的数据。数据源头的采集受限将**限制大数据的商业应用。
第二、大数据发挥协同效应需要产业链各个环节的企业达成竞争与合作的平衡。
大数据对基于其生态圈中的企业提出了更多的合作要求。如果没有对整体产业链的宏观把握，单个企业仅仅基于自己掌握的独立数据，无法了解产业链各个环节数据之间的关系，对消费者做出的判断和影响也十分有限。在一些信息不对称比较明显的行业，例如银行业以及保险业，企业之间数据共享的需求更为迫切。例如，银行业和保险业通常都需要建立一个行业共享的数据库，让其成员能够了解到单个用户的信用记录，消除担保方和消费者之间的信息不对称，让交易进行的更为顺利。然而，在很多情况下，这些需要共享信息的企业之间竞争和合作的关系同时存在，企业在共享数据之前，需要权衡利弊、避免在共享数据的同时丧失了其竞争优势。此外，当很多商家合作起来，很容易形成卖家同盟而导致消费者利益受到损失，影响到竞争的公平性。大数据最具有想象力的发展方向是将不同的行业的数据整合起来，提供全方位立体的数据绘图，力图从系统的角度了解并重塑用户需求。然而，交叉行业数据共享需要平衡太多企业的利益关系，如果没有中立的第三方机构出面，协调所有参与企业之间的关系、制定数据共性及应用的规则，将**限制大数据的用武之地。权威第三方中立机构的缺乏将制约大数据发挥出其最大的潜力。
第三、大数据结论的解读和应用。
大数据可以从数据分析的层面上揭示各个变量之间可能的关联，但是数据层面上的关联如何具象到行业实践中？如何制定可执行方案应用大数据的结论？这些问题要求执行者不但能够解读大数据，同时还需深谙行业发展各个要素之间的关联。这一环节基于大数据技术的发展但又涉及到管理和执行等各方面因素。在这一环节中，人的因素成为制胜关键。从技术角度，执行人需要理解大数据技术，能够解读大数据分析的结论；从行业角度，执行人要非常了解行业各个生产环节的流程的关系、各要素之间的可能关联，并且将大数据得到的结论和行业的具体执行环节一一对应起来；从管理的角度，执行人需要制定出可执行的解决问题的方案，并且确保这一方案和管理流程没有冲突，在解决问题的同时，没有制造出新的问题。这些需求，不但要求执行人深谙技术，同时应当是一个卓越的管理者，有系统论的思维，能够从复杂系统的角度关联地看待大数据与行业的关系。此类人才的稀缺性将制约大数据的发展。
很多企业都开始数据治理，并探索不同工具和方法来实现。然而，企业往往又会被不同的解决方案所困惑。
那么，企业应该如何选择大数据解决方案呢？主要考虑以下6个重要方面：
无论是从哪一类具体的分析需求开始，对于分析的构建，都需要设想整个蓝图。
在构建企业分析时，有三个维度是很重要的：业务链、产业链、面向对象，不同的人员在不同的业态下除了配置报表外，在数据分析阶段还可以设置主题分析的内容，自上而下的目标监控，自下而上的原因反馈。
为了更好地提升企业级能力，在商业分析到一定阶段后，要做全价值链分析，同时，针对多业态的产业链，要做统一的价值体系。
说到数据采集，就要提到数据中台。前几年企业主要在做一些基础信息化建设，包括ERP/零售/协同等，这些成为企业的内部数据。同时，企业也会涉及一些外部数据，如Saas数据、政务平台数据等。
分析云是把企业内部数据和外部数据都放到中台里面，内部数据是通过数据抽取的方式，对接ERP直接抽取；外部数据是采用云服务，爬虫的方式爬到云端再转存到数据中台。数据中台的所有数据是在企业端的，安全可靠且稳定。
在数据中台里，还会对数据进行处理，因为这些数据有可能是异构系统，对主数据的管理，数据治理等；一切业务数据化，一切数据业务化。
“语义层”技术通过对数据库里的有关数据项定义，把数据库中的数据定义成有明确业务含义的名称，业务人员所面对的不再是数据库中的表、字段和它们之间复杂的关联、计算关系，而是熟悉的业务术语和指标名称。
业务用户可以基于“语义层”简单快速地构建业务分析，实现业务人员做分析，IT人员做支持，提升分析效率及数据准确性。
自助分析：人人都可自助分析，即使不懂代码，也可以做数据分析；
开箱即用：预置了U8/NC/K3等主流ERP的财务和供应链分析主题，开箱即用，扩展简单；
智能分析：支持同比、环比、占比、排名、预警、预测、高级计算等功能。
智能预警：可以对不同的用户设置不同的预警值，通过邮件、钉钉、微信等IM进行图文消息推送。
智能预算：通过对企业内外部环境的分析，在预测与决策基础上，调配相应的资源，对企业未来一定时期的经营和财务等作出一系列具体计划。
丰富的可视化图形元素，尤其是表格，如固定表、垂直表、交叉表、复合表等，要能满足复杂的中国式报表和大表。例如数钥分析云，不仅能够支持PC端应用，还可接入移动端，或大屏展现等。
提供免费/在线/自动更新升级，产品能够不断迭代，bug修复和新功能升级等。在升级后保留二次开发的内容，且不影响原有分析设计。
极其流行，同样也是竞争力极其大的一种商业模式。虽然国内软件开发公司都发展壮大起来了，但是各地软件开发公司的实力及资质仍然参差不齐。下面为大家介绍下近期国内软件开发公司的排名汇总。
1：华盛恒辉科技有限公司
上榜理由：华盛恒辉是一家专注于高端软件定制开发服务和高端建设的服务机构，致力于为企业提供全面、系统的开发制作方案。在开发、建设到运营推广领域拥有丰富经验，我们通过建立对目标客户和用户行为的分析，整合高质量设计和极其新技术，为您打造创意十足、有价值的企业品牌。
在军工领域，合作客户包括：中央军委联合参谋(原总参)、中央军委后勤保障部(原总后)、中央军委装备发展部(原总装)、装备研究所、战略支援、军事科学院、研究所、航天科工集团、中国航天科技集团、中国船舶工业集团、中国船舶重工集团、第一研究所、训练器材所、装备技术研究所等单位。
在民用领域，公司大力拓展民用市场，目前合作的客户包括中国中铁电气化局集团、中国铁道科学研究院、济南机务段、东莞轨道交通公司、京港地铁、中国国电集团、电力科学研究院、水利部、国家发改委、中信银行、华为公司等大型客户。
2：五木恒润科技有限公司
上榜理由：五木恒润拥有员工300多人，技术人员占90%以上，是一家专业的军工信息化建设服务单位，为军工单位提供完整的信息化解决方案。公司设有股东会、董事会、监事会、工会等上层机构，同时设置总经理职位，由总经理管理公司的具体事务。公司下设有研发部、质量部、市场部、财务部、人事部等机构。公司下辖成都研发中心、西安研发中心、沈阳办事处、天津办事处等分支机构。
3、浪潮
浪潮集团有限公司是国家首批认定的规划布局内的重点软件企业，中国著名的企业管理软件、分行业ERP及服务供应商，在咨询服务、IT规划、软件及解决方案等方面具有强大的优势，形成了以浪潮ERP系列产品PS、GS、GSP三大主要产品。是目前中国高端企业管理软件领跑者、中国企业管理软件技术领先者、中国最大的行业ERP与集团管理软件供应商、国内服务满意度最高的管理软件企业。
4、德格Dagle
德格智能SaaS软件管理系统自德国工业4.0，并且结合国内工厂行业现状而打造的一款工厂智能化信息平台管理软件，具备工厂ERP管理、SCRM客户关系管理、BPM业务流程管理、
OMS订单管理等四大企业业务信息系统，不仅满足企业对生产进行简易管理的需求，并突破局域网应用的局限性，同时使数据管理延伸到互联网与移动商务，不论是内部的管理应用还是外部的移动应用，都可以在智能SaaS软件管理系统中进行业务流程的管控。
5、Manage
高亚的产品 (8Manage) 是美国经验中国研发的企业管理软件，整个系统架构基于移动互联网和一体化管理设计而成，其源代码编写采用的是最为广泛应用的
Java / J2EE 开发语言，这样的技术优势使 8Manage
可灵活地按需进行客制化，并且非常适用于移动互联网的业务直通式处理，让用户可以随时随地通过手机apps进行实时沟通与交易。
当然是阿里巴巴的大数据，所有的功能都有网页链接
大数据解决方案的选择需要考虑这几个方面的问题：
1.可视化分析；
2. 数据挖掘算法；
3. 预测性分析；
4. 语义引擎；
5.数据质量和数据管理；
大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值https://www.hwclouds.com/bigdata/。
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024