大数据的小算盘

文 | 韩志强

这两年大数据市场发展得红红火火，业界普遍看好其应用前景。精英们，专家们每每提及大数据，必然带上数据经济、物联网，人工智能等一长串金光闪耀的名词作为注脚，常把我这种小从业者侃的热血沸腾，大有“世界是我们的，就是我们的，最终还是我们的”的感觉。不过热血总是会平复的，冷静下来想想，能够在大数据浪潮中兴风作浪的只是少数有资源、有技术、有市场的巨头们，对于面临生存发展压力的众多小从业者来说，多美好的未来都太遥远，与其垂涎行业巨头们的大布局，不如静下心打打自己的小算盘。

大数据市场的快速发展会创造很多的市场机会，但也带来巨大的风险。大企业，乃至行业巨头都难保自己不会衰落，更何况对市场风险抵御能力更弱的小从业者。认清并跟随行业发展大趋势，无疑能够大大提升小从业者们的生存和发展能力。

随着在各行业中不断应用，大数据技术得到广泛的认可，进入了理性发展阶段。16年以来，各种社会组织对大数据的态度发生了改变，从一种潜力巨大的新技术变为帮助自己适应互联网时代的强力工具，大数据市场相应的出现了新动向：

• 业务需要驱动大数据建设。随着对大数据了解的不断加深，市场关注点变为大数据的实际应用价值，客户更加关心如何利用大数据，而不再是如何建设。大数据企业使用数据、挖掘数据的能力对其发展市场越来越重要。单纯技术驱动的大数据企业，特别是专注于大数据平台建设的，将会在在市场变化中遇到更多的挑战。
• 全量数据分析。身处复杂，异构环境中的企业不再希望仅为一个数据源(Hadoop)采用孤立的BI访问点。他们需要的答案被埋没在一大堆数据源中，从记录系统到云端，再到来自Hadoop和非Hadoop源的结构化和非结构化数据。企业会更加趋向于将自己的所有数据纳入数据管理分析范围。不依赖于数据源的平台将会受到欢迎，而专为Hadoop而设计的平台和未能跨应用部署的平台将受到冷遇。数据湖概念的兴起就是一个明显的佐证。
• 基于大数据的机器学习。随着大数据分析能力不断增强，越来越多的企业开始投入于机器学习，并从中获益。企业可以通过机器学习算法识别潜在客户，或识别即将流失的客户，或识别营销推广中作弊的渠道，或及时发现关键KPI下跌的原因等。

结合自身情况和行业发展，不断调整，找到最适合自己的发展方向和策略，小从业者也可以顺风顺水，说不定有一天就站到大数据的风口浪尖。

大有大的难处，小有小的优点。相比于行业巨头和大企业，灵活快速的满足客户要求是小从业者的最大优势。像其他新技术一样，大数据在落地的过程中会遇到很多的问题，这是新兴市场给所有从业者的礼物，也是小从业者快速发展的契机。

大数据真正在各行业落地的时间并不长，以往企业更多的是在验证技术可行性，直到16年才开始考虑围绕大数据构建IT体系，一些比较普遍的问题受到了各方面的关注：

• 打通数据孤岛仍是企业关注重点。在很多企业尤其是大型企业中，数据常常散落在不同部门，而且这些数据存储于不同的数据仓库，不同部门的数据技术也有可能不同，导致企业内部数据无法打通。从自由模式的JSON到嵌入式的数据库(如关系数据库和非关系数据库)，到非平面数据(如Avro，Parquet，XML)，数据格式正在成倍增长，连接器变得至关重要，它将不同格式的数据变成统一的表达，让不同格式的数据之间实现互通。为零散的、不同的资源提供即时连接的能力，将成为评估一个大数据系统能力的重要方面。
• “自助服务”工具。企业数据用户（往往是业务、产品、营销负责人等非大数据专业人士）在实际运用大数据的时候，更关注的是大数据的产品在哪些方面可以直接帮助改善自身业务，不需要关注大数据产品内部各个环节的技术细节。大数据在落地的过程中，需要解决大数据能力产品化的问题，帮助非专业人员使用，比如：自助服务的大数据分析工具、数据管理工具等。我们将看到更多企业意识到自助工具的重要性，以及对其迫切的需求。
• 智能BI。智能化涵盖的内容很多，包括人工智能等等，但对于资源、技术都比较匮乏的大多数小从业者而言，考虑企业用户对BI系统的智能化期待更具现实意义。企业最希望利用大数据技术实现精细化运营，发现新的发展和提升契机。这将推进智能BI的发展，帮助企业更好地理解和满足客户需求和潜在需求，更好地应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。

大数据在各行业的落实，是数据技术同行业知识的结合，是一个长期的持续提升过程。大数据企业需要不断的观察、分析市场动态，保持敏锐的市场触觉，不断调整自身抓住每个机会壮大自己。

来自：韩志强 中兴大数据