大数据（二）大数据的流程和应用

阅读量
× 文章目录
  1. 1. Quick Guide
    1. 1.1. 大数据业务流程
      1. 1.1.1. 数据采集
      2. 1.1.2. 数据提取
      3. 1.1.3. 数据应用
    2. 1.2. 大数据数据流
    3. 1.3. 大数据应用

本文章主要介绍大数据业务流程以及应用。

Quick Guide

大数据业务流程

数据采集

数据采集就是使用不同的方式去各种数据源采集数据

数据来源 外部 内部 内部
数据类型 公开的信息 用户的行为信息 用户信息
获取方式 爬虫 埋点 业务数据库

数据提取

  • 数据清洗：数据由于来自各个源，为了使用方便和隐私考虑，需要清洗

    • 判断是否加密信息
      • 加密信息解密，获取明文数据
      • 脱敏数据，跳过清洗
    • 数据规则：例如去掉空格和一些特殊字符，让数据变得有效和统一规范
    • 数据统一加密，生成衍生加密表

  • 企业数仓：清洗的数据最后统一存储到企业数仓,在企业数仓通过数据整理分类和分析,提取有效的应用信息

    • 数据分类,形成基础信息表
    • 通过基础信息表,形成综合信息表(宽表 维度表)
    • 通过业务综合表进行一定数据计算形成应用标签存储数据集市

数据应用

  • 通过业务综合表进行一定数据计算（算法模型/决策）形成应用标签存储数据集市
  • 通过接口查询或者报表展示

大数据数据流

大数据应用

  • 精准营销:
    • 从数据集市获取用户特征(行为/角色标签)
    • 组合不同的特征形成不一样受众群体
    • 针对不同的受众群体制定不同的策略去营销:,通过不同方式(短信/邮件/软件的消息和广告位)去推荐商品
  • 风险控制
    • 从数据获取用户的风险信息
    • 通过风控策略（决策引擎）把用户划分成不同风险级别，采取不同风险控制
  • 数据报表
    • 从数据集市获取产品和公司的运行信息
    • 通过不同图表去展示，反应产品和公司的状况

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

A Code Farmer.