Lemcoden

来自于大数据攻城狮的分享

为什么要使用Kylin

在使用一个框架之前我们都要问问自己为什么要使用这个框架,他要解决什么问题,这个框架在解决这方面问题有什么样的优势,Kylin也如此。
那么他是解决什么问题的呢?他是解决数据仓库工程的最后阶段,OLAP(联机分析处理)的查询慢的问题。
在实际的数据仓库项目中,我们需要在几亿甚至上百亿条的数据当中聚合查询我们所需要的信息,但是这对于批处理来说是非常缓慢的查询过程。但是kylin不同,它通过自己所独有的预计算功能,将原来查询所需的几个小时缩短为秒内返回。

使用kylin前的几个概念

Read more »

起因

事情是这样子的,我很早之前注册的名为longzuzero的github账号,当时名字是随便想,用《龙族》小说名的汉语拼音加上英文的零,当时n年后,我准备开始写属于自己的技术博客时,才发现,这个名字没有任何意义,所以建立博客之初我把名字定义为
Lemcoden

Read more »

本篇博客分为三部分

  • github 账号注册,创建库,本地链接远程库
  • hexo 的安装,主题以及博文的部署
  • 域名的注册,设置转发
Read more »

介绍

Apache Kylin是Hadoop大数据平台上的一个开源OLAP引擎。它采用多维立方体预计算技术,可以将大数据的SQL查询速度提升到亚秒级别。相对于之前的分钟乃至小时级别的查询速度,亚秒级别速度是百倍到千倍的提升,该引擎为超大规模数据集上的交互式大数据分析打开了大门。
笔者作为一个大数据工程师,kylin这种查询速度极高的大数据OLAP引擎是必须需要学习掌握的,此文便是关于kylin的配置过程以及过程中遇到的一些问题,后续笔者可能会写多篇博客来阐述kylin开发遇到的问题以及如何解决。

Read more »

1.在个人博客文件夹的/source/_post目录里添加新的md文件,编写格式如下
编写格式

Read more »

安装配置

下载

1
2
wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.5/apache-hive-2.3.5-bin.tar.gz
Read more »

Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

Read more »