Lemcoden

来自于大数据攻城狮的分享

大数据框架总结

我们平常使用到的大数据开发的框架有hdfs,mapreduce,yarn,hbase,hive,spark,flink等等

林林总总的框架,经过归纳整理,我们可以总结一个大数据通用的技术架构图

首先大数据主要是指对大数据的计算处理,然这个大前提在于数据从哪来,数据来了我们存到哪里.

数据来源主要有两个,(其实细分各个部门各个系统数据极其多,这里只是总结最通用的)

  • 服务器产生的积累起来的业务数据,通常存储在mysql,sql server,orcale等数据库当中

  • 对前端(网页,移动终端)埋点产生的日志操作数据

    Read more »

redis常见问题

1
jedis,luttce,springboot:low/high level

击穿

key过期造成并发访问数据库

graph LR
	id0((用户
client)) --> id2 id2[nginx] --> id3[ ] id3 --> id4 id4((client
server)) --1.null--> id5[redis
缓存
key过期时间,LRU,LFU] id4 --2.setInx--> id5 id4 --3.只有获得锁的去访问DB--> id1[DBMySQL] id4 --> id1 before[before
肯定发生了高并发]

解决:

并发有了:阻止并发到达DB,redis又没有key

redis是单进程单实例

setInx() -> 锁

Read more »

AKF概述

graph TB
	subgraph single
	id1[redis 单机 单进程 缓存 数据库]
	id1 --> id((RDB AOF))
	end

单机,单节点,单实例

1.单点故障

2.容量有限

3.压力

Read more »

数据库设计

缓存:数据可以丢 急速!

数据库:数据绝对不能丢 速度+持久性

掉电易失!

redis+mysql > 数据库 < 不太对

redis如何持久化

Read more »

邮箱收到github构建异常

三个月前,我的gmail收到一封关于hexo在github上构建异常的邮箱

邮箱的主要内容如下:

The page build failed for the master branch with the following error:

The symbolic link /blog_workspace targets a file which does not exist within your site’s repository.

Read more »

发展历程

数据库:表很大,性能下降?
如果表有索引,增删改变慢(需要维护索引)
查询速度会不会变慢:
1.一个或少量查询依然很快
2.并发大的时候会受硬盘带宽影响速度

Read more »

redis API 及其设计

graph LR
	id[value] --> id1[List 单向链表,双向链表,环形链表]
	id1 --> id2[list栈
同向命令] id1 --> id3[list队列
反向命令] id1 --> id4[数组] id1 --> id5[阻塞
单播队列
FIFO] id1 --> id6[Set] id1 --> id9[sorted Set] id6 --> id7[无序,去重] id100[成本思考,两次服务端通讯,keys*模式匹配成本高,mget] --> id101(hash
对field进行数值计算,场景:点赞,收藏,计算) id6 --> id8[随机事件]
Read more »

mysql四大排名函数

row_number: 连续 不重复

rank: 不连续 重复

dense_rank: 连续 重复

ntile:有参数 入参group_num, 将数据分成group_num个组排序编号

Read more »

1
2
3
4
5
6
7
$HIVE_SRC/build/dist/bin/hive 
--auxpath $HIVE_SRC/build/dist/lib/hive-hbase-handler-0.9.0.jar,
$HIVE_SRC/build/dist/lib/hbase-0.92.0.jar,
$HIVE_SRC/build/dist/lib/zookeeper-3.3.4.jar,
$HIVE_SRC/build/dist/lib/guava-r09.jar
--hiveconf
hbase.zookeeper.quorum=zk1.yoyodyne.com,zk2.yoyodyne.com,zk3.yoyodyne.com
Read more »