Lemcoden

大数据框架总结

我们平常使用到的大数据开发的框架有hdfs,mapreduce,yarn,hbase,hive,spark,flink等等

林林总总的框架,经过归纳整理,我们可以总结一个大数据通用的技术架构图

首先大数据主要是指对大数据的计算处理,然这个大前提在于数据从哪来,数据来了我们存到哪里.

数据来源主要有两个,(其实细分各个部门各个系统数据极其多,这里只是总结最通用的)

• 服务器产生的积累起来的业务数据,通常存储在mysql,sql server,orcale等数据库当中

• 对前端(网页,移动终端)埋点产生的日志操作数据

  Read more »

redis常见问题

1

jedis,luttce,springboot:low/high level

击穿

key过期造成并发访问数据库

graph LR
	id0((用户
client)) --> id2
	id2[nginx] --> id3[ ]
	id3 --> id4
	id4((client
server)) --1.null--> id5[redis
缓存
key过期时间,LRU,LFU]
	id4 --2.setInx--> id5
	id4 --3.只有获得锁的去访问DB--> id1[DBMySQL]
	id4 --> id1
	before[before
肯定发生了高并发]

解决:

并发有了:阻止并发到达DB,redis又没有key

redis是单进程单实例

setInx() -> 锁

AKF概述

graph TB
	subgraph single
	id1[redis 单机 单进程 缓存 数据库]
	id1 --> id((RDB AOF))
	end

单机,单节点,单实例

1.单点故障

2.容量有限

3.压力

数据库设计

缓存:数据可以丢 急速!

数据库:数据绝对不能丢 速度+持久性

掉电易失!

redis+mysql > 数据库 < 不太对

redis如何持久化

邮箱收到github构建异常

三个月前,我的gmail收到一封关于hexo在github上构建异常的邮箱

邮箱的主要内容如下:

The page build failed for the master branch with the following error:

The symbolic link /blog_workspace targets a file which does not exist within your site’s repository.

mermaid 流程图

格式:

1
2
3

mermaid
	graph 流程图方向
	流程图内容

发展历程

数据库:表很大,性能下降?
如果表有索引,增删改变慢(需要维护索引)
查询速度会不会变慢:
1.一个或少量查询依然很快
2.并发大的时候会受硬盘带宽影响速度

redis API 及其设计

graph LR
	id[value] --> id1[List 单向链表,双向链表,环形链表]
	id1 --> id2[list栈
 同向命令]
	id1 --> id3[list队列
 反向命令]
	id1 --> id4[数组]
	id1 --> id5[阻塞
 单播队列 
 FIFO]
	id1 --> id6[Set]
	id1 --> id9[sorted Set]
	id6 --> id7[无序,去重]
id100[成本思考,两次服务端通讯,keys*模式匹配成本高,mget] --> id101(hash
对field进行数值计算,场景:点赞,收藏,计算)
	id6 --> id8[随机事件]

mysql四大排名函数

row_number: 连续 不重复

rank: 不连续 重复

dense_rank: 连续 重复

ntile:有参数 入参group_num, 将数据分成group_num个组排序编号