KNN+K-Means算法我们之前聊过KNN算法的具体流程,简单的讲就是计算所有点与新进入点的距离,然后取出K个最近距离的点 而KNN算法如果代入实际的计算框架中,每次判断都需要计算与所有点的距离,这个算法的计算量是很巨大的 所以,我们利用”预计算””预分区”类似这样的思想,将数据提前使用K-Means算法分好类,这样我们只需要计算,新进入点在本类当中的所有点的距离就可以...

逻辑回归算法算法公式逻辑回归算法是一种广义的线型回归分析模型 我们之前聊的线型回归模型,它只能预测一个与实际误差较小的具体值,而没有办法满足二分类的要求. 而逻辑回归就是一种专门解决二分类问题的算法,但是二分类的算法不止能用于二分类,还可以用于多分类. 在聊完逻辑回归怎么用于二分类之后,我们再聊怎么将它用于多分类. 我们知道我们逻辑回归的函数长这个样子而我们的逻辑回归则是...

贝叶斯分类算法一种先验概率计算后验概率的算法,什么是先验概率,啥是后验概率? emmmmm,先走起来再找路,我先给出公式,然后再慢慢解释首先一个简单的问题,帮我们推导一下这个公式结果, 一所学校里面60%的男生,40%的女生.男生总是穿长裤,女生则一半穿长裤一半穿裙子 迎面走来一个人,这个人是男生的概率? %60 (这叫正向概率) 迎面走来一人,你高度近视,看不清楚...

大数据框架总结我们平常使用到的大数据开发的框架有hdfs,mapreduce,yarn,hbase,hive,spark,flink等等 林林总总的框架,经过归纳整理,我们可以总结一个大数据通用的技术架构图 首先大数据主要是指对大数据的计算处理,然这个大前提在于数据从哪来,数据来了我们存到哪里. 数据来源主要有两个,(其实细分各个部门各个系统数据极其多,这里只是总结最通用...

数据库设计缓存:数据可以丢 急速! 数据库:数据绝对不能丢 速度+持久性 掉电易失! redis+mysql > 数据库 < 不太对 redis如何持久化存储层: 1.快照/副本 2.日志 从linux进程开始聊graph LR id1[单机持久化] --> id2{RDB} id2 --> id4[时点性] id2 --> id6...

邮箱收到github构建异常

三个月前,我的gmail收到一封关于hexo在github上构建异常的邮箱

邮箱的主要内容如下:

The page build failed for the master branch with the following error:

The symbolic link /blog_workspace targets a file which does not exist within your site’s repository.

mermaid 流程图

格式:

1
2
3

mermaid
	graph 流程图方向
	流程图内容

mysql四大排名函数

row_number: 连续 不重复

rank: 不连续 重复

dense_rank: 连续 重复

ntile:有参数 入参group_num, 将数据分成group_num个组排序编号

redis API 及其设计

graph LR
    id[value] --> id1[List 单向链表,双向链表,环形链表]
    id1 --> id2[list栈
 同向命令]
    id1 --> id3[list队列
 反向命令]
    id1 --> id4[数组]
    id1 --> id5[阻塞
 单播队列 
 FIFO]
    id1 --> id6[Set]
    id1 --> id9[sorted Set]
    id6 --> id7[无序,去重]
id100[成本思考,两次服务端通讯,keys*模式匹配成本高,mget] --> id101(hash
对field进行数值计算,场景:点赞,收藏,计算)
    id6 --> id8[随机事件]

发展历程

数据库:表很大,性能下降?
如果表有索引,增删改变慢(需要维护索引)
查询速度会不会变慢:
1.一个或少量查询依然很快
2.并发大的时候会受硬盘带宽影响速度