Untitled

Posted on 2020-11-12 Edited on 2023-02-20 In redis

redis API 及其设计

graph LR
	id[value] --> id1[List 单向链表,双向链表,环形链表]
	id1 --> id2[list栈
 同向命令]
	id1 --> id3[list队列
 反向命令]
	id1 --> id4[数组]
	id1 --> id5[阻塞
 单播队列 
 FIFO]
	id1 --> id6[Set]
	id1 --> id9[sorted Set]
	id6 --> id7[无序,去重]
id100[成本思考,两次服务端通讯,keys*模式匹配成本高,mget](>对field进行数值计算,场景:点赞,收藏,计算)
	id6 --> id8[随机事件]

sql语句笔记01

Posted on 2020-11-12 Edited on 2023-02-20 In mysql

mysql四大排名函数

row_number: 连续不重复

rank: 不连续重复

dense_rank: 连续重复

ntile:有参数入参group_num, 将数据分成group_num个组排序编号

sqoop 简单安装配置

Posted on 2020-11-10 Edited on 2023-02-20

$HIVE_SRC/build/dist/bin/hive 
--auxpath $HIVE_SRC/build/dist/lib/hive-hbase-handler-0.9.0.jar,
$HIVE_SRC/build/dist/lib/hbase-0.92.0.jar,
$HIVE_SRC/build/dist/lib/zookeeper-3.3.4.jar,
$HIVE_SRC/build/dist/lib/guava-r09.jar
--hiveconf 
hbase.zookeeper.quorum=zk1.yoyodyne.com,zk2.yoyodyne.com,zk3.yoyodyne.com

Centos7的mysql安装

Posted on 2020-11-09 Edited on 2023-02-20 In linux环境

下载官方mysql源

1	wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

加载rpm源

1	rpm -ivh mysql-community-release-el7-5.noarch.rpm

暂时记录的tips

Posted on 2020-09-22 Edited on 2023-02-20 In hadoop生态

hadoop mr HistoryServer的配置和启动命令

mapred-site.xml

<property>
<name>mapreduce.jobhistory.address</name>
<value>node04:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node04:19888</value>
</property>

hbase笔记总结02

Posted on 2020-09-15 Edited on 2023-02-20 In hadoop生态

HBase优化设计

1、表的设计

1、Pre-Creating Regions

默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。