Lemcoden

为什么要看源码

1.为了更好的使用框架的Api解决问题,比如说我们遇到一个问题,需要修改mapreduce分片的大小,如果没看过源码,可能会写很多代码,甚至重新调整文件block的大小上传,但是看过源码的都懂,只要简单的修改minSplite和maxSplite这两个配置属性就可以.
2.为了学习框架本身的设计方法,应用到日常开发中.
(此次源码分析的hadoop版本为2.7.2)

背景,

为了体现分布式计算的优点,将数据分而治之再进行相应方面的计算.hadoop提出了mapreduce计算模型

计算模型

• map 端负责将拆分出来的数据进行映射,变换,过滤.体现在一进N出
  Read more »

基础设施

• 网卡静态IP

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

ifconfig 查看网卡信息
vim /etc/udev/rules.d/70-persistent-ipoib.rules
              ACTION=="add", SUBSYSTEM=="net", DRIVERS=="?*", ATTR{type}=="32", ATTR{address}=="?*00:02:c9:03:00:31:78:f2", NAME="网卡名"
vim /etc/sysconfig/network-scripts/ifcfg-网卡名
POXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static  //设置静态IP
DEFROUTE=yes
NAME=enp0s3
UUID=290c55a8-1b88-4d99-b741-dcfe455f5c2c
DEVICE=enp0s3
ONBOOT=yes
IPADDR=192.168.0.101  //一般本地IP最后依次增加
NETMASK=255.255.255.0
GATWAY=192.168.0.1 //同一集群必须同一网关

• 设置hosts
  Read more »

关于HDFS原理在此写个总结
前三点主要围绕分布式文件系统那么多,为什么apache还要开发自己的文件系统
后两点主要围绕hdfs的高可用问题

1.HDFS存储模型

• 1.hdfs的存储模型第一个核心为block(块),hdfs的所有存储文件都是按照块来进行划分的,每个文件可以有不同的块,但是文件中除了最后一个块,每个块的大小必须相同,这个为了保证可以和hadoop计算框架,相适应能够有一个统一的计算单位,这个统一的计算单位block不是固定的,需要根据具体的I/O特性进行调整.
• 2.除了围绕块之外存储模型还有一个核心是存储副本(replication),副本可以冗余数据保证系统的可靠性.并多个副本存储在不同主机当中可以增加计算程序与数据在同一集群的概率,提升计算的性能.

终端 => 文件管理器

在终端输入,nautilus(中文直译为鹦鹉螺,是ubuntu默认文件管理器的名字,戏剧性的是笔者玩的一款游戏terraria,里面的某个boss就是nautilus,所以就顺带记住了)

1

nautilus ./

pc与手机链接(GSConnect方式)

主要是因为linux版QQ都是bug,linux也没有微信所以只能通过GSConnect链接手机

来相互传送文件.

前情提要:
hexo优化:github+coding双搭建，域名CNAME别称指向

关于域名备案

首先向各位读者道歉,之前向大家推荐了Godaddy的域名注册,笔者发现注册完成之后并不是非常好用,官网难以打开,客服反映慢,并且也不提供备案服务

如果大家像笔者之前的那样注册了Godady的域名,请直接去阿里&腾讯云社区,搜索域名转入,进行相关操作,域名转入需要多交一年的域名租赁费用

如果申请国内阿里,腾讯云的,可以直接去备案,备案需要有域名提供商的云服务器,并且需要填写身份信息,备案申请,快的话一个星期才能申请下来

关于图床

前情提要

jvm的轻量级爽口讲解–内存管理子系统（俗称垃圾回收）〇贰

前言

1

表示博客已经优化到博主比较满意的程度，图片加载问题已解决，jvm系列文章的封面也使用了自己设计的封面，首页菜单添加jvm和blog建站的专栏．虽然说的有点像枯燥的开发日志，但是能看到自己的东西越做越好真是由衷的发自内心的高兴，在这里博主祝大家端午节快乐，来口粽子，来口ｊｖｍ小菜（恩，没毛病）

上次没吃完的一口粽子之安全点不够用？

前情提要

jvm的轻量级爽口讲解–内存管理子系统（俗称垃圾回收）〇贰

其中对象的引用链路描述有误，现已经更改（应该是查找根节点引用的对象，而不是查找引用根节点的对象）

前言

1
2
3
4

hey！guys，I'm back,关于之前两篇的blog，博主尽可能进行debug，毕竟一篇好的blog是需要经过不断修改打磨的，
就像我们敲过的代码，如果不去不断的重构，之后必将"积重难返"，然后还有一个，关于图片显示的问题，这个博主也
正在全力解决当中，准备把图床转到国内(此行为需要备案)，域名正在备案中.......请大家耐心等待。好了我们继续上一
篇的问题，上一篇我们留下一个关键的问题，如何进行垃圾内存的并发标记，这次，我们就从这个问题开始。

再聊并发可达性分析

关于华夏世界各职称权限以及命令使用此处写一个简单的草稿

原因

主要是大家一直在问这个职业能干什么，服主不能一个权限教一个人，那样会累死的。。。。。所以写了这一篇简短的权限以及命令简介，注意：所有的命令都是通过聊天框输入生效

游客

前情提要

jvm的轻量级爽口讲解–内存管理子系统（俗称垃圾回收）〇壹

上回，我们就jvm虚拟机内存的问题一路问下来，整出了整个jvm虚拟的知识点大纲。这次我们就问题树的最小子树，继续往下问，继续往下回答。就上次的某些问题问的有些突然，那些新概念像是不要钱的一样直接涌过来，让人有点懵，这次，笔者会尽可能的把它从哪里来，到哪里去，它的整个来龙去脉给它溜全了。

jvm内存为什么使用可达性分析算法而不是使用引用计数器算法实现内存块的标记

标记之后再回收？