Skip to content

F
foot

加钱居士. / foot

通知 3
Star 1
Fork 0
F
foot

前往新版Gitcode，体验更适合开发者的 AI 搜索 >>

提交 30c2ada6 编写于 作者: M monomania
浏览文件
操作

1.新增blog文章

上级 01c6400f
隐藏空白更改
内联 并排
Showing with 352 addition and 58 deletion
blog/Linux处理性能问题常用命令(物联网后台开发).md 0 → 100644
浏览文件 @ 30c2ada6
#Linux处理性能问题常用命令(物联网后台开发)
~~~
本人专职于物联网后台,以下是一些自己在开发调试问题常用到一些Linux命令.
~~~
##$ 命令集
~~~
#@监控系统命令
vmstat 1
#@sysstat 每秒显示1次，仅显示3次
#监控网上
sar -n DEV 1 3
#系统负载
sar -q 1 3
#磁盘读写
sar -b 1 3
#@磁盘使用，查看占用磁盘最高的是哪个进程
iotop
#io性能 每秒显示1次，仅显示3次
iostat -x 1 3
#@dump数据包
tcpdump -nn port 80
tcpdump -nn -c 100 -w 1.cap
tcpdump udp port 17905 -w 17905.cap
#@查看网卡是否连接
mii-tool ens33
ethtool ens33
#@性能调试监控工具
iperf -u -s -p5003
iperf -c 172.168.7.152 -u -b 600m
iperf -c 172.19.53.107 -p5003 -u -b 600m
#@流量监控
iftop -Pn
#@查看端口占用
netstat -su
#一个小技巧：直接查看以下数据的并发量
netstat -an |awk '/^tcp/{++sta[$NF]} END {for(key in sta) print key,"\t",sta[key]}'
netstat -an |awk '/^udp/{++sta[$NF]} END {for(key in sta) print key,"\t",sta[key]}'
#@ss -an 和nestat 异曲同工，不足是不会显示进程的名字
ss -an
#@ping的话可以来判断丢包率，tracert可以用来跟踪路由，在Linux中有一个更好的网络连通性判断工具，它可以结合ping nslookup tracert 来判断网络的相关特性,这个命令就是mtr
mtr -rw www.baidu.com
#@文档格式转unix
yum install dos2unix -y
dos2unix *.sh
~~~
blog/VirtualBox安装CentOS的网络配置.md 0 → 100644
浏览文件 @ 30c2ada6
#VirtualBox安装CentOS的网络配置
##$ 前言
* 镜像:CentOS-6.4-i386-minimal.iso
##$ 配置目标
* 虚拟机里的CentOS既可以和主机互联,同时也可以连上外网
##$ 碰到的错误
~~~
使用ping时,错误:
network is unreachable
service network restart时,错误:
Device eth0 does not seem to be present.
~~~
## 1.先配置好Host-only和Nat
![virtualbox_1.jpg](https://upload-images.jianshu.io/upload_images/3285005-cc541cb072f8b9c4.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
![virtualbox_2.jpg](https://upload-images.jianshu.io/upload_images/3285005-04ab2bd7cd665bdf.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
## 2.查看文件cat /etc/udev/rules.d/70-persistent-net.rules
查看配置的上图的mac地址 是否与 文件中的ATTR[address]对应上.
如果不对应可以选择删除该文件重启，也可以直接修改该文件
~~~
[root@localhost network-scripts]# cat /etc/udev/rules.d/70-persistent-net.rules
# This file was automatically generated by the /lib/udev/write_net_rules
# program, run by the persistent-net-generator.rules rules file.
#
# You can modify it, as long as you keep each rule on a single
# line, and change only the value of the NAME= key.
# PCI device 0x8086:0x100e (e1000)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="08:00:27:e2:c7:25", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"
# PCI device 0x8086:0x100e (e1000)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="08:00:27:bb:f0:79", ATTR{type}=="1", KERNEL=="eth*", NAME="eth2"
~~~
## 3.进入 cd /etc/sysconfig/network-scripts目录
### 3.1 修改目录下的ifcfg-eth0 文件
该文件的DEVICE,HWADDR 应该与/etc/udev/rule.d/70-persistent-net.rules中的eth1一致.
我的ifcfg-eth0 文件,修改后为:
~~~
[root@localhost network-scripts]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth1
HWADDR=08:00:27:E2:C7:25
TYPE=Ethernet
UUID=459bb09f-ce67-4276-a510-371dc8b8a12e
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=dhcp
~~~
### 3.2 修改目录下的ifcfg-eth1 文件(没有则创建)
该文件的DEVICE,HWADDR 应该与/etc/udev/rule.d/70-persistent-net.rules中的eth2一致.
我的ifcfg-eth1 文件,修改后为:
~~~
[root@localhost network-scripts]# cat /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth2
HWADDR=08:00:27:BB:F0:79
TYPE=Ethernet
UUID=459bb09f-ce67-4276-a510-371dc8b8a12e
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=dhcp
~~~
## 4.重启服务, service network restart
执行ifconfig命令，输出
~~~
[root@localhost network-scripts]# ifconfig
eth1 Link encap:Ethernet HWaddr 08:00:27:E2:C7:25
inet addr:192.168.56.103 Bcast:192.168.56.255 Mask:255.255.255.0
inet6 addr: fe80::a00:27ff:fee2:c725/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:924 errors:0 dropped:0 overruns:0 frame:0
TX packets:500 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:90940 (88.8 KiB) TX bytes:80641 (78.7 KiB)
eth2 Link encap:Ethernet HWaddr 08:00:27:BB:F0:79
inet addr:10.0.3.15 Bcast:10.0.3.255 Mask:255.255.255.0
inet6 addr: fe80::a00:27ff:febb:f079/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:5 errors:0 dropped:0 overruns:0 frame:0
TX packets:13 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1066 (1.0 KiB) TX bytes:1145 (1.1 KiB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b) TX bytes:0 (0.0 b)
~~~
\ No newline at end of file
blog/Docker下Redis集群搭建配置(docker-compose).md → blog/docker-compose配置redis集群搭建(三主三从分槽模式).md
浏览文件 @ 30c2ada6
#swarm模式下docker-compose配置zookeeper分布式集群
#docker-compose配置redis集群搭建(三主三从分槽模式)
##$ 前言
* 记录一次,在docker swarm 下利用docker-compose创建的3个节点的zookeer分布式集群.
* docker-compose配置redis集群.三主三从分槽模式
##$ docker环境下常用到的命令
## 1.0 下载redis配置
~~~
####docker启动单个容器
docker start 容器名
####docker停止单个容器
docker stop 容器名
####停止删除所有容器
docker stop $(docker ps -a -q) && docker rm $(docker ps -a -q) -f
####删除所有镜像
docker image rm $(docker images -q) -f
####删除无用的卷
docker volume prune
####查看docker日志文件大小
ls -lh $(find /var/lib/docker/containers/ -name *-json.log)
####查找大文件
find / -type f -size +100M
####docker-compose方式创建启动容器
docker-compose -f zk.yml up -d
####docker-compose方式停止销毁容器
docker-compose -f zk.yml down
链接：https://pan.baidu.com/s/1BFUDaI1JgENUB1NoqQbtPQ
提取码：wad1
~~~
### 1.1配置内容 redis.conf
~~~
port 7001
pidfile /var/run/redis.pid
timeout 60
rdbchecksum no
rdbcompression yes
loglevel notice
appendonly yes
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
maxclients 50000
maxmemory 10gb
maxmemory-policy volatile-lru
slowlog-log-slower-than 10000
slowlog-max-len 1024
hz 50
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
cluster-announce-ip 172.169.7.101
cluster-announce-port 7001
cluster-announce-bus-port 17001
~~~
## 2.0将压缩包内所有的配置文件放到/var/lib/docker/volumes/下
~~~
[root@xxx]# ll -h /var/lib/docker/volumes/| grep service_redis-700
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7001-conf
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7001-data
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7002-conf
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7002-data
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7003-conf
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7003-data
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7004-conf
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7004-data
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7005-conf
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7005-data
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7006-conf
drwxr-xr-x 3 root root 4.0K Jul 1 2019 service_redis-7006-data
~~~
## 首先创建一个Docker网卡
## 3.0 首先创建一个Docker网卡
~~~
#创建swarm网络
docker network create -d overlay service_ov_net --attachable --subnet 172.169.0.0/16 --gateway
~~~
## redis配置 redis.yml 配置说明
* x-logging 配置docker容器的日志文件大小最大256m 最多3个
* networks 指定网络为我们上面创建的网络
* volumes 不需要刻意创建,docker默认会在/var/lib/docker/volume/ 进行创建
* ZOO_MY_ID: 配置各个节点的ID
* ZOO_SERVERS: server.1 配置各个节点的连接地址
* ZOO_AUTOPURGE_PURGEINTERVAL: 配置1个小时清理一下zk日志
* ZOO_AUTOPURGE_SNAPRETAINCOUNT: 配置最多保留3个zk日志
## redis.yml 源配置
## 4.0 下载保存redis.yml 源配置
~~~
version: '3.4'
......@@ -158,6 +177,67 @@ services:
ov_net:
ipv4_address: 172.169.7.106
command: bash -c "redis-server /etc/redis/redis.conf"
~~~
## 5.0 启动集群
~~~
docker-compose -f redis.yml up -d
~~~
## 6.0 进入redis容器中配置集群
~~~
这后面的命令也可以配置在redis.yml中,等配置写成所有的容器启动后去执行以下命令.
## 进入容器中（随意进入一个。这里是进入第一个）
docker exec -it service_redis-7001_1 /bin/bash
##执行构建集群命令
redis-cli --cluster create 172.168.7.12:7001 172.168.7.12:7002 172.168.7.12:7003 172.168.7.12:7004 172.168.7.12:7005 172.168.7.12:7006 --cluster-replicas 1
##查看集群
root@redis-7001:/data# redis-cli -p 7001
127.0.0.1:7001> CLUSTER NODES
d202b7f6b80f4b189874a8b00558814e6cc052c0 172.169.7.105:7005@17005 slave 970a5eeae2a9d614ff26da26c6642ba948f497b7 0 1586673798000 5 connected
9e3cfb6fb8ed277665e055d433cfbd8c16a41bf6 172.169.7.102:7002@17002 master - 0 1586673799549 2 connected 5461-10922
1e7ca7c0890f801082479691af177012e4d923e9 172.169.7.106:7006@17006 slave 9e3cfb6fb8ed277665e055d433cfbd8c16a41bf6 0 1586673799046 6 connected
970a5eeae2a9d614ff26da26c6642ba948f497b7 172.169.7.101:7001@17001 myself,master - 0 1586673798000 1 connected 0-5460
c40154631f25724742302a6de5e76f4db575ed6c 172.169.7.104:7004@17004 slave c04c6b91d799e9e2f7eb0813974ab55881b19041 0 1586673799046 4 connected
c04c6b91d799e9e2f7eb0813974ab55881b19041 172.169.7.103:7003@17003 master - 0 1586673800054 3 connected 10923-16383
127.0.0.1:7001> CLUSTER INFO
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:43565215
cluster_stats_messages_pong_sent:43434582
cluster_stats_messages_sent:86999797
cluster_stats_messages_ping_received:43434577
cluster_stats_messages_pong_received:43565215
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:86999797
127.0.0.1:7001>
##redis集群三主三从分槽配置完成
~~~
##$ 附带上自己docker环境下常用到的命令
~~~
####docker启动单个容器
docker start 容器名
####docker停止单个容器
docker stop 容器名
####停止删除所有容器
docker stop $(docker ps -a -q) && docker rm $(docker ps -a -q) -f
####删除所有镜像
docker image rm $(docker images -q) -f
####删除无用的卷
docker volume prune
####查看docker日志文件大小
ls -lh $(find /var/lib/docker/containers/ -name *-json.log)
####查找大文件
find / -type f -size +100M
####docker-compose方式创建启动容器
docker-compose -f zk.yml up -d
####docker-compose方式停止销毁容器
docker-compose -f zk.yml down
~~~
\ No newline at end of file
blog/swarm模式下docker-compose配置zookeeper分布式集群.md → blog/docker-compose配置zookeeper分布式集群.md
浏览文件 @ 30c2ada6
#swarm模式下docker-compose配置zookeeper分布式集群
#docker-compose配置zookeeper分布式集群
##$ 前言
* 记录一次,在docker swarm 下利用docker-compose创建的3个节点的zookeer分布式集群.
##$ docker环境下常用到的命令
~~~
####docker启动单个容器
docker start 容器名
####docker停止单个容器
docker stop 容器名
####停止删除所有容器
docker stop $(docker ps -a -q) && docker rm $(docker ps -a -q) -f
####删除所有镜像
docker image rm $(docker images -q) -f
####删除无用的卷
docker volume prune
####查看docker日志文件大小
ls -lh $(find /var/lib/docker/containers/ -name *-json.log)
####查找大文件
find / -type f -size +100M
####docker-compose方式创建启动容器
docker-compose -f zk.yml up -d
####docker-compose方式停止销毁容器
docker-compose -f zk.yml down
~~~
## 首先创建一个Docker网卡
~~~
#创建swarm网络
......@@ -118,3 +95,25 @@ services:
ov_net:
ipv4_address: 172.169.11.103
~~~
##$ 附带上自己docker环境下常用到的命令
~~~
####docker启动单个容器
docker start 容器名
####docker停止单个容器
docker stop 容器名
####停止删除所有容器
docker stop $(docker ps -a -q) && docker rm $(docker ps -a -q) -f
####删除所有镜像
docker image rm $(docker images -q) -f
####删除无用的卷
docker volume prune
####查看docker日志文件大小
ls -lh $(find /var/lib/docker/containers/ -name *-json.log)
####查找大文件
find / -type f -size +100M
####docker-compose方式创建启动容器
docker-compose -f zk.yml up -d
####docker-compose方式停止销毁容器
docker-compose -f zk.yml down
~~~
\ No newline at end of file
blog/GO打包部署脚本.md → blog/golang打包部署脚本.md
浏览文件 @ 30c2ada6
#GO打包部署脚本
#golang打包部署脚本
~~~
开发环境都是在Windows进行开发,经常打包发布到Linux下部署.
~~~
......
blog/tcp粘包问题处理.md 0 → 100644
浏览文件 @ 30c2ada6
#tcp粘包问题处理
以上图的协议结构,来举个粟子:
###1.我们收到完整的一个协议串为hex码为:
~~~
232301314731424c35325037545231313535323001000000
~~~
###2.对应的拆解一下,各项数值为
| 列名 | HEX值 |
| ----------- | ---------------------|
|起始符| 2323 |
|命令单元| 01 |
|车辆识别码| 314731424c353250375452313135353230 |
|数据加密方式| 01 |
|数据单元长度| 0000 |
|校验码| 00 |
###3.而我们收到粘包的时，或者半包的情况是这样的。
* 3.1 场景1
~~~
一次收到完整两个数据串:
232301314731424c35325037545231313535323001000000232301314731424c35325037545231313535323001000000
~~~
* 3.2 场景2
~~~
一次收到一个半的数据串:
232301314731424c35325037545231313535323001000000232301314731424c35325037545231
第二次会收到剩余的数据串:
313535323001000000
~~~
###4. 第三点就是我们收到粘包，半包，大概就这些情况。
一般处理的方法也很简单，就通过起始符处理分割一下就可以。这个协议在定义的时候，就考虑到。
####如:遇到场景1
通过起始符进行分割，就可以拆成两个单独的包了。
####如:遇到场景2
通过起始符进行分割，可以拿到第一个包。再继续等待后面的数据包过来，这样第二个包也就完整了。
####这种具体代码中处理的时候，流程大概是这样:
* 4.1 读取流的数据，
* 4.2 检查数据格式
* 4.3 如果满足一个整包，就丢业务线程
* 4.4 如果不满足,将读标重置为读取之前就好.（当然也适当的间隔检索一下缓冲区，以防垃圾包太多过来让缓冲区爆了，程序挂了）
\ No newline at end of file
Markdown is supported
0% 或 .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑！
想要评论请 注册 或