批量将discuz数据库编码从utf8转为utf8mb4

为获得emoji等特殊字符支持,需要将discuz的数据库编码转换为utf8mb4

  • 确认数据库版本支持utf8mb4utf8mb4_0900_ai_ci
  • 由于用户表中username是不重复索引,且区分大小写和声调,字符集需设置为utf8mb4_general_ci
  • 手动执行下面的SELECT CONCAT语句,然后使用执行结果替换该语句,保存为一个 sql 文件
  • 为避免 php 运行超时,请使用 cli 工具导入保存的 sql 文件
USE `discuz_databese`;

-- 更改主库字符集

ALTER DATABASE `discuz_databese` COLLATE utf8mb4_0900_ai_ci;

-- 请使用下列语句的执行结果替换该语句

SELECT CONCAT(
  'ALTER TABLE ', `TABLE_NAME`, ' CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci;'
) FROM `information_schema`.`TABLES`
  WHERE `TABLE_SCHEMA` = 'discuz_databese'
    AND `TABLE_NAME` <> 'pre_common_member'
    AND `TABLE_NAME` <> 'pre_common_member_archive'
    AND `TABLE_NAME` <> 'pre_ucenter_members';

-- 单独修改用户表(`username`字符集为`utf8mb4_general_ci`)

ALTER TABLE `pre_common_member` COLLATE utf8mb4_0900_ai_ci,
  MODIFY `email` char(40) NOT NULL DEFAULT '',
  MODIFY `username` char(15) COLLATE utf8mb4_general_ci NOT NULL DEFAULT '',
  MODIFY `password` char(32) NOT NULL DEFAULT '',
  MODIFY `extgroupids` char(20) NOT NULL DEFAULT '',
  MODIFY `timeoffset` char(4) NOT NULL DEFAULT '';

ALTER TABLE `pre_common_member_archive` COLLATE utf8mb4_0900_ai_ci,
  MODIFY `email` char(40) NOT NULL DEFAULT '',
  MODIFY `username` char(15) COLLATE utf8mb4_general_ci NOT NULL DEFAULT '',
  MODIFY `password` char(32) NOT NULL DEFAULT '',
  MODIFY `extgroupids` char(20) NOT NULL DEFAULT '',
  MODIFY `timeoffset` char(4) NOT NULL DEFAULT '';

ALTER TABLE `pre_ucenter_members` COLLATE utf8mb4_0900_ai_ci,
  MODIFY `username` char(15) COLLATE utf8mb4_general_ci NOT NULL DEFAULT '',
  MODIFY `password` char(32) NOT NULL DEFAULT '',
  MODIFY `email` char(32) NOT NULL DEFAULT '',
  MODIFY `myid` char(30) NOT NULL DEFAULT '',
  MODIFY `myidkey` char(16) NOT NULL DEFAULT '',
  MODIFY `regip` char(15) NOT NULL DEFAULT '',
  MODIFY `salt` char(6) NOT NULL,
  MODIFY `secques` char(8) NOT NULL DEFAULT '';

下面是写给强迫症患者的,你可能并不需要 !!

-- 创建临时库

CREATE DATABASE `tmp123`;

-- 从原始数据库复制表(会丢弃索引)

USE `discuz_database`;

CREATE TABLE `tmp123`.`pre_common_member` AS SELECT * FROM `pre_common_member`;
CREATE TABLE `tmp123`.`pre_common_member_archive` AS SELECT * FROM `pre_common_member_archive`;

CREATE TABLE `tmp123`.`pre_ucenter_members` AS SELECT * FROM `pre_ucenter_members`;

-- 进入临时库

USE `tmp123`;

-- 转换数据库编码和字符集(已无索引,可以转换)

ALTER TABLE `pre_common_member` CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci;
ALTER TABLE `pre_common_member_archive` CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci;

ALTER TABLE `pre_ucenter_members` CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci;

-- 获取重复的用户统计到临时表

CREATE TABLE `pre_ucenter_members_having_count` AS
  SELECT `username`, count(username) as `count` FROM `pre_ucenter_members`
    GROUP BY `username` HAVING `count` > 1;

-- 获取重复的用户详情到临时表

CREATE TABLE `pre_ucenter_members_having` AS
  SELECT * FROM `pre_ucenter_members` WHERE `username` IN (
      SELECT `username` FROM `pre_ucenter_members_having_count`
  );

OpenWRT软件包批量升级

翻出来个10年前的路由器,上电连进去,竟然是刷了OpenWRT系统的。

看到几十个需要升级的包,顿时头大。有点懒癌的我,还是命令行升级吧:

for pkg in `opkg list-upgradable | awk '{print $1}'`; do
    opkg upgrade $pkg
done

Linux 查看CPU温度

有点傻眼了,我竟然从来没想过这个问题。话说,托管在IDC机房的服务器需要关注硬件温度么?

安装温度传感器工具

apt install lm-sensors

探测温度传感器

yes | sensors-detect

查看硬件温度

sensors

NFS 服务端配置

1、上云是好事情,但也不能荒废自身武艺、今天回顾下Debian系的文件共享服务器创建过程~

# 安装服务端
apt install -y nfs-kernel-server
# 共享路径 允许的主机(共享参数)
echo "/var/www 10.1.1.0/24(rw,sync,no_subtree_check)" > /etc/exports
# 更新列表
exportfs -r
# 重启服务
/etc/init.d/nfs-kernel-server restart

2、在其他机器上挂载即可,关于其他选项请参阅下表

参数 说明
ro 只读
rw 读写
root_squash 当 NFS 客户端以 root 管理员访问时,映射为 NFS 服务器的匿名用户
no_root_squash 当 NFS 客户端以 root 管理员访问时,映射为 NFS 服务器的 root 管理员
all_squash 无论 NFS 客户端使用什么账户访问,均映射为 NFS 服务器的匿名用户
sync 同时将数据写入到内存与硬盘中,保证不丢失数据
async 优先将数据保存到内存,然后再写入硬盘;这样效率更高,但可能会丢失数据

3、同网段客户端挂载方式

# 安装客户端
apt install -y --no-install-recommends nfs-common
# 挂载到指定路径
mkdir -p /mnt/nfs2
mount 10.1.1.2:/var/www /mnt/nfs2

4、强制卸载挂载点

# 先使用这条命令
fuser -km /app/nfs/
# 再 umount 就可以了
umount /app/nfs/

LVM常用管理命令及qcow2互转操作

  • PV: 物理卷,是物理的磁盘分区
  • VG: 卷组,LVM中的物理的磁盘分区,(PV必须加入VG,可以将VG理解为一个仓库)
  • LV:逻辑卷,也就是从VG中划分的逻辑分区

PV

  • 显示pv简要信息

    pvs
  • 显示pv详细信息

    pvdisplay
  • 创建pv

    pvcreate /dev/DEVICE
  • 删除pv

    pvmove

VG

  • 显示vg信息

    vgs
    vgdisplay
  • 创建卷组vg10,并将物理卷/dev/sdb/dev/sdc添加到卷组中

    vgcreate vg10 /dev/sdb /dev/sdc
  • 从卷组vg10中删除物理卷/dev/sdc

    vgreduce vg10 /dev/sdc
  • 向卷组vg10中加入物理卷/dev/vdc

    vgextend vg10 /dev/vdc

精简 LV

  • 在卷组vg10下创建名为lvtp的精简池

    lvcreate -L 200G --thinpool lvtp vg10
  • 在精简池lvtp下创建名为lvt1的精简LV

    lvcreate -V 32G --thin -n lvt1 vg10/lvtp
  • 扩展vg10下的lvtp精简池

    lvextend -L +32G /dev/vg10/lvtp

LV

  • 显示lv信息

    lvs
    lvdisplay
  • 创建lv

    lvcreate -L 容量大小 -n 逻辑卷名 卷组名
    lvcreate -l PE个数 -n 逻辑卷名 卷组名
  • 增大lv

    lvextend -L +大小 /dev/卷组名/逻辑卷名
    lvextend -l +PE个数 /dev/卷组名/逻辑卷名
  • lv扩容后需要激活修改的配置

    resize2fs /dev/卷组/逻辑卷名
  • 创建一个名为lv01的lv

    lvcreate -L 2G -n lv01 vg10
  • 创建一个占全部卷组大小的lv

    lvcreate -l 100%VG -n lv01 vg10
  • 创建一个空闲空间80%大小的lv

    lvcreate -l 80%FREE -n lv01 vg10
  • 创建一个空闲空间100%大小的lv

    lvcreate -l 100%FREE -n lv01 vg10

虚拟机镜像转换

  • qcow2转换为lv。lv需要提前创建,容量要大于qcow2原始大小。

    qemu-img convert -p -O raw vm-100-disk0.qcow2 /dev/vg10/vm-100-disk0
  • qcow2转换为raw

    qemu-img convert vm-100-disk0.qcow2 -O raw vm-100-disk0.raw
  • raw转换为lv。lv需要提前创建,容量要大于raw原始大小。

    dd if=vm-100-disk0.raw of=/dev/vg10/vm-100-disk0

为废弃的openssl-1.0.2填坑 (.a转.so)

先吐个槽:话说php7已经大行其道,php8也开测了,某擎微平台却还运行在已经停止支持的php5上,而php5更是依赖了已废弃的openssl-1.0.x

帮小伙伴编译php5环境的时候,发现工具链已经无法很好的编译出openssl的lib库。编译出来的libcrypto.so竟然是0字节,其他文件均正常。调整各项参数,重新编译均无法解决。

最后,只好拿libcrypto.a开刀,尝试编译出正确的.so文件。

ar -x libcrypto.a
gcc -shared *.o -o libcrypto.so
rm *.o

工作原理: .so文件是动态库文件,.a是由一系列.o 文件通过ar程序打包在一起的静态库,要把它转成动态库只需先解开,生成一堆.o文件,再通过编译器(gcc 或 ifort)编成动态库即可。

Gitlab 保存设置项目时提示500错误

将gitlab转为docker后,发现管理后台保存配置时提示500错误,查看日志/var/log/gitlab/gitlab-rails/production.log对应的错误信息为OpenSSL::Cipher::CipherError

查阅官方资料,得知是没有导入原来的加密信息/etc/gitlab/gitlab-secrets.json导致,重置下即可。

  • 进入控制台docker exec -it docker bash
  • 输入gitlab-rails console,等待进入rails控制台
  • 输入ApplicationSetting.current.reset_runners_registration_token!,显示结果为true
  • 再次尝试保存操作,已正常

如果项目设置也不正常,需进入DB控制台清理更多的Token设置,请参阅官方文献:
https://docs.gitlab.com/ee/raketasks/backup_restore.html#when-the-secrets-file-is-lost

快速创建TLS证书并部署到Docker服务

将下方代码保存为certbot.sh,修改头部变量后,上传到装有openssl组件的linux服务器上运行即可。

#!/bin/sh
#

export PASSWORD="密码"

export COUNTRY="CN"
export STATE="省"
export CITY="市"
export ORGANIZATION="公司名称"
export ORGANIZATIONAL_UNIT="Dev"
export COMMON_NAME="域名"
export EMAIL="电子邮件地址"

export HOST_NAME="$COMMON_NAME"
export IP=`ping $HOST_NAME -c 1 | sed '1{s/[^(]*(//;s/).*//;q}'`

export DIR="cert-$HOST_NAME"

# Workspace

[ -d $DIR ] || mkdir -p $DIR

echo "PASSWORD: $PASSWORD" > $DIR/!nfo.txt
echo "HOST_NAME: $HOST_NAME" >> $DIR/!nfo.txt
echo "HOST_IP: $IP" >> $DIR/!nfo.txt

# Generate CA

openssl genrsa -aes256 -passout "pass:$PASSWORD" -out "$DIR/ca-key.pem" 4096

openssl req -new -x509 -days 3650 -key "$DIR/ca-key.pem" -sha256 -out "$DIR/ca.pem" -passin "pass:$PASSWORD" -subj "/C=$COUNTRY/ST=$STATE/L=$CITY/O=$ORGANIZATION/OU=$ORGANIZATIONAL_UNIT/CN=$COMMON_NAME/emailAddress=$EMAIL"

# Generate Server Certs

openssl genrsa -out "$DIR/server-key.pem" 4096

openssl req -subj "/CN=$HOST_NAME" -sha256 -new -key "$DIR/server-key.pem" -out $DIR/server.csr

echo "subjectAltName = DNS:$HOST_NAME,IP:$IP,IP:127.0.0.1" > $DIR/server.cnf
echo "extendedKeyUsage = serverAuth" >> $DIR/server.cnf

openssl x509 -req -days 3650 -sha256 -in $DIR/server.csr -passin "pass:$PASSWORD" -CA "$DIR/ca.pem" -CAkey "$DIR/ca-key.pem" -CAcreateserial -out "$DIR/server-cert.pem" -extfile $DIR/server.cnf

# Generate Client Certs

openssl genrsa -out "$DIR/client-key.pem" 4096

openssl req -subj '/CN=client' -new -key "$DIR/client-key.pem" -out $DIR/client.csr

echo "extendedKeyUsage = clientAuth" > $DIR/client.cnf

openssl x509 -req -days 3650 -sha256 -in $DIR/client.csr -passin "pass:$PASSWORD" -CA "$DIR/ca.pem" -CAkey "$DIR/ca-key.pem" -CAcreateserial -out "$DIR/client-cert.pem" -extfile $DIR/client.cnf

# Modify Certs Permission

chmod 0400 $DIR/*-key.pem
chmod 0444 $DIR/ca.pem $DIR/*-cert.pem

# Remove Temporary Files

rm -f $DIR/*.csr $DIR/*.cnf

如果需要部署到Docker服务,请继续

# Install To Docker Daemon

mkdir -p /etc/docker/certs.d
cp $DIR/ca.pem /etc/docker/certs.d/
cp $DIR/server-*.pem /etc/docker/certs.d/

cat <<EOF >/etc/docker/daemon.json
{
    "tlsverify": true,
    "tlscacert": "/etc/docker/certs.d/ca.pem",
    "tlscert": "/etc/docker/certs.d/server-cert.pem",
    "tlskey": "/etc/docker/certs.d/server-key.pem",
    "hosts": ["tcp://0.0.0.0:2376", "unix:///var/run/docker.sock"]
}
EOF

# Modify Systemd Service

if [ -f /lib/systemd/system/docker.service ]; then
    sed -i 's#\["tcp:#\["fd://", "tcp:#' /etc/docker/daemon.json
    sed -i 's# -H fd://##' /lib/systemd/system/docker.service
    systemctl daemon-reload && systemctl restart docker
fi

特别注意

在systemd系统上-H已设置,因此无法使用hosts键来添加侦听地址,请参阅 https://docs.docker.com/install/linux/linux-postinstall/#configuring-remote-access-with-systemd-unit-file

修复PowerShell和服务器管理器

今天手残,把家里服务器的PowerShell给卸载了,结果悲催的发现服务器管理器也跟着消失了。查阅微软文档,得知如下修复方式,特此记录:

@echo off

:: .Net Framework 4.x
Dism /online /enable-feature /all/ featurename:Netfx4

:: PowerShell & PowerShellISE
Dism /online /enable-feature /all /featurename:MicrosoftWindowsPowerShell
Dism /online /enable-feature /all /featurename:MicrosoftWindowsPowerShellISE