Klapring

青春 RK3588S 不会梦到声明式系统

前言

很长一段时间里,我都觉得软路由离我很远。我早早听过这个名字,看过一些相关的视频与文章,但是从来没考虑过要部署一个。代理软件的 TUN 模式对我来说已经足够使用,我很少遇到需要开关代理的情况。直到某一天,我准备用我的 Homelab 跑一下 Forgejo Runner 和 Woodpecker CI Agent,然后发现了一个重大问题:代理服务的 TUN 模式因为与 Docker/Podman 的网络处于同一层级,会产生严重冲突,导致容器内部根本无法访问互联网。

Forgejo Runner 支持给容器网络配置为 Docker 的 host 模式,这解决网络问题;但Woodpecker CI Agent 不支持 这个功能。由于 CI 中肯定需要流畅的国际互联网访问,我必须使用代理软件绕开 GFW。最终,我选择搞一个软路由。

设备选择

其实我的 Homelab 使用的主机,在购买时就特意选择了双 2.5Gbps 网口的型号,是可以起一个 PVE 来搞软路由的。 但出于对 All in Boom(All in One) 的恐惧,我还是选择把网络部分放在一个独立设备中。此外,我还想用 NixOS,而不是专业的路由系统(如 OpenWRT)来实现软路由。当然,对于阅读这篇文章的你来说, 并不一定要用 NixOS来做软路由,OpenWRT 会更省心,你甚至可以用 Nix 来管理 OpenWRT 配置。

最开始我考虑的其实是 Intel N100 处理器的迷你主机,x86_64 架构可以无痛部署 NixOS。但在某次浏览 NixOS Wiki 时,我发现 RK3588系列芯片有相当多的 ARM 开发板被社区开发的 UEFI 固件支持,这就让我来了兴趣。如果抛开 Nix on Droid 不谈,我还真没体验过 aarch64 上的 NixOS,况且有 UEFI 固件意味着安装过程应该是我熟悉的 live USB 安装 ISO 镜像那一套。 当然,实际安装过程还是相当曲折的。

瑞芯微的其他芯片其实也有一些社区支持的 UEFI 固件。但是一方面 RK3588 的性能比较强,即使退下来也有 NPU 可以玩别的;另一方面那些芯片的社区固件仓库看起来没什么人气(Star)。此外,既然要做软路由,最好是有双 2.5Gbps 网口。综合各种因素,我最终选择了搭载 RK3588S(阉割了 PCIE 通道数的 RK3588)的友善 Friendly Nano Pi R6S 开发板。

刷入固件

Nano Pi R6S 没有 SPI NOR 闪存,所以我们直接照着文档将 EDK2 UEFI 固件刷入内置的eMMC 存储即可。准备一根 USB A to A 数据线(没有的话也可以用 USB A to C数据线加上转接头实现,C to C 线应该是不行的),一个支持 20W 以上功率 PD 协议的USB C 充电器,一个 HDMI 连接的显示器,一台有 USB A 3.0 以上接口的电脑。

找到开发板上的 MASK 按钮,对于 Nano Pi R6S 来说,位于 TF 卡槽的旁边。按住按钮并插入 PD 电源,等待几秒 即可松开 MASK 按钮,此时开发板会进入 MASKROM 模式,可以通过瑞芯微的开发工具刷写 eMMC 存储。 友善官方 Wiki 中介绍了 Windows 系统下的刷写方式,在此仅介绍 Linux 系统的刷写方式,该方式 macOS 应该也可以使用,但不做保证。也可参考瑞莎 Radxa 同款芯片开发板的相关文档。

我们需要瑞芯微的开源工具 rkdeveloptool,对于Arch 用户,该软件在 AUR 上有打包;对于 Nix 用户, 该软件在 Nixpkgs 上有打包;使用其他软件包管理器的 Linux 用户可能需要手动编译该工具。按住开发板上的 MASK 按钮(对于 Nano Pi R6S 来说,需要用牙签戳外壳上预留的 MASK 小孔),将开发板用 USB A to A 数据线连接到电脑。

rkdeveloptool ld

在终端中运行上面的命令,列出已连接的设备。如果该命令输出显示有连接的设备,就可以进行下一步了。首先清空当前设备 eMMC 芯片上的所有数据。注意:执行本步骤前请先备份开发板上的数据。

sudo rkdeveloptool ef

下一步,向 eMMC 芯片刷入我们的 UEFI 固件:

sudo rkdeveloptool db /path/to/rk3588_spl_loader_v1.xx.xxx.bin
sudo rkdeveloptool wl 0 /path/to/nanopi-r6s_UEFI_Release_v1.x.img

如果操作正确,应该可以在开发板连接的显示器上看到 UEFI 的界面。

刷入 NixOS

安装器

刷好 UEFI 固件,下一步就是刷入系统了。这里我选择的是在本地构建好系统后推送到开发板上,为此,我们需要准备一个自定义的 NixOS 安装镜像。这里假定你启用了 Nix flake实验性特性,我们可以编写这样一个简单修改的 ISO 安装器镜像 flake:

# flake.nix
{
inputs = {
nixpkgs.url = "github:NixOS/nixpkgs/nixos-unstable";
};
outputs = {nixpkgs, ...}: {
nixosConfigurations.nanopir6sLive = nixpkgs.lib.nixosSystem {
system = "aarch64-linux";
modules = [
"${nixpkgs}/nixos/modules/installer/cd-dvd/installation-cd-minimal.nix"
({pkgs, ...}: {
users.users.nixos.openssh.authorizedKeys.keys = [
"ssh-ed25519 ..." # 你的 SSH 公钥
];
networking.hostname = "nanopi-r6s-live";
services.openssh.enable = true;
environment.systemPackages = [
# pkgs.helix # 其他你需要的包,比如编辑器
];
})
];
};
};
}

在 flake.nix 所在目录运行

nix build .#nixosConfigurations.nanopir6sLive.config.system.isoImage

便可构建出所需的安装器镜像。这里我们需要用到一张 microSD 卡。U 盘可能也行,但使用 Ventoy 之类的多启动工具可能会导致启动慢或根本无法启动的问题。我们需要向 microSD卡中烧录构建的安装器镜像,这一步较为简单,请自行搜索方法,此处不再赘述。

将 microSD 卡插入开发板,接通电源和显示器,不出意外的话可以看到 NixOS安装器的版本选择页面。因为是自己 构建的镜像,只会有一个版本。(官方镜像则会有LTS 内核和最新内核两个版本)。手动确认或等待几秒后,就 可以进入 live SD 系统了。使用网线连接开发板的 WAN 口和电脑的 LAN 口,现在应该可以通过 SSH 远程进入 live SD 系统。

最小系统

编写实际的系统配置前,我们首先需要决定系统的安装位置。如果你选择将系统装在 SD 卡上,那么你应该使用 disko + nixos-anywhere。我想安装在 eMMC 芯片上,所以我决定手动分区并安装。

SSH 到开发板上,首先检查 eMMC 芯片的实际路径:

[nixos@nanopi-r6s-live:/]$ lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
loop0 7:0 0 1.3G 1 loop /nix/.ro-store
mmcblk1 179:0 0 58.2G 0 disk
└─mmcblk1p1 179:1 0 8M 0 part
mmcblk1boot0 179:32 0 4M 1 disk
mmcblk1boot1 179:64 0 4M 1 disk
mmcblk0 179:96 0 119.4G 0 disk /iso

可以看到,eMMC 芯片位于 /dev/mmcblk1,其中一个 8M 的分区被我们之前刷入的 UEFI固件使用。因此我们不能使用 disko 这类自动分区工具来自动配置 NixOS 系统磁盘分区,只能手动分区并手写 fileSystems 配置。这里我选择简单 划分出 512M 的 /boot 分区,剩下空间开一个 BTRFS 分区存放系统。分区部分互联网上可以找到诸多教程,此处也不再赘述。根据分区结果,可以写出下面的文件系统配置:

fileSystems = {
"/boot" = {
device = "/dev/disk/by-uuid/A0F7-6D8C"; # 此处 UUID 应该根据你自己实际情况填写!
fsType = "vfat";
options = ["fmask=0022" "dmask=0022"];
};
"/" = {
device = "/dev/disk/by-uuid/9886235f-5a74-41e8-919b-9e4096a7cb9e";
fsType = "btrfs";
options = ["subvol=/root"];
};
"/nix" = {
device = "/dev/disk/by-uuid/9886235f-5a74-41e8-919b-9e4096a7cb9e";
fsType = "btrfs";
options = ["subvol=/nix" "noatime" "compress=zstd"];
};
"/home" = {
device = "/dev/disk/by-uuid/9886235f-5a74-41e8-919b-9e4096a7cb9e";
fsType = "btrfs";
options = ["subvol=/home"];
};
};

然后是 bootloader,这里我们因为使用的是 UEFI 固件,所以可以直接用 systemd-boot:

boot.loader = {
systemd-boot = {
enable = true;
consoleMode = "auto";
};
efi = {
canTouchEfiVariables = false;
efiSysMountPoint = "/boot";
};
};

记得把之前自定义安装器里的 OpenSSH 相关配置也加上,最小系统就算完成了。使用 NixOS 安装器将该系统刷入开发板,后面就可以基于这个系统开始迭代 NixOS 配置了。至于软路由的部分,你可以直接去看我的 NixOS 配置。

其实就是单纯不想整理配置继续写了。

参考文章