应用测试 - 垃圾分类检测

在 RV1126B-p 上跑 Talowe talowe_yolov8_garbage_sort_cam：摄像头实时检测四类垃圾（可回收 / 厨余 / 有害 / 其他），画框后用 H.264 RTP 推到电脑，VLC 打开 garbage.sdp 看画面。

源码: https://github.com/hbt021211-coder/talowe-rv1126b-aidemo

推理: RKNN　｜　采集: V4L2 /dev/video12 NV12 1920x1080　｜　编码: MPP　｜　收流: UDP 5000

信息

Talowe 原工程用 OpenCV + GStreamer。出厂 Buildroot IPC 没有这两套库。
当前 Demo 已改成 V4L2 + RGA + MPP，刷 IPC 固件即可演示，不必重编 rootfs。
编码走摄像头 NV12 直拷，框画在 NV12 上，避免 RGB→NV12 导致 VLC 全黑。

README 里目录名是 talowe_garbage_classification_cam，仓库实际目录是 talowe_yolov8_garbage_sort_cam。

固件

本页流程按 RV1126B-p Buildroot IPC 来写（rkipc、/dev/video12、S99rkipc）。

刷机见升级固件里的 RV1126B-p Buildroot IPC（Rockchip-RV1126B-Buildroot-IPC）
不是必须重刷：板子已经是这套 IPC 固件，直接演示即可
若当前是 Debian / 其它镜像，请先按该页刷成 Buildroot IPC，再按下面步骤操作

IPC 推流、账号密码见固件使用 - IPC 推流。

警告

本 Demo 和人体姿态、YOLO11、PP-OCR、安全帽共用摄像头 /dev/video12 和 UDP 5000，不能同时跑。
run_garbage.sh 会先停掉其它 Demo / rkipc。

演示（直接看效果）

环境按下面三台机器。电脑 IP 不是 10.0.0.49 时，把脚本参数改成你的 IP。

角色	地址	说明
收流电脑 (Mac)	`10.0.0.49`	装 VLC，打开 `garbage.sdp`
RV1126B-p	`ssh root@10.0.2.0`	默认密码见固件使用
程序目录	`/root/rknn_yolov8_garbage_sort_cam`	已部署好的安装包

1. 电脑先开 VLC

把 garbage.sdp 拷到电脑，例如 ~/garbage.sdp。内容固定如下（端口 5000，不要改成板子 IP）:

v=0
o=- 0 0 IN IP4 0.0.0.0
s=Garbage
c=IN IP4 0.0.0.0
t=0 0
m=video 5000 RTP/AVP 96
a=rtpmap:96 H264/90000

安装包里还有一份同内容的 play.sdp（s=Garbage）。演示本页请用 garbage.sdp，不要和姿态 / YOLO / OCR / 安全帽的 sdp 混用。

open -a VLC ~/garbage.sdp

或 VLC → 文件 → 打开文件 → 选 garbage.sdp。
第一次可能会要本机防火墙放行 UDP 5000，点允许。

VLC 会停在黑屏等流，属正常，下一步再起板端。

2. 板子启动推流

ssh root@10.0.2.0
cd /root/rknn_yolov8_garbage_sort_cam
./run_garbage.sh 10.0.0.49

run_garbage.sh 会：停掉其它 Demo / rkipc → 打开 /dev/video12 → 推理画框 → 把 H.264 推到 10.0.0.49:5000。

看到类似日志即已出流:

v4l2 opened /dev/video12 1920x1080 stride=1920 nbufs=4
mpp rtp -> 10.0.0.49:5000 1920x1080
Pipeline initialized. Starting inference, RTP 10.0.0.49:5000 ...
[DET] recyclable waste  | box:( 412 , 201)( 890 , 480) | size: 478*279 | conf: 87.32%
[DET] kitchen waste     | box:( 100 , 180)( 320 , 460) | size: 220*280 | conf: 76.10%

VLC 里应出现实时画面：检测框、英文类别名、置信度、左上角 FPS。把瓶子、纸盒、厨余、电池等对镜头即可。框颜色：

类别（画面 / 日志）	中文	颜色
`recyclable waste`	可回收物	绿
`kitchen waste`	厨余垃圾	黄
`hazardous waste`	有害垃圾	红
`other waste`	其他垃圾	蓝

手动等价命令（不用脚本时）:

/etc/init.d/S99rkipc stop
cd /root/rknn_yolov8_garbage_sort_cam
export LD_LIBRARY_PATH=./lib:$LD_LIBRARY_PATH
./rknn_yolov8_garbage_sort_cam ./model/garbage_sort.rknn /dev/video12 10.0.0.49

第三个参数必须是电脑 IP，不是 10.0.2.0。

3. 演示结束，恢复 IPC

Ctrl + C 停掉 Demo 后:

killall rknn_yolov8_garbage_sort_cam rkaiq_3A_server 2>/dev/null
/etc/init.d/S99rkipc start

网页 / RTSP（rtsp://10.0.2.0:554/live/0）会恢复。
Demo 和 rkipc 不能同时占摄像头。

板端安装包内容

root@rv1126bp-buildroot:~/rknn_yolov8_garbage_sort_cam# ls
garbage.sdp  lib  model  play.sdp  rknn_yolov8_garbage_sort_cam  run_garbage.sh

文件	作用
`rknn_yolov8_garbage_sort_cam`	主程序
`run_garbage.sh`	停 rkipc 并启动，参数为电脑 IP
`garbage.sdp`	拷到电脑给 VLC 用（推荐）
`play.sdp`	与 `garbage.sdp` 内容相同，`s=Garbage`
`model/garbage_sort.rknn`	检测模型（约 3.8 MB，4 类）
`model/coco_4_labels_list.txt`	四类英文名
`lib/librknnrt.so` `librga.so` `librockchip_mpp.so`	NPU / RGA / 编码

启动参数:

./rknn_yolov8_garbage_sort_cam <model_path> <camera_index> <target_ipv4>

<camera_index>: ISP 主路，本板是 /dev/video12（v4l2-ctl --list-devices 里 rkisp_mainpath）
<target_ipv4>: 收流电脑局域网 IP，端口写死 5000

阈值在 postprocess.h：BOX_THRESH 默认 0.25，NMS_THRESH 默认 0.45。

从源码编译再部署

只演示可以跳过这一节。改代码或换板子时按下面做。

机器

角色	示例
本机	`~/SDK/talowe-rv1126b-aidemo`（Mac 只改代码、rsync）
编译服务器	`ssh roy@10.0.0.18`（x86_64 Ubuntu，交叉编译 `aarch64`）
板子	`ssh root@10.0.2.0`

编译器用发行版交叉编译器即可，不必编完整 SDK host:

# 编译服务器（root）
apt-get install -y gcc-aarch64-linux-gnu g++-aarch64-linux-gnu cmake

同步源码

3rdparty/opencv 约 525 MB，本 Demo 已不用，不同步。

ssh roy@10.0.0.18 'mkdir -p ~/talowe-rv1126b-aidemo/talowe_yolov8_garbage_sort_cam'

rsync -av --progress \
  --exclude '.git' \
  --exclude 'cpp/3rdparty/opencv' \
  --exclude 'cpp/build' \
  --exclude 'cpp/install' \
  ~/SDK/talowe-rv1126b-aidemo/talowe_yolov8_garbage_sort_cam/ \
  roy@10.0.0.18:~/talowe-rv1126b-aidemo/talowe_yolov8_garbage_sort_cam/

确认 model/garbage_sort.rknn 约 3.8 MB 已在工程 model/ 里。

交叉编译

ssh roy@10.0.0.18
cd ~/talowe-rv1126b-aidemo/talowe_yolov8_garbage_sort_cam/cpp
chmod +x build-linux.sh
./build-linux.sh

产物:

~/talowe-rv1126b-aidemo/talowe_yolov8_garbage_sort_cam/cpp/install/rv1126b_linux_aarch64/rknn_yolov8_garbage_sort_cam/
# garbage.sdp  lib  model  play.sdp  rknn_yolov8_garbage_sort_cam  run_garbage.sh

CMakeLists.txt / build-linux.sh 使用 aarch64-linux-gnu-gcc，链板端已有的 librockchip_mpp（安装包里会带一份 so）。

推到板子

板子 Buildroot 一般没有 rsync，从编译机打 tar 再解:

ssh roy@10.0.0.18 \
  'tar czf - -C ~/talowe-rv1126b-aidemo/talowe_yolov8_garbage_sort_cam/cpp/install/rv1126b_linux_aarch64 rknn_yolov8_garbage_sort_cam' \
| ssh root@10.0.2.0 'tar xzf - -C /root'

USB 已连 adb 时也可以:

adb push rknn_yolov8_garbage_sort_cam /root/

然后回到上文演示第 1、2 步。

数据通路

IMX / Sensor
    → rkisp_mainpath  /dev/video12  (NV12 1920x1080)
    → 拷一份 NV12 给编码（画框 / 字）
    → RGA 转 RGB888
    → RKNN YOLOv8 garbage_sort（4 类）
    → 在 NV12 上画框 / 类别名 / FPS
    → MPP H.264（每个 IDR 带 SPS/PPS）
    → RTP PT=96  UDP  →  电脑:5000
    → VLC 打开 garbage.sdp

分辨率和端口写在 cpp/main.cc、cpp/run_garbage.sh、garbage.sdp / play.sdp，改 1080p / 5000 时三处一起改。

常见问题

现象	处理
VLC 一直黑屏	先关 VLC 再开 `garbage.sdp`，然后起板端；第三个参数必须是电脑 IP；本机放行 UDP 5000
`Camera open failed` / `VIDIOC_S_FMT failed`	其它 Demo / `rkipc` 还在跑。`./run_garbage.sh` 会停它们
打开摄像头后画面全黑	ISP 3A 没起来。脚本会起 `rkaiq_3A_server /etc/iqfiles`；确认模组已插好
有画面但没有框	目标要完整入画；阈值在 `postprocess.h` 的 `BOX_THRESH`（默认 0.25）
类别名全是 `null` / 乱码	必须在安装包根目录启动，后处理读 `./model/coco_4_labels_list.txt`
演示完网页/RTSP 没了	没恢复 rkipc：`killall rknn_yolov8_garbage_sort_cam` 后 `/etc/init.d/S99rkipc start`
编译缺 `aarch64-linux-gnu-gcc`	编译服务器 `apt-get install gcc-aarch64-linux-gnu g++-aarch64-linux-gnu`
`The RKNN model can not be found`	`garbage_sort.rknn` 没放到工程 `model/` 就编译了

摄像头节点确认:

v4l2-ctl --list-devices

rkisp_mainpath (platform:rkisp-vir0):
        /dev/video12

和姿态 / YOLO / 安全帽的差别

	YOLO11	安全帽	本页垃圾分类
工程	`talowe_yolo11_detection_cam`	`talowe_helmet_detection_cam`	`talowe_yolov8_garbage_sort_cam`
模型	`yolo11.rknn` ~4.2 MB	`helmet_detection.rknn` ~11 MB	`garbage_sort.rknn` ~3.8 MB
输出	COCO 80 类	`helmet` / `no-helmet`	四类垃圾
收流	VLC `yolo11.sdp`	VLC `helmet.sdp`	VLC `garbage.sdp`
和 rkipc	必须停	必须停	必须停

源代码和编译好的包下载

链接: https://pan.baidu.com/s/15rNLzfb12Af8Sh_DX-KVBw?pwd=fanc
提取码: fanc

网盘里是两份压缩包：

包	用途
`talowe-rv1126b-aidemo`	源码，自己交叉编译
`talowe-rv1126b-aidemo-app`	已经编好的板端程序（aarch64），拷到板子 `/root/` 就能跑

发给客户 / 自己用时注意：

run_*.sh 默认把 H.264 推到 10.0.0.49:5000。这是示例电脑 IP，必须改成收流电脑自己的局域网 IP：./run_xxx.sh <电脑IP>。
固件须为 RV1126B-p Buildroot IPC。Demo 和 rkipc 共用 /dev/video12，不能同时跑；脚本会先停 rkipc。
电脑用 本页对应的 sdp 开 VLC（本页是 garbage.sdp，端口 5000），不要和其它 Demo 的 sdp 混用。
talowe-rv1126b-aidemo-app 里请忽略 rknn_yolov5_demo（旧的图片推理残留）。摄像头实时检测用 rknn_yolov5_detection_cam。
源码里多数 Demo 已改为 V4L2 + RGA + MPP，不必带上全部 3rdparty/opencv（约 11 × 525 MB）。只有 PP-OCR 交叉编译还需要工程内的 OpenCV 静态库。

总结

电脑 VLC 打开 garbage.sdp（等 UDP 5000）
板子 cd /root/rknn_yolov8_garbage_sort_cam && ./run_garbage.sh 10.0.0.49
截图 / 演示后 killall rknn_yolov8_garbage_sort_cam，/etc/init.d/S99rkipc start

演示（直接看效果）​

1. 电脑先开 VLC​

2. 板子启动推流​

3. 演示结束，恢复 IPC​

板端安装包内容​

从源码编译再部署​

机器​

同步源码​

交叉编译​

推到板子​

数据通路​

常见问题​

和姿态 / YOLO / 安全帽的差别​

源代码和编译好的包下载​

总结​