feat: 断点续传与色情识别提速/修复，支持 Linux 交叉编译
- feat: 新增续传表 scan_log，重扫跳过已归类文件(尺寸/头尾指纹校验) - fix: 色情识别记录批量入库超 SQLite 999 变量上限，改每 100 条一批 - perf: NudeNet 检测改为多线程推理池(每线程独立模型实例) - perf: 明暗分析 JPEG(YCbCr) 快路径；SQLite 读并发放开；加阶段耗时统计 - fix: 前端色情识别状态由后端如实上报(配置开关+检测服务是否起来) - feat: ffprobe 内嵌按平台拆分，Linux 构建回退系统 ffprobe，支持交叉编译 - docs: README 补充断点续传与 CentOS 交叉编译步骤 - chore: organize.workers 默认 8
This commit is contained in:
+137
-41
@@ -15,6 +15,7 @@ import (
|
||||
"bytes"
|
||||
"context"
|
||||
"encoding/json"
|
||||
"errors"
|
||||
"fmt"
|
||||
"io"
|
||||
"net"
|
||||
@@ -48,17 +49,20 @@ const requestTimeout = 30 * time.Second
|
||||
|
||||
// Detector 封装一个本地 python 服务的客户端。
|
||||
// 多个探测协程会并发调 Detect，底层 HTTP 客户端线程安全；
|
||||
// 服务端单线程处理，请求自己排队，不用额外加锁。
|
||||
// 服务端用固定大小线程池并行推理（每个 worker 一份独立模型实例），请求不必排队。
|
||||
type Detector struct {
|
||||
url string // 本地服务地址，如 http://127.0.0.1:54321
|
||||
threshold float64 // 判定阈值 0~1
|
||||
client *http.Client
|
||||
cmd *exec.Cmd // python 进程句柄（Stop 时杀掉）
|
||||
scriptDir string // 临时脚本所在目录（Stop 时清理）
|
||||
mu sync.Mutex // 保护下面的关闭状态
|
||||
python string // python 可执行文件路径（服务重启时要用）
|
||||
modelDir string // 模型目录 lib（服务重启时要用）
|
||||
mu sync.Mutex // 保护 stopped / 进程句柄
|
||||
stopped bool // 已经 Stop 过了
|
||||
cancel context.CancelFunc
|
||||
done chan struct{} // 进程退出时关闭（Wait 协程负责）
|
||||
restartMu sync.Mutex // 串行化重启：同一时刻只一个 goroutine 重启，其余排队等
|
||||
}
|
||||
|
||||
// Start 拉起本地 python 检测服务并等它就绪。
|
||||
@@ -87,13 +91,6 @@ func Start(pythonPath string, threshold float64) (*Detector, error) {
|
||||
return nil, fmt.Errorf("写入检测脚本失败: %v", err)
|
||||
}
|
||||
|
||||
// 找一个空闲端口
|
||||
port, err := freePort()
|
||||
if err != nil {
|
||||
_ = os.RemoveAll(tmpDir)
|
||||
return nil, fmt.Errorf("找空闲端口失败: %v", err)
|
||||
}
|
||||
|
||||
// 模型目录：程序运行目录下的 lib（和 application.properties / media-info.db 同一根目录）。
|
||||
// 服务脚本优先加载 lib/320n.onnx；本地没有会自己下载到那里，下载失败再回退用 pip 自带模型。
|
||||
modelDir := ""
|
||||
@@ -101,27 +98,51 @@ func Start(pythonPath string, threshold float64) (*Detector, error) {
|
||||
modelDir = filepath.Join(wd, "lib")
|
||||
}
|
||||
|
||||
// 拉起服务。标准输出/错误接到程序自身的输出，方便看 python 报错。
|
||||
d := &Detector{
|
||||
threshold: threshold,
|
||||
client: &http.Client{Timeout: requestTimeout},
|
||||
python: py,
|
||||
modelDir: modelDir,
|
||||
scriptDir: tmpDir,
|
||||
}
|
||||
|
||||
// 拉起服务（同样一套逻辑也用于崩溃后的重启）
|
||||
if err := d.launch(); err != nil {
|
||||
_ = os.RemoveAll(tmpDir)
|
||||
return nil, err
|
||||
}
|
||||
return d, nil
|
||||
}
|
||||
|
||||
// launch 启动（或重启）python 检测服务，并等它就绪（模型加载完成）。
|
||||
// 调用方需要保证持有 mu，且 stopped 为 false。
|
||||
func (d *Detector) launch() error {
|
||||
// 先把上一次的进程收拾掉（首次启动时没有，直接跳过）
|
||||
d.teardown()
|
||||
|
||||
// 找一个空闲端口
|
||||
port, err := freePort()
|
||||
if err != nil {
|
||||
return fmt.Errorf("找空闲端口失败: %v", err)
|
||||
}
|
||||
|
||||
ctx, cancel := context.WithCancel(context.Background())
|
||||
cmd := exec.CommandContext(ctx, py, scriptPath, fmt.Sprintf("%d", port), modelDir)
|
||||
cmd := exec.CommandContext(ctx, d.python, filepath.Join(d.scriptDir, "server.py"), fmt.Sprintf("%d", port), d.modelDir)
|
||||
// 标准输出/错误都接到程序自身的输出：
|
||||
// - 扫描期间 os.Stdout 会被接管进"运行日志"，这样 python 的报错（崩溃原因）也能在前端看到
|
||||
// - 方便排查服务为什么挂掉
|
||||
cmd.Stdout = os.Stdout
|
||||
cmd.Stderr = os.Stderr
|
||||
cmd.Stderr = os.Stdout
|
||||
if err := cmd.Start(); err != nil {
|
||||
cancel()
|
||||
_ = os.RemoveAll(tmpDir)
|
||||
return nil, fmt.Errorf("启动检测服务失败: %v", err)
|
||||
return fmt.Errorf("启动检测服务失败: %v", err)
|
||||
}
|
||||
|
||||
done := make(chan struct{})
|
||||
d := &Detector{
|
||||
url: fmt.Sprintf("http://127.0.0.1:%d", port),
|
||||
threshold: threshold,
|
||||
client: &http.Client{Timeout: requestTimeout},
|
||||
cmd: cmd,
|
||||
scriptDir: tmpDir,
|
||||
cancel: cancel,
|
||||
done: done,
|
||||
}
|
||||
d.url = fmt.Sprintf("http://127.0.0.1:%d", port)
|
||||
d.cmd = cmd
|
||||
d.cancel = cancel
|
||||
d.done = done
|
||||
// 后台等进程退出：ProcessState 要 Wait 之后才有值，这里用 done 通知，
|
||||
// 这样 waitReady 能及时发现"python 没装 nudenet 直接退掉"的情况。
|
||||
go func() {
|
||||
@@ -131,10 +152,32 @@ func Start(pythonPath string, threshold float64) (*Detector, error) {
|
||||
|
||||
// 等服务就绪（模型加载完成）。就绪前先探测 /health。
|
||||
if err := d.waitReady(); err != nil {
|
||||
d.Stop()
|
||||
return nil, err
|
||||
d.teardown()
|
||||
return err
|
||||
}
|
||||
return d, nil
|
||||
return nil
|
||||
}
|
||||
|
||||
// teardown 停掉当前 python 进程并清理句柄（不删临时目录）。
|
||||
// 调用方需要保证持有 mu。进程可能已经死了（崩溃），kill 失败也无所谓。
|
||||
func (d *Detector) teardown() {
|
||||
if d.cancel != nil {
|
||||
d.cancel()
|
||||
d.cancel = nil
|
||||
}
|
||||
if d.cmd != nil && d.cmd.Process != nil {
|
||||
_ = d.cmd.Process.Kill()
|
||||
}
|
||||
if d.done != nil {
|
||||
// 等 Wait 协程回收进程，避免僵尸进程；进程已死则立刻返回。
|
||||
// 等超过 3 秒就放弃，防止极端情况下卡死重启流程。
|
||||
select {
|
||||
case <-d.done:
|
||||
case <-time.After(3 * time.Second):
|
||||
}
|
||||
d.done = nil
|
||||
}
|
||||
d.cmd = nil
|
||||
}
|
||||
|
||||
// waitReady 轮询本地服务，直到能正常应答。
|
||||
@@ -168,14 +211,73 @@ func (d *Detector) waitReady() error {
|
||||
// - score：命中的敏感类里最高分数（没有命中为 0）
|
||||
// - nsfw：是否判定为色情（有敏感类且分数 >= 阈值）
|
||||
// - err：检测失败（服务挂了/图读不出等），由调用方兜底按未命中处理
|
||||
//
|
||||
// 服务失联（连接被拒，多半是 python 进程在处理某张图时崩了）时，会串行化地
|
||||
// 重启服务并重试一次：多个并发 worker 里只有一个负责重启，其余排队，等重启完
|
||||
// 也重试自己的图——保证服务短暂挂掉不会漏掉一整批图片。
|
||||
func (d *Detector) Detect(path string) (score float64, nsfw bool, err error) {
|
||||
score, nsfw, err = d.detectOnce(path)
|
||||
if err == nil {
|
||||
return score, nsfw, nil
|
||||
}
|
||||
// 只有"发请求都失败"（连接被拒/重置，说明服务失联）才走重启；
|
||||
// 服务正常返回的明确错误（如某张图读不了）不重启。
|
||||
var ce *connError
|
||||
if !errors.As(err, &ce) {
|
||||
return score, nsfw, err
|
||||
}
|
||||
|
||||
d.restartMu.Lock()
|
||||
defer d.restartMu.Unlock()
|
||||
|
||||
if d.isStopped() {
|
||||
return 0, false, err
|
||||
}
|
||||
// 可能排在前面的 goroutine 已经把服务重启好了：先探活，活着就直接重试，别反复重启
|
||||
if d.healthy() {
|
||||
return d.detectOnce(path)
|
||||
}
|
||||
fmt.Printf("=== 色情检测服务失联(%v), 正在重启…\n", ce.err)
|
||||
if rerr := d.launch(); rerr != nil {
|
||||
return 0, false, fmt.Errorf("检测服务重启失败: %v", rerr)
|
||||
}
|
||||
fmt.Println("=== 色情检测服务已重启，继续识别")
|
||||
return d.detectOnce(path)
|
||||
}
|
||||
|
||||
// healthy 快速探活：本地服务是否还能正常应答（带短超时，避免拖慢扫描）。
|
||||
func (d *Detector) healthy() bool {
|
||||
ctx, cancel := context.WithTimeout(context.Background(), 2*time.Second)
|
||||
defer cancel()
|
||||
req, err := http.NewRequestWithContext(ctx, http.MethodGet, d.url+"/health", nil)
|
||||
if err != nil {
|
||||
return false
|
||||
}
|
||||
resp, err := d.client.Do(req)
|
||||
if err != nil {
|
||||
return false
|
||||
}
|
||||
defer resp.Body.Close()
|
||||
return resp.StatusCode == http.StatusOK
|
||||
}
|
||||
|
||||
// isStopped 判断检测器是否已被 Stop（线程安全）。
|
||||
func (d *Detector) isStopped() bool {
|
||||
d.mu.Lock()
|
||||
defer d.mu.Unlock()
|
||||
return d.stopped
|
||||
}
|
||||
|
||||
// detectOnce 发一次检测请求（不带重启逻辑）。
|
||||
func (d *Detector) detectOnce(path string) (score float64, nsfw bool, err error) {
|
||||
body, _ := json.Marshal(map[string]interface{}{
|
||||
"path": path,
|
||||
"threshold": d.threshold,
|
||||
})
|
||||
resp, err := d.client.Post(d.url+"/detect", "application/json", bytes.NewReader(body))
|
||||
if err != nil {
|
||||
return 0, false, err
|
||||
// 打上"连接失败"标记，供 Detect 判断是否要重启
|
||||
return 0, false, &connError{err}
|
||||
}
|
||||
defer resp.Body.Close()
|
||||
data, err := io.ReadAll(resp.Body)
|
||||
@@ -197,27 +299,21 @@ func (d *Detector) Detect(path string) (score float64, nsfw bool, err error) {
|
||||
return out.Score, out.Nsfw, nil
|
||||
}
|
||||
|
||||
// connError 标记"请求根本没发出去/连不上本地服务"的错误（服务失联）。
|
||||
type connError struct{ err error }
|
||||
|
||||
func (e *connError) Error() string { return e.err.Error() }
|
||||
func (e *connError) Unwrap() error { return e.err }
|
||||
|
||||
// Stop 停掉检测服务并清理临时文件。可以安全地重复调用。
|
||||
func (d *Detector) Stop() {
|
||||
d.mu.Lock()
|
||||
defer d.mu.Unlock()
|
||||
if d.stopped {
|
||||
d.mu.Unlock()
|
||||
return
|
||||
}
|
||||
d.stopped = true
|
||||
d.mu.Unlock()
|
||||
|
||||
if d.cancel != nil {
|
||||
d.cancel()
|
||||
}
|
||||
if d.cmd != nil && d.cmd.Process != nil {
|
||||
// 进程活着才 kill；kill 失败也无所谓，服务很快就没了
|
||||
_ = d.cmd.Process.Kill()
|
||||
}
|
||||
if d.done != nil {
|
||||
// 等 Wait 协程回收进程，避免僵尸进程；进程已死则立刻返回
|
||||
<-d.done
|
||||
}
|
||||
d.teardown()
|
||||
if d.scriptDir != "" {
|
||||
_ = os.RemoveAll(d.scriptDir)
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user