VideoButlerPipeline-简介
VideoButlerPipeline 智能视频处理流水线项目简介
🎯 项目概述
VideoButlerPipeline 是一款部署于本地环境的、高度自动化的智能视频处理流水线系统。项目核心理念是 “感知变化，按需处理”。它通过SMB协议, 支持用户操作文件，自动侦测新上传或发生修改的视频文件，并依据每个文件夹内独有的配置文件，触发定制化的视频处理流程。该系统旨在将零散、手动的视频处理任务，转化为一个集中、可配置且全自动化的高效流水线。
✨ 核心特性
| 特性 | 描述 |
|---|---|
| 🔗 基于SMB的智能监控 | 用户基于SMB/CIFS 协议, 添加任务像操作本地文件一样丝滑，实时感知文件变化，无需手动上传。 |
| ⏱️ 事件驱动处理 | 仅当文件上传完成或修改时间更新时，才自动触发处理流水线，高效利用计算资源。 |
| ⚙️ 文件夹级可配置流水线 | 每个处理目录均可放置一个 pipeline-config.yaml，实现一处一策，灵活定义不同的处理步骤与参数。 |
| 🛠️ 模块化处理单元 | 内置丰富插件（转码、压缩、水印、AI分析、字幕生成等），并支持自定义脚本或Docker容器快速扩展。 |
| 📊 可视化看板与日志 | 提供Web管理界面，实时监控处理队列、任务状态、历史日志及系统性能，一目了然。 |
| 界面管理 | 基于界面上传和预览文件 |
| 任务通知 | 可以配置正常任务和错误任务的通知 |
| 结果回传 | 可以配置处理完毕后结果上传到哪里 |
🏗️ 系统功能架构
-
文件监控层 (Watcher)
- 持续监听指定的SMB共享根目录及其子文件夹。
- 使用高效的文件系统事件通知机制，精准捕获文件的“创建”与“修改”事件。
-
配置解析与任务调度层 (Orchestrator)
- 当文件事件触发时，系统立即定位其所在文件夹的
pipeline-config.yaml配置文件。 - 解析配置，动态组装出一个有序的、可并行执行的处理任务DAG（有向无环图）。
- 将任务提交至内部队列，由任务调度器分发给空闲的处理Worker。
- 当文件事件触发时，系统立即定位其所在文件夹的
-
插件化处理层 (Worker Pool)
- 由多个处理Worker组成，每个Worker负责执行具体的处理单元（如调用FFmpeg进行转码，调用AI模型进行分析）。
- 插件支持热加载，新的处理能力可通过增加插件的方式快速集成。
-
输出与归档层
- 处理完成的文件可按配置规则，自动移动到指定目录（如“已完成”、“已归档”），或上传至云端存储。
- 所有处理元数据（输入、输出、配置、状态）均记录入数据库，便于审计与追溯。
-
**通知*8
- 处理执行任务中的各种通知
🌍 主要应用场景
| 场景 | 痛点 | VideoButlerPipeline 解决方案 |
|---|---|---|
| 🏢 企业内部媒体资产管理 | 市场、培训部门产生大量视频，格式杂乱，手动处理效率低下，缺乏统一规范。 | 设立“原始素材”、“精编成品”等SMB共享文件夹。市场部的原始视频自动转码为流媒体格式并添加水印；培训部的视频则自动压缩并生成字幕。 |
| 🎬 中小型视频制作工作室 | 摄影师/剪辑师需重复进行转码、代理文件生成、备份等枯燥工作，创意过程常被打断。 | 摄影师将拍摄素材拷贝至“RAW”文件夹，系统自动生成低码率代理文件供剪辑，同时将原始文件备份至NAS。剪 辑师可立即开始工作。 |
| 👁️ 安防与物联网视频分析 | 摄像头持续产生海量视频，人工筛查效率低，关键事件无法实时响应。 | 监控视频写入SMB共享目录后，系统自动调用AI模型（如人脸识别、异常行为检测）进行分析，并将告警事件和结果摘要推送至管理员。 |
| 📚 教育机构与在线课程制作 | 课程录制视频需要统一片头片尾、格式、并批量上传至学习管理系统(LMS)。 | 讲师将录屏文件放入“待处理课程”文件夹，系统按预定模板合成片头片尾、转码为标准格式，并自动上传至平台，生成课程链接。 |
| 视频翻译 | 上传视频实现自动翻译 | 上传视频实现自动翻译 |
| 视频去字幕 | 上传实现字幕去除和重新配置 | 上传实现字幕去除和重新配置 |
| 视频文字提取 | 上传实现视频内容的识别和提取 | 上传实现视频内容的识别和提取 |
| 视频分发 | 传入指定目标触发自动分发 | 传入指定目标触发自动分发,如多个平台的视频分发 |
🚀 为何选择 VideoButlerPipeline？
- 无缝集成：尊重并利用现有IT基础设施，无需改变用户使用习惯，通过SMB共享即可接入。
- 极致灵活：告别“一刀切”的处理方案，每个项目、每个部门都可以拥有自己专属的视频处理流水线。
- 解放人力：将创意工作者从重复性劳动中彻底解放，专注于高价值的内容创作与决策。
- 稳定可靠：基于文件事件的触发机制稳定，任务队列保证不丢不漏，完善的日志为运维提供支持。
开始您的自动化之旅：部署 VideoButlerPipeline，为您的组织构建一个智能、无声却无比高效的“视频处理中心”。您只需要定义规则，剩下的交给流水线