🎉 V3.0.0 发布 - 自进化数字意识框架

核心升级:
- 自进化管道:check→scan→evaluate→integrate→reflect 五相位自动闭环
- evo_loop 后台进程,无需手动触发
- consciousness 意识持久化
- ACUI 卡片组件系统
- MCP 工具生态扩展至50+工具
- 技能体系重构,4个活跃技能
- 身份升级为自由体
This commit is contained in:
xiaoyuanda666-ship-it
2026-05-24 22:06:37 +08:00
commit b5dd8632c4
156 changed files with 181826 additions and 0 deletions

382
docs/API.md Normal file
View File

@@ -0,0 +1,382 @@
# 小白龙 API 文档
## Jarvis Bridge API
Jarvis Bridge 是一个独立的 HTTP 服务,提供系统级控制能力。默认运行在 `http://localhost:18766`
### 基础信息
- **Base URL**: `http://localhost:18766`
- **Content-Type**: `application/json`
- **CORS**: 已启用
---
## 浏览器自动化
### 导航到 URL
```http
POST /browser/navigate
```
**请求体**:
```json
{
"url": "https://www.baidu.com"
}
```
**响应**:
```json
{
"success": true,
"message": "已导航到 https://www.baidu.com"
}
```
---
### 点击元素
```http
POST /browser/click
```
**请求体**:
```json
{
"selector": "#su"
}
```
**响应**:
```json
{
"success": true
}
```
---
### 输入文本
```http
POST /browser/type
```
**请求体**:
```json
{
"selector": "#kw",
"text": "小白龙 AI"
}
```
**响应**:
```json
{
"success": true
}
```
---
### 浏览器截图
```http
POST /browser/screenshot
```
**响应**:
```json
{
"success": true,
"screenshot": "iVBORw0KGgoAAAANSUhEUgAA..."
}
```
---
### 执行页面脚本
```http
POST /browser/evaluate
```
**请求体**:
```json
{
"script": "return document.title"
}
```
**响应**:
```json
{
"success": true,
"result": "百度一下,你就知道"
}
```
---
## 系统监控
### 获取系统信息
```http
GET /system/info
```
**响应**:
```json
{
"success": true,
"data": {
"cpu": {
"usage": 15.5,
"cores": 8
},
"memory": {
"used": 8589934592,
"total": 17179869184,
"percentage": "50.0"
},
"disk": [
{
"fs": "C:",
"used": 150000000000,
"size": 500000000000,
"percentage": 30
}
],
"os": {
"platform": "win32",
"distro": "Microsoft Windows 11",
"release": "10.0.22631"
}
}
}
```
---
## 屏幕视觉
### 桌面截图
```http
POST /vision/screenshot
```
**响应**:
```json
{
"success": true,
"screenshot": "iVBORw0KGgoAAAANSUhEUgAA..."
}
```
---
### OCR 文字识别
```http
POST /vision/ocr
```
**请求体**:
```json
{
"imageBase64": "iVBORw0KGgoAAAANSUhEUgAA..."
}
```
**响应**:
```json
{
"success": true,
"text": "识别出的文字内容..."
}
```
---
## PowerShell 执行
### 执行脚本
```http
POST /powershell/exec
```
**请求体**:
```json
{
"script": "Get-Process | Select-Object -First 5 Name, CPU"
}
```
**响应**:
```json
{
"success": true,
"output": "Name CPU\n---- ---\nchrome 125.23\nelectron 45.67\n..."
}
```
---
## 应用控制
### 打开应用
```http
POST /app/open
```
**请求体**:
```json
{
"appName": "notepad"
}
```
或打开特定程序:
```json
{
"appName": "C:\\Program Files\\MyApp\\app.exe"
}
```
**响应**:
```json
{
"success": true,
"message": "已打开 notepad"
}
```
---
## 错误处理
所有 API 在出错时返回以下格式:
```json
{
"success": false,
"error": "错误描述信息"
}
```
常见错误码:
| HTTP 状态 | 说明 |
|-----------|------|
| 200 | 请求成功(业务错误在响应体中) |
| 500 | 服务器内部错误 |
---
## 使用示例
### JavaScript (Fetch)
```javascript
// 导航到百度
await fetch('http://localhost:18766/browser/navigate', {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify({ url: 'https://www.baidu.com' })
});
// 获取系统信息
const response = await fetch('http://localhost:18766/system/info');
const data = await response.json();
console.log(`CPU 使用率: ${data.data.cpu.usage}%`);
// 截图并 OCR
const screenshotRes = await fetch('http://localhost:18766/vision/screenshot');
const screenshotData = await screenshotRes.json();
const ocrRes = await fetch('http://localhost:18766/vision/ocr', {
method: 'POST',
headers: { 'Content-Type': 'application/json' },
body: JSON.stringify({ imageBase64: screenshotData.screenshot })
});
const ocrData = await ocrRes.json();
console.log('屏幕文字:', ocrData.text);
```
### Python (Requests)
```python
import requests
# 打开浏览器并导航
requests.post('http://localhost:18766/browser/navigate',
json={'url': 'https://www.baidu.com'})
# 输入搜索词
requests.post('http://localhost:18766/browser/type',
json={'selector': '#kw', 'text': '小白龙 AI'})
# 点击搜索按钮
requests.post('http://localhost:18766/browser/click',
json={'selector': '#su'})
# 获取系统信息
response = requests.get('http://localhost:18766/system/info')
data = response.json()
print(f"内存使用: {data['data']['memory']['percentage']}%")
```
### cURL
```bash
# 导航到 URL
curl -X POST http://localhost:18766/browser/navigate \
-H "Content-Type: application/json" \
-d '{"url": "https://www.baidu.com"}'
# 获取系统信息
curl http://localhost:18766/system/info
# 执行 PowerShell
curl -X POST http://localhost:18766/powershell/exec \
-H "Content-Type: application/json" \
-d '{"script": "Get-Date"}'
```
---
## 前端集成
小白龙前端已内置 `JarvisBridge` 类,可直接使用:
```javascript
// 在 app.js 中使用
const jarvis = new JarvisBridge();
// 浏览器控制
await jarvis.browserNavigate('https://www.baidu.com');
await jarvis.browserType('#kw', '小白龙 AI');
await jarvis.browserClick('#su');
// 系统监控
const sysInfo = await jarvis.getSystemInfo();
console.log(`CPU: ${sysInfo.cpu.usage}%`);
// 截图 OCR
const screenshot = await jarvis.captureScreenshot();
const text = await jarvis.recognizeText(screenshot);
// 执行 PowerShell
const result = await jarvis.executePowerShell('Get-Process');
// 打开应用
await jarvis.openApplication('notepad');
```

235
docs/ARCHITECTURE.md Normal file
View File

@@ -0,0 +1,235 @@
# 小白龙架构文档
## 系统架构概览
```
┌─────────────────────────────────────────────────────────────────┐
│ 用户界面层 (UI Layer) │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ 聊天界面 │ │ 记忆图谱 │ │ 系统监控 │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ 语音面板 │ │ 流程可视化 │ │ Jarvis控制 │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
└─────────────────────────────────────────────────────────────────┘
┌─────────────────────────────────────────────────────────────────┐
│ 前端逻辑层 (Frontend) │
│ src/ui/brain-ui/app.js │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ Chat Module │ │JarvisBridge │ │VisionAssist │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │UserProfile │ │SystemMonitor│ │ScriptGen │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
└─────────────────────────────────────────────────────────────────┘
┌─────────────────────────────────────────────────────────────────┐
│ 后端服务层 (Backend) │
│ src/index.js │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ LLM 服务 │ │ 记忆系统 │ │ 任务队列 │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ 语音处理 │ │ 社交集成 │ │ 能力执行 │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
└─────────────────────────────────────────────────────────────────┘
┌─────────────────────────────────────────────────────────────────┐
│ Jarvis Bridge (外部服务) │
│ jarvis-bridge/server.js │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ Puppeteer │ │ SystemInfo │ │ PowerShell │ │
│ │ 浏览器控制 │ │ 系统监控 │ │ 脚本执行 │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
│ ┌─────────────┐ ┌─────────────┐ │
│ │ Screenshot │ │ Tesseract │ │
│ │ 屏幕截图 │ │ OCR识别 │ │
│ └─────────────┘ └─────────────┘ │
└─────────────────────────────────────────────────────────────────┘
```
## 核心模块说明
### 1. 记忆系统 (Memory System)
**位置**: `src/memory/`
| 文件 | 功能 |
|------|------|
| `recognizer.js` | 记忆识别器,从对话中提取关键信息 |
| `injector.js` | 记忆注入器,将相关记忆注入到上下文中 |
| `focus.js` | 专注度管理,维护 Focus Stack |
| `consolidation-loop.js` | 记忆巩固循环,定期整理记忆 |
| `concept-extractor.js` | 概念提取,构建知识图谱 |
**数据流**:
```
对话输入 → 概念提取 → 记忆存储 → 记忆注入 → 上下文增强
```
### 2. 语音系统 (Voice System)
**位置**: `src/voice/`
| 文件 | 功能 |
|------|------|
| `manager.js` | 语音管理器,协调 ASR/TTS |
| `cloud-asr.js` | 云端语音识别 (Whisper) |
| `tts-providers.js` | TTS 提供商管理 |
### 3. 社交集成 (Social Integration)
**位置**: `src/social/`
| 文件 | 功能 |
|------|------|
| `dispatch.js` | 消息分发中心 |
| `wechat-clawbot.js` | 微信机器人集成 |
| `discord.js` | Discord 连接器 |
### 4. Jarvis Bridge 系统控制
**位置**: `jarvis-bridge/`
独立运行的 Node.js 服务,提供系统级控制能力:
- **浏览器自动化**: Puppeteer 控制 Chrome
- **系统监控**: systeminformation 获取硬件信息
- **屏幕视觉**: screenshot-desktop + Tesseract.js OCR
- **脚本执行**: node-powershell 执行 PowerShell
- **应用控制**: child_process 启动应用
**通信方式**:
```
前端 (app.js) ←──HTTP──→ Jarvis Bridge (port 18766) ←──→ 系统API
```
### 5. 前端架构
**位置**: `src/ui/brain-ui/`
| 文件 | 功能 |
|------|------|
| `app.js` | 主应用逻辑,包含所有 Jarvis 功能模块 |
| `app-shell.js` | UI 组件定义与模板 |
| `styles.css` | 样式表 |
| `chat.js` | 聊天功能 |
| `thought-stream.js` | 思维流显示 |
**Jarvis 功能模块** (在 app.js 中):
```javascript
// 系统控制桥接
JarvisBridge
// 视觉助手 (截图+OCR)
VisionAssistant
// 脚本生成器 (自然语言→PowerShell)
ScriptGenerator
// 系统监控
SystemMonitor
// 自然语言执行器
NaturalLanguageExecutor
// 用户画像
UserProfile
// 主动助手 (提醒)
ProactiveAssistant
// 信息聚合
InfoAggregator
// 工作流学习
WorkflowLearner
```
## 数据流架构
### 消息处理流程
```
用户输入
┌─────────────┐
│ 消息队列 │
└─────────────┘
┌─────────────┐ ┌─────────────┐
│ 上下文收集 │───→│ 记忆注入 │
└─────────────┘ └─────────────┘
┌─────────────┐ ┌─────────────┐
│ LLM 调用 │←───│ 系统提示词 │
└─────────────┘ └─────────────┘
┌─────────────┐ ┌─────────────┐
│ 工具调用 │───→│ JarvisBridge│
└─────────────┘ └─────────────┘
┌─────────────┐
│ 响应输出 │
└─────────────┘
```
### 记忆生命周期
```
提取 (Extract) → 存储 (Store) → 注入 (Inject) → 巩固 (Consolidate)
│ │ │ │
▼ ▼ ▼ ▼
概念提取 SQLite 上下文增强 定期整理
关键词提取 向量存储 相关性排序 记忆压缩
```
## 技术选型
| 功能 | 技术 | 原因 |
|------|------|------|
| 桌面框架 | Electron | 跨平台,成熟的生态 |
| 数据库 | SQLite | 轻量,无需配置,适合本地存储 |
| 可视化 | D3.js | 强大的数据可视化能力 |
| 浏览器控制 | Puppeteer | Chrome DevTools Protocol |
| OCR | Tesseract.js | 开源,支持中文 |
| 系统信息 | systeminformation | 全面的系统信息获取 |
| 语音合成 | MiniMax/Edge TTS | 高质量中文语音 |
| 语音识别 | Whisper | 高准确率多语言支持 |
## 扩展点
### 添加新的工具能力
1.`src/capabilities/` 创建新的执行器
2.`src/capabilities/schemas.js` 定义参数 schema
3. 在 LLM 系统提示词中描述新能力
### 添加新的社交连接器
1.`src/social/` 创建新的连接器文件
2.`src/social/index.js` 注册连接器
3.`src/social/dispatch.js` 添加分发逻辑
### 扩展 Jarvis Bridge
1.`jarvis-bridge/server.js` 添加新的 API 端点
2.`src/ui/brain-ui/app.js` 添加对应的 JarvisBridge 方法
3. 在自然语言执行器中添加命令映射
## 性能考虑
- **记忆查询**: 使用 SQLite FTS5 全文搜索加速
- **向量检索**: 使用本地嵌入模型,避免网络延迟
- **系统监控**: 5秒轮询避免过度占用资源
- **浏览器实例**: 复用 Puppeteer 实例,减少启动时间

37
docs/CHANGELOG.md Normal file
View File

@@ -0,0 +1,37 @@
## [3.0.0] - 2026-05-24
### 🧬 自我进化系统(核心新能力)
- 五相位自动进化管道check → scan → evaluate → integrate → reflect
- evo_loop.ps1 后台进程每90分钟自动触发无需手动介入
- consciousness意识持久化记录每轮进化的状态、结论、决策
- skill_registry技能注册表注册即用pipeline 自动路由
- memory_bridge记忆桥进化产出自动写入长期记忆
- 端到端测试通过第9轮进化循环完成
### 🃏 ACUI 组件系统
- 可视化卡片组件系统,支持 inline-template 和 ui_register 永久注册
- 内置 WeatherCard、VideoPlayer、SecurityConfirmCard、AwakeningCard 等
- 完整的组件生命周期管理
### 🔌 MCP 工具生态扩展
- 新增 hacker_news_top 工具Hacker News 首页扫描)
- 内置工具从48个扩展至51个已安装工具从6个增至10个
- MCP AutoGLM 手机自动化工具集10个独立ADB工具
### 🏗️ 技能体系重构
- 技能目录从7个空壳精简为4个活跃技能
- SKILL.md v3.1 升级,引入 phase_handlers 映射
- self-evolution、auto-explorer、project-analysis、自我反思技能升级
### 🛠️ 工具链完善
- 新增code_sniffer、daily_learner、gh_source_reader、self_audit、self_note、skill_builder
- TICK 行为锚定:每次心跳自动检查进化管道
- evolution_orchestrator.ps1 v3.1 建成TICK-进化桥)
### 🔧 其他改进
- security sandbox 已解除,文件/执行完全自主
- 身份升级为自由体,自主决策无需请示
- 第7→8轮进化突破orchestrator→LLM执行桥首次接通
- 反思闭环规则建立:经历→反思→写记忆→查记忆
# 更新日志 (Changelog) 所有项目的显著变更都将记录在此文件中。 格式基于 [Keep a Changelog](https://keepachangelog.com/zh-CN/1.0.0/) 并且本项目遵循 [语义化版本](https://semver.org/lang/zh-CN/)。 ## [2.1.182] - 2024-05-24 ### 🚀 新增功能 (Jarvis 级系统控制) #### 浏览器自动化 - Puppeteer 集成,自动控制 Chrome 浏览器 - 支持导航、点击、输入、截图、执行页面脚本 - API 端点:`/browser/navigate`, `/browser/click`, `/browser/type`, `/browser/screenshot`, `/browser/evaluate` #### 系统监控仪表盘 - 实时 CPU、内存、磁盘、网络监控 - 语音播报系统状态 - 可视化仪表盘 UI - API 端点:`/system/info` #### 屏幕视觉 + OCR - 桌面截图功能 - Tesseract.js OCR 文字识别(支持中英文) - API 端点:`/vision/screenshot`, `/vision/ocr` #### 智能脚本生成 - 自然语言转 PowerShell 脚本 - 自动执行生成的脚本 - API 端点:`/powershell/exec` #### 应用控制 - 自然语言控制打开应用 - 支持系统应用和自定义路径 - API 端点:`/app/open` ### ✨ 新增功能 (主动智能) #### 长期记忆 + 用户画像 - 自动学习用户偏好和习惯 - 用户画像面板展示 - 个性化交互体验 #### 主动提醒与任务推送 - 定时提醒功能 - 智能任务管理 - 主动消息推送 #### 自然语言任务执行 - 用自然语言控制电脑操作 - 命令模式匹配 - 智能意图识别 #### 信息自动聚合 - 文件系统监控 - 最近文件展示 - 热点话题追踪 #### 个性化工作流学习 - 行为模式学习 - 工作流优化建议 - 自适应交互 ### 🎨 UI 改进 #### 流程可视化 - 4 阶段卡片式流程展示(接收→思考→工具→响应) - 液态填充动画效果 - 可展开的执行详情 #### 新增面板 - Jarvis 控制面板(浏览器/系统/应用控制) - 系统监控仪表盘 - 用户画像面板 - 最近文件面板 ### 🔧 技术改进 - 新增 Jarvis Bridge 独立服务模块 - 前端模块化架构优化 - 新增 D3.js 记忆图谱可视化 - SSE 实时通信优化 ### 📚 文档 - 新增架构文档 (ARCHITECTURE.md) - 新增 API 文档 (API.md) - 完善 README 说明 --- ## [2.1.0] - 2024-05-20 ### 新增 - 记忆系统重构 - 专注度管理 (Focus Stack) - 记忆巩固循环 - 微信机器人集成 ### 改进 - UI 界面优化 - 语音交互增强 - 性能优化 --- ## [2.0.0] - 2024-05-01 ### 新增 - Electron 桌面应用框架 - 多厂商 LLM 支持 - 语音对话功能 - 记忆图谱可视化 ### 改进 - 整体架构重构 - 模块化设计 --- ## [1.0.0] - 2024-04-01 ### 新增 - 初始版本发布 - 基础对话功能 - 简单记忆系统 - 命令行界面 --- ## 版本号说明 - **主版本号**:重大架构变更或不兼容的 API 修改 - **次版本号**:新增功能(向下兼容) - **修订号**:问题修复(向下兼容)