ScreenPipe：24/7不间断记录你的屏幕和音频数据

Screenpipe是什么？

Screenpipe 是一款开源的跨平台工具，能够 24/7 持续记录桌面活动，不仅能录制屏幕、语音、键盘、鼠标和摄像头等数据，还能将这些数据保存到本地数据库。 最后，利用LLMs直接对话、总结、回顾我们在电脑上所做过的事情。

Screenpipe功能特点

• 数据捕获：能够 7×24 小时不间断地记录屏幕、音频、UI 元素以及用户交互操作，全方位获取桌面活动信息。

• 数据处理：具备文本提取、音频转录功能，并将处理后的数据存储在本地 SQLite 数据库中，方便后续分析和使用。

• ai 能力：支持嵌入、RAG（检索增强生成）管道，通过 Ollama、OpenAI/Anthropic 代理使用本地大语言模型（LLMs），为各种智能化应用提供支持。

• 应用部署：允许用户将 Nextjs 应用直接部署到桌面，无需额外的包装。

• 插件系统（Pipes）：支持开发者创建和使用各种插件，扩展功能，例如自动生成会议记录、分析工作流程等。

Screenpipe使用场景

• 会议管理：自动记录和转录会议内容，提取关键点，方便后续回顾。

• 内容创作：根据屏幕活动生成报告、文章或社交媒体内容。

• 个人知识库：创建可搜索的数字互动档案，快速查找过去的演示、网络研讨会或在线课程内容。

• 自动化数据录入：将屏幕上的信息自动填充到 CRM 系统或其他数据库中，节省时间。

Screenpipe使用方法

1. 安装 Screenpipe：从官网下载或通过源码编译。

2. 配置录制设置：选择需要录制的屏幕和音频输入。

3. 安装插件：从 Screenpipe Store 安装插件以扩展功能。

4. 使用 AI 功能：通过 AI 功能查询历史记录、生成摘要或自动化任务。

Screenpipe开发技术

• 前端：使用 NextJS App 搭配 TypeScript 开发，采用 Tailwind 进行样式设计，使用 ShadcnUI 组件，并直接部署到桌面。

• 后端：通过调用 screenpipe localhost:3030，直接在用户设备上存储数据，通过本地端点调用 LLMs，支持创建点击、打字等操作。

Screenpipe解决的问题

• 跨平台难题：应对不同操作系统（Windows、macOS 和 Linux）的原生 API、权限和特性差异。

• 性能优化：优化 CPU 和 GPU（若可用）使用，平衡系统资源与实时处理需求。

• 存储与处理：实现视频压缩、结构化数据存储和数据去重。

• OCR 与语音处理：集成和优化 OCR 引擎，处理多语言，进行实时语音处理。

• 向量搜索基础设施：构建高效的嵌入存储 / 检索系统（WIP）。

• Rust 生态系统复杂性：处理 FFI 绑定、异步运行时、系统 API 的不安全代码和跨边界错误处理。

常见问题

问：Screenpipe 与其他类似工具相比，最大的优势是什么？

答：Screenpipe 最大的优势在于其开源、跨平台且 100% 本地化的特性，用户能够完全掌控自己的数据。同时，它提供丰富的插件 “pipes”，方便用户根据需求定制功能，还能直接在桌面部署 Nextjs 应用，在提升工作效率和业务增长方面效果显著，如自动填充 CRM 使客户收入增长 20% ，这些是很多其他工具不具备的。

GitHub：http://github.com/mediar-ai/screenpipe

下载体验：http://screenpi.pe