Arxiv Daily AIGC:一个arXiv论文爬虫、分析和整理自动化工具

Arxiv Daily AIGC是什么?

Arxiv Daily AIGC 是一个AI驱动的arXiv论文爬虫、分析和整理自动化工具,每天从 arXiv 的 cs.CV 领域提取最新论文,通过 OpenRouter API 筛选出与图像、视频和多模态生成相关的论文,并对其价值进行评估。筛选后的论文信息会被保存为 JSON 文件,再根据这些数据生成美观的 HTML 每日报告,并更新主页。整个流程,包括每日定时抓取、筛选、生成和部署到 GitHub Pages,都是通过 GitHub Actions 自动完成的。

Arxiv Daily AIGC:一个arXiv论文爬虫、分析和整理自动化工具.webp

Arxiv Daily AIGC功能特点

  • 数据抓取:每天自动从arXiv的计算机视觉(cs.CV)领域抓取最新论文。

  • AI筛选:使用大型语言模型(LLM,目前通过OpenRouter API)智能筛选与图像/视频/多模态生成相关的论文,并从不同维度对论文的价值进行评分。

  • 数据存储:将筛选后的论文信息(标题、摘要、链接等)以日期命名的JSON文件形式保存(存储在daily_json/目录中)。

  • 网页生成:基于JSON数据使用预设模板生成每日HTML报告(存储在daily_html/目录中),并更新主入口页面index.html。

  • 自动化部署:通过GitHub Actions实现每日定时抓取、筛选、生成和部署到GitHub Pages的完整流程。

Arxiv Daily AIGC技术栈

  • 后端/脚本:Python 3.x(使用arxiv、requests、jinja2等库)。

  • 前端:HTML5、TailwindCSS(CDN)、JavaScript、Framer Motion(CDN)。

  • 自动化:GitHub Actions。

  • 部署:GitHub Pages。

Arxiv Daily AIGC安装与使用

  1. 克隆仓库:使用git clone命令克隆项目到本地。

  2. 创建并激活虚拟环境:推荐使用Python虚拟环境。

  3. 安装依赖:安装requirements.txt文件中列出的所有Python库。

  4. 配置API密钥:项目需要OpenRouter API密钥进行AI筛选。

Arxiv Daily AIGC使用方法

  • 本地运行:直接运行主脚本main.py手动触发完整流程(抓取、筛选、生成)。

  • GitHub Actions自动化:仓库配置了GitHub Actions工作流(.github/workflows/daily_arxiv.yml),默认每天定时运行。

相关链接

Github:https://github.com/onion-liu/arxiv_daily_aigc

项目主页:https://www.aha-time.com/arxiv_daily_aigc/

收藏
最新工具
Vidgo AI
Vidgo AI

一个多合一AI图像、音乐和视频生成器,能将文字、图片等素材变成图...

Vinteo AI
Vinteo AI

一款AI电商产品摄影和可视化产品设计工具,可帮助零售商、制造商等...

PassiveWP
PassiveWP

一款 WordPress 联盟营销插件,让产品研究、推广和跟踪,...

Get笔记网页版
Get笔记网页版

得到团队打造的一款高效笔记应用,可以帮助用户把零散信息转化为系统...

LLM Course
LLM Course

一个关于LLMs课程的集合,包含学习路线图和Colab笔记本,帮...

优考试
优考试

一款在线考试系统,支持在线网络和局域网离线考试,适用于企业、事业...

UseResume AI
UseResume AI

一个简历生成和优化平台,专注于帮助求职者快速创建专业、个性化的简...

NewsNow
NewsNow

一款开源的实时热门新闻聚合平台,能让你快速了解国内外的新闻、科技...

Zion
Zion

一个全栈的零代码开发工具,快速搭建个性化应用!能够帮助用户从应用...

Fellou AI浏览器
Fellou AI浏览器

由中国95后创业者谢扬及其团队推出的全球首个行动型浏览器,它将浏...