# LLM

面向高级用户的 LLM 前端工具，提供强大的提示工程、角色扮演和多模型管理功能，帮助用户高效探索和控制大语言模型的能力。

统一的 LLM 请求路由与管理平台，可跨多个大模型服务商（如 OpenAI、Anthropic 等）调度和分析请求，实现成本与性能优化。

Memorist 解决长周期 LLM 任务中上下文丢失问题，通过可审计的持久化记忆机制，让 AI 在多轮对话中保持决策一致性，避免隐式提示污染。

llama.cpp 是一个用 C/C++ 实现的本地 LLM 推理框架，支持在 CPU 上运行 Llama 等大模型，无需 GPU，适合边缘设备和隐私敏感场景。

面向 JVM 平台的 LangChain 风格开源库，用于构建基于大语言模型的应用，支持多模型与向量数据库统一接口。

微软推出的语义内核框架，帮助 C# 开发者快速集成前沿大语言模型能力，构建智能应用

SillyTavern 是面向高级用户的 LLM 前端工具，支持多模型接入、角色扮演、自定义提示工程，是构建复杂 AI 交互体验的强力前端平台。

利用大语言模型（LLM）辅助学习新领域知识，强调深度理解而非快速跳过，适合希望系统掌握新技能的学习者。

由 JamWithAI 推出的生产级智能体 RAG 课程，结合实战项目讲解如何构建可落地的 AI 代理系统。

开源的 RAG 引擎，融合检索增强生成与智能体能力，为大语言模型提供更强大的上下文理解与推理支持。

LlamaFile 是一个单文件分发与运行大语言模型的工具，无需复杂环境配置，开箱即用，支持本地运行 LLM，适合隐私敏感或离线场景。

专为AMD Ryzen AI NPU优化的LLM推理框架，可快速在本地运行大模型，类似Ollama但深度适配AMD硬件。

Lemonade 是一个本地 AI 应用发现与运行平台，能自动调用用户本地 GPU/NPU 运行优化后的 LLM，实现高效、低延迟的本地 AI 体验。

为大语言模型（LLM）加速的高性能KV缓存层，显著提升推理速度与吞吐量，降低部署成本

SkillOpt 是一个用于冻结大语言模型代理的自然语言技能优化工具，通过轨迹驱动的编辑和验证门控更新，生成可复用的技能文档，适合 AI 研究与工程团队提升 LLM 代理的可维护性

Trace 是一个开源的自组织记忆系统，专为 LLM 代理设计，帮助智能体高效存储、检索和管理长期记忆，提升决策与上下文理解能力。

高性能、灵活的本地 LLM 推理框架，支持快速部署与定制化大模型服务

Soup 将 AI 代理的技能模块化并智能路由到 LLM 提示中，帮助开发者构建更可控、可组合的智能体系统，特别适合复杂任务分解与技能复用场景。

在 Mac 上直接运行和排名 LLM 模型的工具，支持从实时 GGUF 文件头加载模型，无需复杂配置，适合本地 AI 实验与开发者快速验证。

Foreman 是一个自托管的 LLM 网关，可根据成本、延迟和质量自动路由请求到最优大模型，帮助团队在多模型环境中实现成本控制与性能平衡。

PAI 是一个为大语言模型（LLM）设计的类 Linux 内核系统，旨在提供模块化、可扩展的 LLM 运行环境，适合开发者和 AI 工程师构建高效、可控的 AI 应用。

Mobile LLM Server 允许在 Android 设备上本地运行大型语言模型（如 llama.cpp 与 LiteRT-LM），实现离线 AI 推理。

基于大模型的性能排行榜工具，帮助用户判断何时该切换LLM模型

谷歌推出的面向边缘设备的高性能大语言模型推理框架，支持低延迟、高吞吐的本地 LLM 部署，适用于手机、IoT 等资源受限设备

一个免费的大型语言模型路由系统，可智能选择最优LLM处理请求，适合开发者与AI应用构建者，支持多模型动态调度与成本优化。

跨平台桌面应用，利用本地或远程大模型智能分类和重命名文件，支持预览确认与用户控制。

实验性项目：给LLM配备一个时钟，观察其是否“主动查看时间”，探索AI对时间感知与任务调度的认知能力。

一个用于管理大语言模型上下文记忆的工具，防止模型因长期使用导致上下文过时或信息失真，提升推理一致性。

一个专为 Claude 代码模型设计的技能插件，能智能识别开发工具并推荐，否则保持沉默，避免无效输出，提升开发效率。

面向自托管大语言模型（LLM）的开源验证与调优层，帮助开发者提升模型输出质量与稳定性，适用于 AI 研究者与私有化部署团队。

一个用于对比大语言模型性能的趣味性对抗平台，让两个LLM以‘剑斗’形式比拼推理与生成能力，适合AI研究员和开发者测试模型表现。

Context7：为大模型和AI代码编辑器提供实时、准确的代码文档平台，帮助AI理解上下文，提升生成质量。

RikkaHub 是一款 Android 应用，支持接入多个大语言模型（LLM）服务，实现统一界面下的多模型切换与管理。

ride-recap 利用大语言模型学习用户的骑行偏好，自动剪辑并生成个性化的骑行精彩片段，适合运动爱好者和内容创作者。

Zenic 是一个基于大语言模型的智能家居控制中枢，通过自然语言实现对家庭设备的统一管理，适合智能家居爱好者与极客用户。

一个灵活的异构大模型推理与微调优化框架，支持多种硬件和模型配置，帮助开发者高效部署和调优LLM，适用于AI工程化落地场景。

CallBro 是一个基于 Codex、Claude Code 或本地 LLM 的智能语音助手，可实现自然语言驱动的代码生成与任务执行

一个可自托管的LLM网关，支持基于评估结果的智能路由，帮助团队高效管理多个大模型服务，适合需要灵活部署与成本控制的AI团队

LLM Context Profiler 是用于监控大模型在工具、代理和MCP中上下文使用情况的分析工具，帮助开发者优化成本与性能。

开源 LLM 微调性能排行榜，验证 LoRA 微调速度与效果的权威基准

WorldBuild Bench 是一个用于测试大语言模型在3D游戏环境中保持世界连贯性的开源基准项目，适合AI研究员和游戏AI开发者，推动LLM在动态世界建模中的评估标准化。

一种AI模型训练新范式：冻结模型参数，仅训练控制逻辑（Harness），实现高效、安全的AI代理行为定制，适合希望快速迭代AI行为而避免灾难性遗忘的团队。

一个基于大语言模型的智能知识库系统，能自动整理用户笔记和论文，构建动态更新的个人Wiki，适合研究者和知识工作者。

该开源基准测试对比了不同内存层方案与完整聊天历史粘贴的性能差异，帮助开发者优化大模型应用中的上下文管理策略，适合 AI 应用开发者和 LLM 工程师。

PyInferenceManager 是一个开源库，可自动优化本地与云端大模型的推理负载，提升 LLM 应用性能并降低成本，适合 AI 开发者和部署工程师

为本地运行的大语言模型（LLM）赋予可视化界面和交互形象，让AI代理更直观易用，适合开发者与AI应用实验者。

本地运行大语言模型的可视化浏览器，支持MLX框架模型的图形化加载与交互，无需编码即可体验AI

Parley 是一个可自托管的 LLM 网络，允许用户在自有设备间构建私有大模型协作系统，实现本地化 AI 智能协同。

Unabyss for Claude 是一个为 Claude 大模型设计的共享记忆系统，让用户在多个应用和对话中保持上下文连贯，提升 AI 交互的连续性与效率，适合需要长期记忆的开