# 边缘计算

Boxlite 是一个极轻量的微虚拟机，专为 AI 代理设计，可嵌入本地笔记本电脑，也能扩展为 AI 代理云，实现本地与云端协同运行。

一个仅 2600 万参数的超轻量函数调用模型，可在极小设备（如嵌入式芯片）上运行，实现边缘端 AI 功能。

在RK3588S芯片上实现42FPS的双YOLOv8n无人机检测，专为边缘AI硬件优化，适合无人机安防与实时监控场景

面向移动端与可穿戴设备的低延迟 AI 引擎，专为在资源受限设备上高效运行 AI 模型而设计，解决边缘端 AI 推理性能瓶颈

一个开源的、可部署在 Cloudflare 上的原生任务管理与知识库系统，允许开发者在边缘计算环境中运行自动化工作流和协作工具。

Tokenstead 帮助用户根据硬件设备性能快速筛选适配的 AI 模型，解决边缘计算中模型部署的匹配难题，适合开发者和嵌入式系统工程师。

纯Rust编写的轻量级边缘推理引擎，支持小语言模型、语音识别与实时语音合成，可在笔记本或树莓派上本地运行，无需Python/Docker/CUDA

一款免费的本地AI任务卸载工具，让设备在本地运行AI任务时更高效，降低对云端依赖和延迟问题

WiFi-LLM 是一个利用本地大模型在WiFi环境下运行的轻量级AI应用，实现离线推理与本地化数据处理，解决云端AI依赖网络与隐私泄露的痛点。

构建了一个可在消费级设备上运行的推理虚拟机及客户端，让个人电脑也能高效运行大模型推理

Posthawk 是一个基于边缘计算的事务性邮件服务，专为 Next.js、Vercel 和 Cloudflare Workers 构建，支持开源自托管，帮助开发者快速集成高可靠邮

超轻量级LLM推理引擎，追求极致速度，适合在边缘设备或高并发场景下快速部署大模型推理服务。

阿里巴巴自研的轻量级高性能推理引擎，专为设备端大模型与边缘 AI 优化，支持低延迟部署

在高通设备（NPU/GPU/CPU）上轻松运行前沿大模型与视觉语言模型，代码简洁，适合边缘AI开发者。

在RK3588S芯片上实现双YOLOv8n无人机检测，利用NPU加速达到42 FPS，适合边缘AI与无人机监控应用，亮点是轻量模型与高性能硬件的高效结合

1-bit WebGPU 运行时项目在浏览器中运行 1.7B 参数的 LLM，仅用极低内存和计算资源实现本地大模型推理，让轻量级 AI 应用在前端落地成为可能。

面向 AI 在片上系统（SoC）任务上的性能评估开源基准，推动边缘 AI 的标准化测试

将 llama.cpp 移植到 Apple Watch，实现在手表上本地运行 0.8B 参数的 LLM，实现离线 AI 交互。

Parakeet TDT 是一个轻量级语音识别模型，可在仅 55 美元/月的 CPU 服务器上替代 Whisper，显著降低部署成本。

Google推出的轻量级边缘AI推理框架LiteRT，作为TensorFlow Lite的继任者，专为边缘设备优化高性能ML与生成式AI部署

谷歌推出的面向边缘设备的高性能大语言模型推理框架，支持低延迟、高吞吐的本地 LLM 部署，适用于手机、IoT 等资源受限设备

一个仅 26MB 的超轻量级函数调用模型，可在资源极低的设备（如嵌入式）上运行。

面向移动端与可穿戴设备的低延迟 AI 推理引擎，支持轻量化模型高效运行，适合边缘设备上的实时 AI 应用。

高性能 WebAssembly 运行时，专为云原生、边缘计算和去中心化应用设计，支持多种场景下的轻量执行。

基于 WASM（wllama）的 LLM 推理与模型管理工具，可在浏览器或边缘设备上运行轻量级大模型。

BirdNET-Go 是一个可在树莓派上长期运行的本地化野生动物声音分析系统，支持多模型 AI 推理，用于实时识别鸟类、蝙蝠等生物声音，适合生态研究者与环保爱好者。

Vercel Day 发布的代理媒体运行时，支持在边缘计算环境中运行 AI 代理处理多媒体任务，如图像、音频生成与分析。

WiFi-LLM 是一个将大语言模型运行在 WiFi 网络中的实验性项目，通过无线网络实现跨设备的轻量级 AI 服务共享，适合开发者探索新型边缘计算场景。

Cloudflare Workers Runtime 是基于 Wasm 的 JavaScript 运行时，支持在边缘节点执行轻量级函数，用于构建低延迟、高可扩展的 Web 应用。

专为小型大模型优化的轻量级运行时框架，提升小模型在资源受限环境下的推理效率与响应速度，适合边缘部署

一个基于AMD Ryzen AI芯片的本地化小型大模型推理集群，主打低功耗与边缘部署，适合开发者在本地运行轻量级AI模型，虽性能一般但开创性地尝试了AI芯片集群化部署。