开源产品与代码仓库

85 个

模型训练与推理基础设施同赛道商业产品 →领域行情 →首屏与设计风格 →

开源项目 · 按 Stars
项目Stars操作
KitOpsMCP面向数据科学家、应用开发者和 DevOps 工程师的开源工具，可将模型、数据集、智能体技能及 MCP 服务器等 AI 项目资产打包、签名和版本化为可移植的 OCI 制…124
genv用于管理和共享 GPU 的 CLI。共享本机 GPU 并管理远程机器。在资源池中查找可用 GPU，并预留自用。监控使用情况并将指标发送到 Prometheus 或 Grafana。98
mlx-serve面向 Apple Silicon 的本地推理服务器与菜单栏 AI 助手，支持 MLX 和 GGUF 模型，可在 Mac 和 iPhone 上离线运行对话、多媒体生成及智能代理任务。84
local.ai免费的开源原生应用，可在本地管理、验证和运行 AI 模型，无需 GPU。73
PipelessCOSS面向开发者的开源计算机视觉框架，帮助快速开发和部署实时视频分析应用，并处理模型推理、多路视频流和底层流水线。65
ReplicateCOSS为软件开发者和企业提供云 API，用于运行、微调和部署机器学习模型。63
TuneKit帮助开发者上传数据并快速微调小型语言模型，可通过 Google Colab 免费训练并导出模型。53
Outspeed实时语音和视频 AI 平台31
Skyulf面向需要本地部署的机器学习与软件开发用户的开源产品系列，提供可验证的机器学习流水线和协作式 AI 智能体。27
LupineCOSS为需要训练、微调和规模化推理的用户提供按秒计费的按需 GPU 算力，可运行现有任务并在结束后缩容至零。25
OvermindMCP为 AI 智能体工程团队提供从生产追踪、数据准备和评估到模型微调与部署的一体化平台，让团队拥有自己的专用模型。21
LLMKube开源 Kubernetes 推理运算符，帮助团队在自有硬件上部署、管理和扩展大型语言模型推理。21
TensorSharp面向开发者、研究人员和本地推理学习者，提供可在本地运行文本及多模态模型、生成图像视频并构建智能体工作流的 C# 推理引擎。20
Datatron为企业的数据科学、机器学习工程及管理团队提供模型部署、生产监控与治理平台。19
InferencerCOSS让用户在自己的电脑上下载、运行并深入控制最新的AI模型，提供隐私保护和推理控制功能。17
QVAC开源本地 AI 平台，供开发者和设备用户在自己的硬件上运行、微调和集成 AI。15
Monostate帮助初创企业和大型企业利用自有数据训练、部署可自主托管的定制 AI 模型，并提供开源训练工具和咨询服务。15
LuceboxCOSSLucebox Zero 495 是面向个人和开发者的本地 AI 工作站，可在自有硬件上运行大型开放模型。14
ModaicCOSS为开发者和团队提供训练、部署及管理定制决策模型的平台，以自动化重复且需要判断的工作流程。13
OllaManCOSS面向个人开发者、AI 爱好者和小团队的桌面客户端，用于管理 Ollama 模型与服务器并进行 AI 对话。9
ReefyCOSS为个人和社区提供可在自有硬件上运行的AI计算机操作系统及应用平台。9
SulieCOSS在我们的 AI 厨房里精心打磨数月后，我们非常激动地推出 Sulie——一个真正好用的全托管时间序列预测平台（Model as a Service）！9
BsubCOSSbsub.io 为开发者提供批处理平台，可通过 API、CLI 或 SDK 运行文件处理与计算任务，并支持自托管。7
Quixotic AI为 JVM 开发者提供原生速度的本地 AI 推理及相关构建组件，支持聊天、视觉、嵌入和文本转语音。7
Autotune帮助在本机运行 AI 模型的用户自动优化 Ollama 的内存分配、上下文和缓存，降低内存占用并加快响应，同时提供命令行、API 和本地监控面板。7
Qelm为语言模型研究与开发提供可在本地创建、训练、保存和运行紧凑型量子增强语言模型的框架与工具。7
ArcCOSS让个人电脑共同运行AI模型并验证结果、记录工作和奖励节点运行者，同时提供Kimi K3 API。4
UBIAICOSS为企业、开发者和 AI 团队提供数据标注、训练数据生成、大语言模型微调及部署工具，以构建适用于特定领域的 AI 应用。4
Qubrid AICOSS为开发者、研究人员和企业提供 GPU 算力、模型推理及 AI 工作负载编排基础设施。3
PandaStackMCP为构建和运行 AI 代理的团队提供快速启动的 Firecracker 微虚拟机沙箱，以及托管数据库、应用托管和函数服务。2
第 2 / 3 页 · 当前展示 31–60 / 共 85 个开源项目