LMSYS Org
@lmsysorg 18.3K X 关注者首个产品发布于 3 年前
- 公开收入
- 未公开
- 名下产品暂无公开收入
访问
名下产品
| 产品 | 月访问 · 10月 | 操作 |
|---|---|---|
| SGLang开源开源高性能服务框架,供需要大规模、低延迟推理的团队部署大语言与多模态模型。 | 228.6K | |
| LMSYS Org大型模型系统组织——致力于开发开放、易用且可扩展的大型模型和系统。 | 193.8K |
时间线
11 月 18 日 · 4 天前
SGLang 重点介绍 Humming 低比特内核及性能结果产品动态
LMSYS Org 的帖子介绍了 Humming 如何为 NVIDIA GPU 上的密集层和 MoE 层编译低位宽内核,并强调其在 SGLang 中的应用。帖子报告称,在所述测试中,相较于 Marlin,预填充速度提升了 1.07–1.23×;对于 FP8 而非 BF16 专家激活,输出吞吐量提高了 17–34%。
SGLang 新增对 Hy4 flash 的首日支持产品动态
SGLang 宣布对 Tencent Hunyuan 的 Hy4 flash 提供 day-zero 支持,并将该模型描述为一款具有 1M 上下文窗口的 224B 多模态模型。帖子重点介绍了更低的单任务成本、更小的 KV-cache、DFly2 推测解码,以及与 Engram 结合的 LatentMoE,并邀请用户通过 SGLang 试用。
SGLang 新增对 Sage S2.1 Flash 的支持产品动态
帖子称,SGLang 现在支持 Sage S2.1 Flash,这是一款用于科学研究的多模态模型。帖子介绍了通过检索、编程和工具使用进行多轮研究,并邀请用户使用 SGLang 运行该模型。
SGLang LMSYS Org详解H200上DeepSeek-V4.1-Flash的SGLang优化引荐与外链
LMSYS Org 的帖子介绍了使用 SGLang PD 分离架构在 8×H200 上运行 DeepSeek-V4.1-Flash。帖子报告称,在八个测试案例中,与原始基线相比,端到端延迟降低 15%–64%,TTFT 降低 41%–79%;而 TPOT 高出 3%–52%,GSM8K 则从 96.74% 变为 95.38%。
11 月 16 日 · 6 天前
SGLang 成立联盟,拥有九家创始成员产品动态
该帖子称,LMSYS 与九位创始成员共同推出了 SGLang Consortium:NVIDIA、AMD、Intel、Google、Meta、Thinking Machines Lab、Cloudflare、Modal 和 RadixArk。帖子称,Thinking Machines Lab 于 Nov 16 加入。
问题与证据
- LMSYS Org 开发过哪些产品?
- EarlyLore 收录了 LMSYS Org 的 2 款独立软件产品(其中 2 款当前在线),代表产品包括 SGLang, LMSYS Org。
- LMSYS Org 旗下产品的网站访问量有多少?
- 按各独立域名最近一个可用统计月份合计,LMSYS Org 旗下产品可追踪的网页月访问量为 422.4K;共享托管域名与商店扩展页面不计入该合计。
相关独立开发者研究指南