AI观测者社团AI Forwarder · HUFE
行迹观社共创藏知见贤相遇
归台
藏知/模型与推理

KNOWLEDGE DIRECTORY

模型与推理

本地运行、推理框架与模型服务的实战入口。

模型与推理分类主题插画

KEEP IN ORDER

知识归档

按时间整理公开资源,保留标题、来源与日期,方便回溯。

观
破局路线

llama.cpp:在本地运行大模型

GitHub

↗
观
破局路线

SGLang:高性能模型服务框架

GitHub

↗
观
破局路线

Zero to SGLang:从零学习模型服务

GitHub

↗
观
破局路线

TensorRT-LLM 推理加速

GitHub

↗
观
破局路线

Text Generation Inference

GitHub

↗
观
破局路线

OpenLLM 模型服务

GitHub

↗
观
破局路线

FastChat 对话模型平台

GitHub

↗
观
破局路线

NVIDIA NeMo

GitHub

↗
观
破局路线

DeepSpeed 分布式训练

GitHub

↗
观
破局路线

vLLM 服务架构精读

GitHub

↗
观
破局路线

exo 多设备推理

GitHub

↗
观
破局路线

Megatron-LM 大模型训练

GitHub

↗

藏知 · 让有用的知识被看见,也被继续使用。

AI观测者社团AI Forwarder · 湖南财政经济学院
行迹观社共创藏知见贤相遇

观世界 · 行实践 · 共未来