SGLang
Framework de serving de LLMs y modelos multimodales creado por LMSYS; con RadixAttention logra latencias mínimas y ya sirve billones de tokens diarios en producción.
- Ingeniería
- ia
- open-source
- inferencia
26 ago
Índice curado
Recursos
Herramientas de IA, modelos abiertos y stack de creación, curados por categoría y etiqueta.
Categorías
Refinarinferencia · Ingeniería
2 recursos · Quitar filtros
LLM LLM vLLM
Motor de inferencia y serving de LLMs de alto rendimiento con PagedAttention; el estándar open source para servir modelos en producción con máximo throughput.
- Ingeniería
- ia
- open-source
- inferencia
26 ago