InferBox

Servidor self-hosted de inferencia GPU compatible con la API de OpenAI. Embeddings, rerankers, LLMs, STT, generación de imágenes. Micro-batching, decodificación especulativa, multi-GPU consciente. En uso diario sobre una RTX 3060 de 12 GB.

https://github.com/joseluissaorin/InferBox