distil labs bietet eine Entwicklerplattform zur Optimierung von Language-Model-Kosten. Das Unternehmen ersetzt teure LLM-Aufrufe durch spezialisierte, aufgabenspezifische kleine Sprachmodelle (SLMs), die automatisch aus produktiven Datenströmen synthetische Trainingsdaten erzeugen und für exakte Anwendungsfälle optimiert werden.
Die Plattform erfasst Produktionstraces, generiert davon ausgehend Trainingsdaten und führt ein Student-Modell mit dem bereitgestellten Systemprompt durch die distil CLI oder das Web-Interface durch. Nutzer können ihre optimierten Modelle über gehostete Inference, lokal auf ihren Geräten oder in privaten On-Premises-Umgebungen einsetzen. Diese Flexibilität macht die Lösung für regulierte Branchen besonders interessant, in denen Daten nicht in die Cloud übertragen werden dürfen.
Das Angebot deckt häufige NLP-Aufgaben ab: Textklassifikation, Open-Book-Fragen beantworten und Tool-Calling. Nutzer berichten von Inferenzkosten-Reduktionen zwischen 50 und 90 Prozent sowie verringerten Latenzen. Die Bereitstellung optimierter Modelle erfolgt typischerweise innerhalb weniger Stunden, nicht Tage oder Wochen. Fallstudien zeigen die praktische Anwendbarkeit in verschiedenen Produktionsumgebungen.
