Groq ist ein Technologieunternehmen, das sich auf die Infrastruktur für künstliche Intelligenz spezialisiert hat. Der Fokus liegt dabei auf der Durchführung von Inferenz-Arbeitslasten, also der Anwendung trainierter KI-Modelle. Das Kernangebot zielt darauf ab, schnelle und kostengünstige Inferenz für produktionsnahe Umgebungen bereitzustellen.
Die technologische Basis bildet die Groq LPU technology (Language Processing Unit). Dabei handelt es sich um eine proprietäre Siliziumarchitektur, die speziell für die Anforderungen von KI-Inferenz entwickelt wurde. Die Systeme sind auf geringe Latenzzeiten optimiert. Dieses Custom-Silicon bildet die Grundlage für das Softwareangebot des Unternehmens.
Der zentrale Dienst ist GroqCloud, eine Inferenzplattform für Entwickler. Sie kann als öffentliche, private oder Co-Cloud-Instanz betrieben werden und unterstützt Text-, Audio- und Vision-Modelle. Die Plattform bietet eine OpenAI-kompatible Schnittstelle sowie integrierte Funktionen wie Prompt-Caching, Websuche und Codeausführung.
