roofline stellt ein SDK und eine Entwicklerplattform für die Bereitstellung von KI-Modellen auf Edge-Geräten bereit. Das Angebot umfasst einen Compiler zur Modelloptimierung, eine Runtime für die Ausführung auf heterogenen Hardware-Plattformen (CPU, GPU, NPU) sowie ein Performance-Dashboard zur Überwachung von Modellen in der Produktion.
Die Plattform adressiert die Herausforderung, KI-Workloads effizient auf diverse System-on-Chips zu deployen. Das Tooling ermöglicht es Entwicklern, Modelle aus etablierten Machine-Learning-Frameworks in optimierte Implementierungen für spezifische Edge-SoCs zu übersetzen. Der Workflow soll Deployments von mehreren Monaten auf wenige Stunden reduzieren.
Das Produktangebot umfasst ein integriertes SDK, das den gesamten Pfad vom Code zur Produktionsreife abdeckt, sowie spezialisierte Komponenten für Modellkompilierung, Runtime-Ausführung und Performance-Monitoring. roofline arbeitet mit Halbleiter- und Ökosystem-Partnern zusammen, um Unterstützung für die wachsende Vielfalt an Edge-Hardware-Plattformen bereitzustellen.
