Benchmarking

Unter Federführung des Fraunhofer FOKUS und Beteiligung von Fraunhofer ITWM, IAIS sowie CML ist die DIN Spezifikation [VH1] DIN SPEC 91480 »Benchmarking quantum computers with determined KPIs« erarbeitet worden. Das Dokument spezifiziert Anforderungen an Kriterien für die Bewertung verschiedener Quantencomputer, Quantenalgorithmen und ihrer Implementierungen sowie der Implementierung anhand eines standardisierten Satzes von Kernmetriken (KPIs) und zugehörigen Benchmark-Spezifikationen. Die Umsetzung dieser Spezifikationen in einer Benchmark-Suite soll den entwickelten Standard praktisch anwendbar machen. Es sind algorithmische Bausteine, Anwendungsbenchmarksuites sowie low-level Benchmarks zur Charakterisierung von Qubits bewertet worden. Die Arbeiten werden in Standardisierungsaktivitäten der CENELEC eingehen.

Im Rahmen des Munich Quantum Valley (MQV) Leuchtturmprojekts Bench-QC (Anwendungsgetriebenes Benchmarking von Quantencomputern) werden am Fraunhofer IIS zusammen mit Partnern aus der Industrie anwendungsgetriebene Benchmarking-Pipelines für mathematische Optimierung und Quantencomputing-gestütztes Reinforcement Learning entwickelt.

Das Fraunhofer IOSB-AST entwickelte eine Webplattform zur Erstellung von Benchmarks von Problemstellungen, Algorithmen und Quantencomputern. Die Plattform kann Benchmarks speichern, Berichte erstellen und Snapshots von Quantencomputern machen, um die Qualität und den Zustand der Systeme zum Ausführungszeitpunkt zu dokumentieren. Weiterhin ermöglicht sie die einfache Programmierung und Spezifikation von Benchmarks über ein Browser-Interface, welches den Austausch von Algorithmen und Probleminstanzen unterstützt.

Das Fraunhofer ITWM integriert das Benchmarking, sowohl von Quantenalgorithmen als auch von Quantenhardware in die bestehenden Projekte. Im Zuge dessen wurde Quantencomputer von AQT, D-Wave, IBM, IQM, IonQ, OQC, Quantinuum und QuEra sowie der Quantensimulator von QPerfect hinsichtlich ihrer Spezifikationen und ihrer Performance evaluiert. Ferner werden die in den Projekten entwickelten Algorithmen mit existierenden klassischen und quantenbasierten Verfahren verglichen. Im Rahmen des Projektes RYMAX entwickelte das Fraunhofer ITWM eine Benchmark-Bibliothek zur automatisierten Modellierung, Speicherung, Lösung, Visualisierung und Interpretation von Optimierungsproblemen aus der Praxis mit klassischen Methoden, quantenbasierten Hybridalgorithmen, Quantenannealing sowie eigens entwickelten Dekompositionsstrategien. Schnittstellen für reale Daten wurden implementiert und Daten von Anwendungspartnern aus der Praxis für mehrere Anwendungsfälle bereitgestellt. Ziel ist es, den im Aufbau befindlichen Quantencomputer RYMAX in das Projekt zu integrieren. Ergänzt wird diese Bibliothek durch die Benchmarkingsoftware aus dem Projekt EnerQuant, die Instanzen für das Kraftwerkseinsatzplanungsproblem (Unit Commitment Problem), sowie Modellierungsansätze für unterschiedliche Solver (Gurobi MIP, Gurobi QUBO, D-Wave MIP, D-Wave QUBO), und eine Parameteroptimierung für QUBOs bereitstellt.

Im Projekt Quant²AI entwickelt das Fraunhofer ITWM für das DLR eine Benchmarkingsoftware zur Evaluation von Quanten-KI End-to-End-Pipelines. Hier fließen vor allem die Kompetenzen im Benchmarking von HPC- und Quanten-HPC-Architekturen ein. Ziel ist es eine auf einem HPC-System lauffähige Software zu entwickeln, die QML-Pipelines untereinander aber auch mit klassischen ML-Modellen vergleicht. Dazu wird ein eigenes Evaluationsmodul mit modell-, use-case- und hardware-spezifischen Metriken bereitgestellt.