Gemeinsame Benchmarks auf der OCI-H100-Infrastruktur ergaben zehnmal so viele gleichzeitig unterstützte Nutzer, einen zehnmal höheren Token-Durchsatz und siebenmal mehr bereitgestellte Token ohne zusätzliche GPUs

CAMPBELL, Kalifornien, 9. Juni 2026 /PRNewswire/ -- WEKA, das Unternehmen für KI-Daten- und Speicherinfrastruktur, gab heute Benchmarks im Produktionsmaßstab bekannt, die zeigen, wie Unternehmen die Wirtschaftlichkeit von KI-Inferenz mit langem Kontext verbessern können, indem sie mit gleichem GPU-Bestand mehr Nutzer unterstützen und mehr Token verarbeiten. Die Benchmarks zeigen, dass die NeuralMesh-Plattform von WEKA mit Augmented Memory Grid auf Oracle Cloud Infrastructure (OCI) zehnmal so viele Nutzer gleichzeitig unterstützt, einen zehnmal höheren Token-Durchsatz erreicht und siebenmal mehr Token pro GPU verarbeitet als reine DRAM-Konfigurationen, und das ohne zusätzliche Infrastruktur. Die Ergebnisse wurden auf einem OCI-Bare-Metal-H100-Cluster mit neun Knoten und Kontextfenstern mit 100 000 Token validiert.

„KI-Workloads in Unternehmen bringen Kontextfenster und GPU-Auslastung an neue Grenzen", sagte Pablo Selem, leitender Direktor für Softwareentwicklung bei Oracle Cloud Infrastructure. „Diese Benchmarks zeigen, wie die NeuralMesh-Plattform von WEKA mit Augmented Memory Grid auf OCI Speicherengpässe beseitigt, sodass Kunden größere, anspruchsvollere Inferenz-Workloads unterstützen können, ohne einfach weitere GPUs hinzuzunehmen."

Drei Ergebnisse, die neue Maßstäbe für die Inferenzkalkulation setzen

Im Produktionsmaßstab auf einem Bare-Metal-H100-Cluster validiert (neun Knoten, 72 GPUs, Kontextfenster mit 100 000 Token, Tausende gleichzeitig unterstützte Nutzer), lieferte NeuralMesh mit Augmented Memory Grid auf OCI:

• Zehnmal so viele Nutzer gleichzeitig, ohne zusätzliche Infrastruktur. NeuralMesh mit Augmented Memory Grid ließ sich auf über 5000 gleichzeitig unterstützte Nutzer skalieren, verglichen mit etwa 600 bei reinen DRAM-Konfigurationen. Dadurch wird der abrupte Leistungseinbruch vermieden, der bei einer Cache-Sättigung auftritt, indem der aktive Cache-Arbeitsdatensatz von 8,64 TiB DRAM auf 287 TiB nutzbaren NVMe-Speicher erweitert wird. Außerdem bedeutet eine höhere Nutzerzahl pro GPU, dass dieselbe Investition weiter reicht.
• Zehnmal höherer Token-Durchsatz. Mehr Leistung von jeder GPU im Cluster. Auf OCI erreichte NeuralMesh mit Augmented Memory Grid etwa zwei Millionen Token pro Sekunde, verglichen mit weniger als 200 000 Token bei der reinen DRAM-Baseline. Für Produktteams, die Echtzeit-KI-Funktionen wie Suche, Zusammenfassung, Code-Unterstützung sowie Multi-Turn-Agenten betreiben, bestimmt der Durchsatz die Obergrenze dafür, wie viele Nutzer unterstützt werden können, wie schnell Funktionen reagieren und wie viel Umsatz die Infrastruktur tragen kann.
• Siebenmal mehr Token bereitgestellt. Geringere Kosten pro Token bei Skalierung. NeuralMesh mit Augmented Memory Grid stellte in einem einzigen einstündigen Test mit 2400 Nutzern fünf Milliarden Token bereit, verglichen mit 700 Millionen Token bei der reinen DRAM-Baseline. In Unternehmen mit agentenbasierten Arbeitsabläufen zehrt die DRAM-Sättigung durch ständige Neuberechnungen unbemerkt GPU-Kapazität auf und belastet damit unmittelbar die Kosten pro Token sowie die Investitionsrendite.

„Die Inferenz wird dadurch begrenzt, wie viel effektiver Speicher den GPUs zur Verfügung steht", sagte Liran Zvibel, Geschäftsführer von WEKA. „Diese Ergebnisse belegen, dass sich die Token-Ökonomie von KI nicht allein durch Hardware verbessern lässt, sondern durch die Beseitigung der Speicherbarriere, die bislang die tatsächliche Obergrenze für die Leistung bestehender Hardware darstellt. NeuralMesh mit Augmented Memory Grid auf OCI stellt Kunden auf äußerst kosteneffiziente Weise um Größenordnungen mehr Token bereit."

Transformation der KI-Wirtschaftlichkeit durch eine Infrastruktur für Kontextspeicher

Mit wachsender Nachfrage nach Inferenz verstärken sich Ineffizienzen in der KI-Infrastruktur. Jede Verdrängung aus dem Schlüssel-Wert-Cache (KV-Cache) ist eine Belastung: für GPU-Zyklen, Latenz, Benutzererfahrung und die Kosten jedes bereitgestellten Tokens. Bei Workloads mit langem Kontext und agentenbasierten Workloads, bei denen Eingaben regelmäßig 100 000 Token oder mehr umfassen, ist diese Belastung kein Rundungsfehler. Sie wirkt sich direkt auf die Wirtschaftlichkeit jedes Unternehmens aus, das KI im Produktionsbetrieb einsetzt.

Augmented Memory Grid, eine Funktionalität von NeuralMesh, löst das Problem auf Architekturebene, indem der KV-Cache vom lokalen GPU-Speicher entkoppelt und in einem leistungsstarken Token-Warehouse (Token-Speicher) gespeichert wird, auf das der gesamte Cluster zugreifen kann. Jeder Host kann jede Sitzung mit erhaltenen Cache-Treffern bedienen. Dadurch entfällt starre Sitzungsbindung, während zugleich die DRAM-Leistung übertroffen, der Lastausgleich verbessert und eine saubere horizontale Skalierung bei zunehmender Parallelität ermöglicht wird. Das Ergebnis ist ein persistenter Kontextspeicher für KI-Agenten und ein Kostenhebel, der Inferenz mit langem Kontext bei Skalierung wirtschaftlich macht.

Produktionsreifer Nachweis

OCI veröffentlichte die vollständige Benchmark-Methodik, die Systemkonfiguration und die Ergebnisse am 13. Mai 2026 in seinem KI- und Datenwissenschaftsblog. Die Benchmarks, die auf einem OCI-Bare-Metal-H100-Cluster mit neun Knoten durchgeführt wurden, gehen über die vorherige Validierungsphase hinaus, in der eine 1000-fach höhere KV-Cache-Kapazität und eine bis zu 20-fach schnellere Zeit bis zum ersten Token bei 128 000 Token nachgewiesen wurden. In dieser neuesten Phase wird die volle Wirtschaftlichkeit der Inferenz im Produktionsbetrieb getestet: Dichte gleichzeitiger Zugriffe, dauerhafter Durchsatz, Cache-Persistenz und Stabilität der Service-Level-Ziele (SLO) bei Bedarfsspitzen unter hoher Last.

Erhältlich im Oracle Marketplace

NeuralMesh mit Augmented Memory Grid ist für WEKA-Kunden allgemein verfügbar und im Oracle Marketplace erhältlich, wobei OCI WEKAs exklusiver Cloud-Partner für die Markteinführung ist. Unternehmen, die Inferenz mit langem Kontext auf OCI einsetzen, können bereits heute eine validierte, produktionsreife Architektur bereitstellen. Weitere Informationen zum Benchmark von OCI und WEKA zu Augmented Memory Grid finden Sie im OCI-Blog: https://blogs.oracle.com/ai-and-datascience/scaling-long-context-inference-on-oci-with-wekas-augmented-memory-grid.

Informationen zu WEKA

WEKA ist das Unternehmen für KI-Daten- und Speicherinfrastruktur, das die Wirtschaftlichkeit agentenbasierter KI verändert. Die NeuralMesh™-Plattform vereint Hochleistungsdatenspeicher mit erweitertem GPU-Speicher und bietet Unternehmen, KI-Cloud-Anbietern sowie KI-Entwicklern eine einheitliche Grundlage für Training, Inferenz und agentenbasierte Workloads. Mit Augmented Memory Grid erweitert NeuralMesh die GPU-Speicherkapazität um das 1000-fache, beschleunigt die Zeit bis zum ersten Token um das bis zu 20-fache und unterstützt bei gleichem GPU-Bestand zehnmal so viele Nutzer gleichzeitig, wie Produktionsbenchmarks belegen. WEKA, dem 30 % der Fortune 50-Unternehmen vertrauen, unterstützt Unternehmen dabei, KI schneller zu skalieren, die GPU-Auslastung zu optimieren und die Kosten jedes bereitgestellten Tokens zu senken. Weitere Informationen finden Sie auf www.weka.io oder vernetzen Sie sich mit uns auf LinkedIn und X.

WEKA und das W-Logo sind eingetragene Marken von WekaIO, Inc. Andere hier genannte Markennamen können Marken der jeweiligen Eigentümer sein.

View original content to download multimedia:https://www.prnewswire.com/de/pressemitteilungen/weka-und-oracle-cloud-infrastructure-belegen-zehnfache-durchsatzsteigerungen-fur-ki-inferenz-mit-langem-kontext-302794928.html

Der Asbest-Skandal rund um mehrere Steinbrüche im Burgenland entwickelt sich zu einer Milliardenbelastung für die öffentliche Hand. Nach einer neuen Berechnung der Umweltorganisation Greenpeace wird der materielle Schaden durch Entsorgung und Sanierung mindestens 1,6 Milliarden Euro betragen. Betroffen sind nicht nur das Burgenland, sondern auch Teile der Steiermark, Niederösterreichs sowie Gebiete in Ungarn, in die asbesthaltiges Material geliefert oder verbaut wurde.

Grundlage der Kostenschätzung ist die Annahme, dass seit 1990 rund 26 Millionen Tonnen asbesthaltiges Gestein aus vier Steinbrüchen abgebaut wurden. Greenpeace geht davon aus, dass etwa 20 Millionen Tonnen kurz- oder langfristig auf Asbestdeponien landen werden, während der Rest als Straßenunterbau, Fundamente oder in privaten Gärten in der Umwelt verbleibt und kaum mehr rückholbar ist. Rund 20 Prozent des Abfalls sollen in Form von asbesthaltigem Asphalt anfallen, dessen Deponierung besonders aufwendig ist und künftige Straßensanierungen über Jahrzehnte verteuern dürfte.

Mindestens drei Viertel der veranschlagten 1,6 Milliarden Euro entfallen laut Greenpeace auf die Entsorgung des Materials, der Rest auf Sanierungen. Für die Rechnung wurde ein Entsorgungspreis von lediglich 50 Euro je Tonne angesetzt – etwa die Hälfte des vor Bekanntwerden des Skandals üblichen Marktpreises. Diese Kalkulation sei nur zu halten, wenn rasch neue, sichere und kostengünstige Deponien errichtet werden, etwa in bereits geschlossenen Steinbrüchen, argumentiert Greenpeace. Andernfalls könnten sich die Gesamtkosten nach Einschätzung der Organisation auf mindestens das Doppelte erhöhen.

Die von Greenpeace genannten Summen übersteigen die Umsätze der betroffenen Steinbruchbetreiber deutlich und dürften auch die finanziellen Möglichkeiten des Landes Burgenland überfordern. Die Umweltorganisation drängt daher auf ein Eingreifen des Bundes und fordert, Mittel aus der Katastrophenhilfe bereitzustellen und einen Rahmen für eine kostengünstige Entsorgung zu schaffen. Zugleich verweist sie auf die Verantwortung des zuständigen Umweltministers, für ausreichend Deponiekapazitäten zu sorgen, um Kostenrisiken zu begrenzen und die logistisch aufwendige Räumung der asbestbelasteten Materialien langfristig planbar zu machen.