ENDE
Blog · Insights · Analysis

From the Engine Room

Straight talk on AI, language models and requirements engineering – written by an engineer from the automotive industry.

Benchmark von fünf LLMs zur Identifikation von Konflikten mit UNECE-Klauseln Vergleich der LLM-Performance innerhalb von OSOS/Omega bei der UNECE-R48- Compliance-Validierung eines Scheinwerfer-Lastenhefts entdeckt (True Positive) False Positive verpasst — kritischer Fehler 0 5 10 je Modell: erkannt (grün) + verpasst (rot) = 13 Konflikte · orange = False Positive (Fehlalarm) GPT-5.5 13 Präzision 100 % Abdeckung 100 % ~$1,01 bester Gesamtwert Gemini 2.5 Flash 12 1 Präzision 100 % Abdeckung 92 % ~$0,33 Claude Opus 4.8 11 2 Präzision 100 % Abdeckung 85 % ~$1,53 teuerster Check Nemotron 3 Ultra 8 5 Präzision 100 % Abdeckung 62 % ~$0,10 günstigster (openrouter.ai) Mistral Large 3 5 8 1 Präzision 83 % Abdeckung 38 % ~$0,35 Aufgabenform schlägt Preisschild Fehlalarme spielten praktisch keine Rolle (nur Mistral: 1) — die Modelle differenzieren sich durch ihre Abdeckung. Nur GPT-5.5 findet alle 13; Opus (teuerster Check) gewinnt nicht, Nemotron (billigster) deckt nur 8 ab. Mistral ist mit nur 5 von 13 der deutliche Verlierer. UN-R48 Series 09 · 1.161 Klauseln, 13 harte Konflikte · je Anforderung ~150 vorgefiltert · Referenz: geprüfte Musterlösung.
Analysis
July 3, 20266 min read

The Dream of AI Autonomy

With Nemotron 3 Ultra, an open model finally comes noticeably close to the frontier class – and runs entirely in your own data center. What that means for data sovereignty, cost and critical reasoning tasks, and where the gap to the cloud leaders remains.

Self-hostingData sovereigntyNemotron 3 Ultra
Read more
Blog – OSOS/Omega | OSOS/Omega