Einleitung

Ingenieurwissen verteilt sich über mehrere Disziplinen, besonders bei cyber-physischen Systemen wie der Maschine auf dem Bild oben. Maschinenbau, Elektrotechnik und Softwareentwicklung beschreiben jeweils ganz unterschiedliche Teile desselben Systems. Ein großer Teil des Wissens liegt dabei verteilt in verschiedensten Dokumentenformaten und Tools. Darüberhinaus stecken viele wichtige Details oft nur in den Köpfen einzelner Experten.

Diese Zersplitterung macht es schwer, an das Wissen heranzukommen. Das gilt nicht nur für Menschen, sondern auch für KI-Systeme. Während Coding-Agents sich in Software-Repositories schon erstaunlich gut zurechtfinden, liegen Engineering-Daten fast nie in so sauberer, maschinenlesbarer Form vor. Viele Vorteile, die generative KI der Softwareentwicklung bringt, lassen sich in anderen Ingenieurbereichen deshalb nur schwer übertragen.

SysML v2 ist eine von der Object Management Group (OMG) standardisierte Modellierungssprache, um komplexe Systeme strukturiert zu beschreiben. In meiner Bachelorarbeit habe ich untersucht, ob ein textbasiertes SysML-v2-Modell als gemeinsame Kontextquelle für einen KI-Agenten taugt: Kann ein LLM die darin abgelegten Ingenieurdaten zuverlässig finden und logisch verknüpfen?

Aufbau

Um das herauszufinden, habe ich ein Evaluations-Framework gebaut. Damit konnte ich verschiedene Kombinationen aus SysML-v2-Modellen und KI-Agenten-Architekturen testen. Jede Konfiguration musste ein festes Set an Fragen beantworten. Von einfachen Fakten über Zusammenhänge bis hin zu Fragen, die logisches Schlussfolgern erforderten, war alles dabei. Ein LLM-as-a-Judge hat die generierten Antworten mit Referenzantworten verglichen. Gleichzeitig hat das Framework Latenz, Token-Verbrauch und Kosten gemessen.

Ich habe drei Ansätze miteinander verglichen:

In-Context: Das gesamte SysML-Modell landet direkt im Prompt. Das ist simpel und braucht keinen Retrieval-Schritt. Allerdings wächst der Prompt mit jeder Zeile des Modells.
Agentic Search: Der Agent durchsucht die SysML-Dateien bei Bedarf mit ripgrep (rg) in einer Sandbox. Er schaut sich die Treffer an und sucht weiter, wenn ihm noch Kontext fehlt. Das funktioniert ganz ähnlich wie ein Coding-Agent, der ein Code-Repository erkundet.
Vector RAG: Das Modell wird in sinnvolle Abschnitte zerlegt und in einer Vektordatenbank gespeichert. Vor dem LLM-Aufruf werden die passendsten Abschnitte per Ähnlichkeitssuche geladen.

Ergebnisse und Fazit

Das erfreuliche Ergebnis: Alle drei Ansätze konnten Informationen aus den SysML-v2-Modellen ziehen und verarbeiten. Über alle Benchmark-Konfigurationen hinweg lagen die durchschnittlichen Pass-Rates zwischen etwa 75 % und 97 %. Zumindest für Question Answering auf einem bestehenden Modell eignet sich SysML v2 also tatsächlich als KI-lesbare Kontextquelle.

Die verschiedenen Architekturen brachten allerdings sehr unterschiedliche Vor- und Nachteile mit sich. In-Context war bei kleineren Modellen schnell, unkompliziert und günstig. Sobald die Datenmenge wuchs, kippte dieser Vorteil jedoch. Agentic Search lieferte die konstantesten und genauesten Ergebnisse und kam auch mit großen Modellen gut klar. Durch die wiederholten Suchvorgänge war dieser Ansatz aber spürbar langsamer. Vector RAG hielt die Latenz niedrig und sparte Prompt-Tokens, griff beim Retrieval aber manchmal daneben oder übersah entscheidende Zusammenhänge. In dieser Umsetzung braucht Vector RAG noch etwas Feinschliff, um an die Zuverlässigkeit von Agentic Search heranzukommen.

Meine wichtigste Erkenntnis liegt allerdings abseits der reinen Messwerte: Ein LLM dazu zu bringen, ein sauberes SysML-v2-Modell zu lesen, funktioniert. Ein solches Modell überhaupt erst verlässlich aufzubauen und bei ständigen Änderungen am echten System synchron zu halten, ist die deutlich größere Herausforderung.

Echte Ingenieurdaten sind lückenhaft, über viele Systeme verteilt und verändern sich laufend. Ein nützliches Kontextmodell braucht daher klare Zuständigkeiten, regelmäßige Reviews durch Experten, automatisierte Konsistenzprüfungen und Wege, um Abweichungen zwischen Modell und anderen Entwicklungs-Artefakten direkt zu erkennen. Ohne diesen Aufwand liefert selbst der beste KI-Agent mit voller Überzeugung veraltete oder unvollständige Antworten.

Kurz gesagt: Die Retrieval-Technologie ist vielversprechend. Ob sie in der Praxis echten Nutzen bringt, entscheidet sich aber an der Qualität und Pflege des zugrundeliegenden Ingenieurwissens.