Microsoft Scope: Open-Source-Plattform prüft KI-Coding-Agenten

Microsoft hat am 19. Oktober 2026 das Open-Source-Projekt Scope vorgestellt. Die unter der MIT-Lizenz veröffentlichte Plattform zielt darauf ab, die Effektivität von KI-gestützten Programmierassistenten beim Einsatz von Unternehmenssoftware und zugehöriger Dokumentation systematisch zu messen und zu bewerten. Das auf Kubernetes ausgelegte System soll Entwicklerteams dabei helfen, das Verhalten autonom agierender Codierungs-Agenten unter kontrollierten Bedingungen zu analysieren.

Benchmarks mit identischen Aufgaben und automatisierten Richtern

Die Plattform ermöglicht es, bestehende Coding-Agenten anhand identischer Aufgabenstellungen miteinander zu vergleichen. Unterstützt werden dabei derzeit GitHub Copilot, Claude Code sowie Visual Studio Code mit Copilot-Anbindung.

Die Auswertung der Resultate erfolgt über einen sprachmodellbasierten Prüfer (LLM-Judge). Da dieser automatisierte Richter fehleranfällig sein kann, empfiehlt Microsoft neben wiederholten Testläufen auch manuelle Überprüfungen der Resultate.

Um die Leistungsfähigkeit präzise zu erfassen, bildet Scope die definierten Erfolgskriterien in Form eines Abhängigkeitsgraphen ab. Versionierte Profile speichern dabei die genaue Konfiguration aus Agent, Modell, Fähigkeiten, MCP-Servern sowie eingesetzten Erweiterungen. Während der Ausführung protokolliert das System sämtliche Logs, die generierten Dateien, Snapshots des Arbeitsbereichs sowie die Historie aller aufgerufenen Werkzeuge.

Wer sich mit der Implementierung und dem Testen von KI-Systemen im Unternehmen befasst, muss auch die rechtlichen Rahmenbedingungen des EU AI Acts im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle neuen Anforderungen, Pflichten und Fristen. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt

Praxiserprobung an Azure Cosmos DB

Als praxisnahes Evaluierungsszenario nutzte Microsoft die eigene Datenbanklösung Azure Cosmos DB. Im Rahmen des Tests durchliefen die Agenten acht End-to-End-Szenarien in five Programmiersprachen. Dieser Prüfprozess führte dazu, dass 20 Probleme im Agent-Kit sowie 27 Unklarheiten in der Dokumentation behoben werden konnten.

Über deutliche Verbesserungen nach einer Überarbeitung des Agent-Kits berichtete Jay Gordon, Senior Program Manager für Azure Cosmos DB: Demnach stieg die korrekte Nutzung hierarchischer Partition-Keys von zuvor 47 Prozent auf 100 Prozent. Gleichzeitig ging die Verwendung von OFFSET- und LIMIT-Befehlen von 47 Prozent auf 0 Prozent zurück.

Während die technische Evaluierung von KI-Modellen voranschreitet, stellen neue Regulierungen viele Unternehmen vor rechtliche Herausforderungen. Dieser kostenlose Report klärt auf, welche KI-Systeme als Hochrisiko eingestuft werden und was Verantwortliche jetzt konkret tun müssen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?

Voraussetzungen für das Selbst-Deployment

Microsoft stellt für Scope keinen eigenen Hosting-Dienst bereit. Interessierte Unternehmen müssen die Plattform in Eigenregie betreiben. Für das lokale Setup beziehungsweise das Selbst-Deployment werden Docker mit Compose Version 2, Node 22, pnpm, mkcert sowie die GitHub CLI vorausgesetzt.

Zudem sind für den Betrieb ein aktives GitHub-Copilot-Abonnement sowie Zugänge zu den jeweiligen Modell-Providern erforderlich. Für den produktiven Einsatz in Unternehmensumgebungen lässt sich die Plattform über ein Helm-Chart auf Kubernetes installieren.