JetBrains liefert drei Major-Releases pro Jahr, und jedes kann Plugin-APIs brechen. Ich pflege 22 Plugins. Das ergibt grob 132 Versions-Kombinationen, die funktionieren müssen. Das meiste davon ist automatisiert, aber die Automatisierung hat eine Weile gebraucht.
Kompatibilitäts-Ranges
Jedes JetBrains-Plugin deklariert in der plugin.xml einen Versionsbereich - die älteste und neueste IDE-Version, die es unterstützt. Ich unterstütze sechs Versionen zurück vom aktuellen Release. Das deckt Entwickler ab, die sofort updaten, und Entwickler, die auf der IDE vom letzten Jahr bleiben, weil die Firma die Version einfriert.
Das intellij-platform-gradle-plugin übernimmt den Großteil der Build-Konfiguration. Man setzt platformVersion im Build-Script, und Gradle lädt das richtige SDK. Aber “kompiliert gegen Version X” und “funktioniert in Version X” sind zwei verschiedene Dinge.
Die CI-Matrix
Jedes Plugin läuft in der CI gegen sechs IDE-Versionen. Die Matrix ist in der Build-Konfiguration definiert - eine Achse für die IDE-Version, eine für die Plugin-Variante wenn ein Plugin mehrere IDEs unterstützt (IntelliJ, WebStorm, PyCharm usw.). Ein vollständiger Matrix-Durchlauf für ein einzelnes Plugin dauert 15 bis 20 Minuten. Über alle Plugins hinweg batch-starte ich die Läufe und triggere sie pro Plugin wenn eine Änderung landet.
Die Tests laufen headless. Das IntelliJ-Test-Framework startet eine minimale IDE-Instanz ohne UI, lädt das Plugin und führt JUnit-Tests gegen echte PSI-Bäume aus. Man parst eine Testdatei, prüft die Struktur, löst eine Completion aus, checkt die Ergebnisse. Das ist langsam verglichen mit normalen Unit-Tests, aber es fängt echte Kompatibilitätsprobleme.
Die undokumentierten Breaks
Manche API-Änderungen stehen im JetBrains Platform Changelog. Viele nicht. Ich habe entdeckt, dass eine Test-Utility-Klasse zwischen zwei Releases das Package gewechselt hat, als meine CI rot wurde. Kein Migration Guide, keine Deprecation Warning - einfach ein Compile-Error.
Noch ein Favorit: Eine Methode in LightPlatformCodeInsightTestCase hat ihren Return-Typ von einer konkreten Klasse zu einem Interface geändert. Tests kompilierten, liefen, und warfen dann ClassCastException zur Laufzeit, weil mein Testcode das Ergebnis gecastet hat. Die Suche hat mich zwei Stunden gekostet, weil der Stack-Trace auf die falsche Zeile zeigte.
Die einzige zuverlässige Verteidigung ist, die komplette Test-Suite gegen jede Version laufen zu lassen. Das Changelog zu lesen reicht nicht.
Marketplace-Kompatibilitätsprüfung
JetBrains führt eine eigene Kompatibilitätsprüfung durch, wenn man ein Plugin hochlädt. Sie verifiziert, dass das Plugin keine APIs nutzt, die im deklarierten Versionsbereich fehlen. Das fängt die offensichtlichen Probleme - Aufruf einer Methode, die in einer älteren Version nicht existiert. Verhaltensänderungen, umbenannte Parameter oder Methoden, die existieren aber sich anders verhalten, fängt es nicht.
Ich behandle die Marketplace-Prüfung als Sicherheitsnetz, nicht als Test-Suite. Bis ich hochlade, hat meine CI bereits gegen jede Version im Bereich getestet.
Was ich heute anders machen würde
Wenn ich heute anfangen würde, hätte ich die CI-Matrix am ersten Tag aufgesetzt, vor dem ersten Release. Meine ersten Plugins habe ich ohne Versions-Matrix-Tests gebaut und mehr Zeit mit Debugging von nutzergemeldeten Kompatibilitätsproblemen verbracht als mit Feature-Entwicklung. Sechs parallele Test-Läufe in der CI kosten ein paar Minuten Rechenzeit. Ein Kompatibilitäts-Bug der bei Nutzern ankommt kostet ein Review, einen Forum-Post und einen Reputationsschaden auf dem Marketplace.