Add NTFS bulk AD group processing concept
This commit is contained in:
Meik
421
Sonstiges/LIAM_NTFS_Massenverarbeitung_ADGruppen_Konzept.md
Normal file
421
Sonstiges/LIAM_NTFS_Massenverarbeitung_ADGruppen_Konzept.md
Normal file
@@ -0,0 +1,421 @@
|
||||
# LIAM NTFS Massenverarbeitung / AD-Gruppenanlage - konkretes Konzept
|
||||
|
||||
## Ziel
|
||||
|
||||
Dieses Dokument beschreibt ein konkretes Zielkonzept fuer die Verarbeitung grosser NTFS-Strukturen mit vielen Ordnern und automatischer AD-Gruppenanlage.
|
||||
|
||||
Beispielgroessenordnung:
|
||||
|
||||
- 1000 Ordner
|
||||
- pro Ordner 3 bis 6 Berechtigungsgruppen
|
||||
- optional Traverse-Gruppen
|
||||
|
||||
Ziel ist eine fachlich korrekte, aber vor allem skalierbare Verarbeitung ohne unkontrolliert lange Laufzeiten.
|
||||
|
||||
## Problem des aktuellen Zustands
|
||||
|
||||
Der aktuelle Code ist funktional auf einzelne Ordner oder kleine Mengen ausgerichtet.
|
||||
|
||||
Bei grossen Strukturen ergeben sich mehrere Engpaesse:
|
||||
|
||||
- Verarbeitung erfolgt pro Ordner sequentiell
|
||||
- pro Ordner werden Gruppen einzeln aufgeloest oder angelegt
|
||||
- bestehende Gruppen werden teilweise ueber OU-weite Wildcard-Suche gesucht
|
||||
- ACLs werden pro Ordner direkt gesetzt
|
||||
- Traverse-Verarbeitung enthaelt eine harte Wartezeit
|
||||
|
||||
Damit ist die aktuelle Implementierung fuer Massenlaeufe fachlich nutzbar, aber technisch nicht belastbar.
|
||||
|
||||
## Ist-Zustand
|
||||
|
||||
### 1. Automatischer Ensure-Pfad bei `Get DataAreas`
|
||||
|
||||
Wenn `EnsureNtfsPermissionGroups=true` gesetzt ist, wird fuer jede erkannte `cLiamNtfsFolder` nacheinander `EnsureMissingPermissionGroupsAsync(...)` aufgerufen.
|
||||
|
||||
Das bedeutet:
|
||||
|
||||
- jeder Ordner wird isoliert behandelt
|
||||
- keine gemeinsame Voranalyse
|
||||
- kein Caching ueber den gesamten Lauf
|
||||
|
||||
### 2. Create-/Ensure-Pfad
|
||||
|
||||
Pro Ordner passiert derzeit im Wesentlichen:
|
||||
|
||||
1. Soll-Gruppen generieren
|
||||
2. Benutzer-SIDs aufloesen
|
||||
3. pro Gruppe in AD suchen
|
||||
4. fehlende Gruppe anlegen
|
||||
5. Mitglieder setzen
|
||||
6. ACLs setzen
|
||||
7. optional Traverse-Gruppen verarbeiten
|
||||
|
||||
### 3. Teure Stellen
|
||||
|
||||
Die teuersten Einzelschritte sind aktuell:
|
||||
|
||||
- OU-weite Wildcard-Suche in AD
|
||||
- mehrfaches Erzeugen und Pruefen von Gruppennamen bei Kollisionen
|
||||
- sequentielle LDAP-/AD-Zugriffe
|
||||
- sequentielle ACL-Updates
|
||||
- `Thread.Sleep(180000)` im Traverse-Pfad
|
||||
|
||||
## Skalierungsannahmen
|
||||
|
||||
Grobe Groessenordnung fuer 1000 Ordner:
|
||||
|
||||
- AGP:
|
||||
- 3 Gruppen pro Ordner
|
||||
- ca. 3000 Gruppenoperationen
|
||||
- AGDLP:
|
||||
- 6 Gruppen pro Ordner
|
||||
- ca. 6000 Gruppenoperationen
|
||||
|
||||
Falls jeder Zugriff separat gegen AD und Dateisystem geht, ist die Gesamtlaufzeit nicht mehr akzeptabel.
|
||||
|
||||
## Zielbild
|
||||
|
||||
Die Verarbeitung soll von einer ordnerweisen Online-Logik zu einem mehrstufigen Batch-Modell umgebaut werden.
|
||||
|
||||
Empfohlenes Zielbild:
|
||||
|
||||
1. Struktur erfassen
|
||||
2. Soll-Zustand fuer alle Ordner berechnen
|
||||
3. Ist-Zustand aus AD und ACLs gesammelt laden
|
||||
4. Delta bilden
|
||||
5. Gruppen in kontrollierten Batches anlegen oder wiederverwenden
|
||||
6. ACLs in kontrollierten Batches setzen
|
||||
7. Traverse separat behandeln
|
||||
|
||||
## Grundprinzip
|
||||
|
||||
Nicht pro Ordner sofort alles erledigen, sondern:
|
||||
|
||||
- zuerst global analysieren
|
||||
- dann gesammelt abgleichen
|
||||
- dann nur das Delta ausfuehren
|
||||
|
||||
Das reduziert:
|
||||
|
||||
- LDAP-Calls
|
||||
- Share-/Dateisystemzugriffe
|
||||
- Redundanz
|
||||
- Gefahr von doppelten Gruppen
|
||||
|
||||
## Fachliche Verarbeitungsschritte
|
||||
|
||||
### Schritt 1: Ordnerliste erfassen
|
||||
|
||||
Fuer den gewaehlten Root werden alle relevanten Ordner einmalig geladen.
|
||||
|
||||
Ergebnis je Ordner:
|
||||
|
||||
- technischer Pfad
|
||||
- Parent-Pfad
|
||||
- Tiefe
|
||||
- fachlicher Typ
|
||||
|
||||
Wichtig:
|
||||
|
||||
- dieser Schritt dient nur der Strukturerfassung
|
||||
- noch keine AD-Anlage
|
||||
|
||||
### Schritt 2: Soll-Gruppen fuer alle Ordner berechnen
|
||||
|
||||
Fuer jeden Ordner werden die erwarteten Gruppen aus Naming Conventions und Tags berechnet.
|
||||
|
||||
Ergebnis je Soll-Gruppe:
|
||||
|
||||
- Ordnerpfad
|
||||
- Gruppe
|
||||
- Scope
|
||||
- AccessRole
|
||||
- exakter Soll-Name
|
||||
- Wildcard
|
||||
- benoetigte Mitglieder
|
||||
- benoetigte verschachtelte Gruppen
|
||||
|
||||
Damit existiert ein kompletter Soll-Bestand fuer den gesamten Lauf.
|
||||
|
||||
### Schritt 3: AD-Ist-Zustand einmalig oder in grossen Batches laden
|
||||
|
||||
Statt pro Gruppe die OU neu zu durchsuchen, wird die Ziel-OU gesammelt geladen.
|
||||
|
||||
Empfohlene Daten:
|
||||
|
||||
- `sAMAccountName`
|
||||
- `distinguishedName`
|
||||
- `objectSid`
|
||||
- `member`
|
||||
|
||||
Die geladene OU wird in Dictionaries abgelegt:
|
||||
|
||||
- nach `sAMAccountName`
|
||||
- optional nach Regex-relevanten Merkmalen
|
||||
|
||||
Vorteil:
|
||||
|
||||
- keine OU-Vollsuche pro Gruppe
|
||||
- kein O(n*m)-Verhalten bei vielen Gruppen
|
||||
|
||||
## Wichtige Optimierung
|
||||
|
||||
Die aktuelle Wildcard-Suche darf im Batch-Pfad nicht mehr als LDAP-Vollscan pro Gruppe stattfinden.
|
||||
|
||||
Stattdessen:
|
||||
|
||||
- OU einmal lesen
|
||||
- lokal in Memory gegen Regex pruefen
|
||||
|
||||
Das ist einer der wichtigsten Performance-Gewinne.
|
||||
|
||||
### Schritt 4: ACL-Ist-Zustand gesammelt erfassen
|
||||
|
||||
Wenn bestehende ACL-Gruppen wiederverwendet werden sollen, werden die ACLs der Zielordner ebenfalls zuerst gesammelt gelesen.
|
||||
|
||||
Ergebnis je Ordner:
|
||||
|
||||
- direkt gesetzte ACL-Gruppen
|
||||
- gematchte Owner-/Write-/Read-/Traverse-Gruppen
|
||||
|
||||
Dadurch kann die Wiederverwendung bestehender Gruppen lokal entschieden werden, ohne spaetere AD-Neuanlagen zu provozieren.
|
||||
|
||||
### Schritt 5: Delta bilden
|
||||
|
||||
Fuer jede Soll-Gruppe wird entschieden:
|
||||
|
||||
- exakter Treffer vorhanden
|
||||
- eindeutiger ACL-Treffer vorhanden
|
||||
- eindeutiger Regex-Treffer vorhanden
|
||||
- Gruppe fehlt und muss erzeugt werden
|
||||
|
||||
Nur fuer fehlende Gruppen wird eine Anlage geplant.
|
||||
|
||||
### Schritt 6: Gruppenanlage in Batches
|
||||
|
||||
Die Neuanlage sollte kontrolliert parallelisiert werden.
|
||||
|
||||
Empfehlung:
|
||||
|
||||
- kleiner, begrenzter Parallelitaetsgrad
|
||||
- z. B. 4 bis 8 parallele AD-Operationen
|
||||
|
||||
Nicht empfohlen:
|
||||
|
||||
- ungebremste Parallelisierung ueber Hunderte von Gruppen
|
||||
|
||||
Grund:
|
||||
|
||||
- AD, DCs und Netzwerk sollen nicht ueberlastet werden
|
||||
- Kollisionen und Transienten bleiben beherrschbar
|
||||
|
||||
### Schritt 7: Mitgliedschaften und Verschachtelung als eigener Schritt
|
||||
|
||||
Gruppen anlegen und Mitglieder setzen sollten getrennt betrachtet werden.
|
||||
|
||||
Empfohlene Reihenfolge:
|
||||
|
||||
1. alle fehlenden Gruppen erzeugen
|
||||
2. SIDs/DNs refreshen
|
||||
3. Mitglieder und Nested Groups setzen
|
||||
|
||||
Das verhindert Folgefehler durch noch nicht existierende Gruppen.
|
||||
|
||||
### Schritt 8: ACLs in eigenem Batch-Schritt
|
||||
|
||||
ACLs werden erst gesetzt, wenn die benoetigten Gruppen sicher existieren.
|
||||
|
||||
Auch hier:
|
||||
|
||||
- kontrollierte Parallelitaet
|
||||
- Fehler pro Ordner isolieren
|
||||
- Ergebnislisten sammeln
|
||||
|
||||
## Traverse-Gruppen
|
||||
|
||||
Traverse muss aus dem normalen Massenpfad herausgezogen werden.
|
||||
|
||||
Der aktuelle Ansatz mit harter Wartezeit ist fuer grosse Strukturen nicht tragbar.
|
||||
|
||||
Fuer grosse Laeufe gilt:
|
||||
|
||||
- Traverse standardmaessig deaktivieren oder separieren
|
||||
- Traverse als eigener Nachlauf
|
||||
- keine feste `Thread.Sleep`-Pause
|
||||
|
||||
Stattdessen:
|
||||
|
||||
- Polling oder Retry mit kleinem Intervall
|
||||
- nur fuer die konkret benoetigten Gruppen
|
||||
|
||||
## Neue logische Komponenten
|
||||
|
||||
### 1. `NtfsBulkPlanBuilder`
|
||||
|
||||
Verantwortung:
|
||||
|
||||
- Ordnerliste laden
|
||||
- Soll-Gruppen pro Ordner berechnen
|
||||
- Soll-ACLs vorbereiten
|
||||
|
||||
### 2. `AdSnapshotLoader`
|
||||
|
||||
Verantwortung:
|
||||
|
||||
- OU einmalig oder abschnittsweise laden
|
||||
- In-Memory-Index fuer:
|
||||
- `sAMAccountName`
|
||||
- `SID`
|
||||
- `DN`
|
||||
|
||||
### 3. `AclSnapshotLoader`
|
||||
|
||||
Verantwortung:
|
||||
|
||||
- direkte ACLs aller Zielordner einlesen
|
||||
- passende Berechtigungsgruppen markieren
|
||||
|
||||
### 4. `NtfsBulkDeltaResolver`
|
||||
|
||||
Verantwortung:
|
||||
|
||||
- Soll/Ist vergleichen
|
||||
- Wiederverwendung oder Neuanlage entscheiden
|
||||
|
||||
### 5. `AdBatchExecutor`
|
||||
|
||||
Verantwortung:
|
||||
|
||||
- Gruppenanlage
|
||||
- Mitglieder setzen
|
||||
- verschachtelte Gruppen setzen
|
||||
|
||||
### 6. `AclBatchExecutor`
|
||||
|
||||
Verantwortung:
|
||||
|
||||
- ACLs setzen
|
||||
- vorhandene ACLs erkennen
|
||||
- nur fehlende ACEs schreiben
|
||||
|
||||
## Empfohlenes Ausfuehrungsmodell
|
||||
|
||||
### Modus A: Analyse
|
||||
|
||||
Nur ermitteln:
|
||||
|
||||
- welche Gruppen fehlen
|
||||
- welche wiederverwendet wuerden
|
||||
- welche ACLs fehlen
|
||||
|
||||
Ohne Schreibzugriffe.
|
||||
|
||||
### Modus B: Ensure
|
||||
|
||||
Nur Delta anwenden:
|
||||
|
||||
- fehlende Gruppen anlegen
|
||||
- fehlende Mitglieder ergaenzen
|
||||
- fehlende ACLs setzen
|
||||
|
||||
### Modus C: Traverse-Nachlauf
|
||||
|
||||
Separat und optional:
|
||||
|
||||
- Traverse-Gruppen erzeugen
|
||||
- Traverserechte setzen
|
||||
|
||||
## Fehlerstrategie
|
||||
|
||||
Bei grossen Mengen darf ein Einzelfehler nicht immer den Gesamtjob abbrechen.
|
||||
|
||||
Empfohlen:
|
||||
|
||||
- Fehler pro Ordner oder Gruppe sammeln
|
||||
- Schwellenwert definieren
|
||||
- am Ende Gesamtstatus ableiten
|
||||
|
||||
Beispiel:
|
||||
|
||||
- `Success`
|
||||
- `SuccessWithWarnings`
|
||||
- `PartialFailure`
|
||||
- `Failure`
|
||||
|
||||
## Logging und Monitoring
|
||||
|
||||
Bei grossen Laeufen werden strukturierte Fortschrittsdaten gebraucht.
|
||||
|
||||
Empfohlene Kennzahlen:
|
||||
|
||||
- Anzahl gescannter Ordner
|
||||
- Anzahl Soll-Gruppen
|
||||
- Anzahl wiederverwendeter Gruppen
|
||||
- Anzahl neu erzeugter Gruppen
|
||||
- Anzahl geaenderter Gruppenmitgliedschaften
|
||||
- Anzahl gesetzter ACLs
|
||||
- Anzahl uebersprungener ACLs
|
||||
- Anzahl Fehler
|
||||
- Laufzeit je Phase
|
||||
|
||||
Wichtig:
|
||||
|
||||
- Fortschritt nicht nur pro Objekt loggen
|
||||
- zusaetzlich Phasen- und Batch-Statistik loggen
|
||||
|
||||
## Konkrete technische Leitplanken
|
||||
|
||||
### Nicht mehr so
|
||||
|
||||
- pro Ordner komplette OU-Wildcard-Suche
|
||||
- pro Gruppe sofortiger AD-Zugriff
|
||||
- Traverse mit fester 180-Sekunden-Wartezeit
|
||||
- keine Trennung zwischen Analyse und Ausfuehrung
|
||||
|
||||
### Stattdessen
|
||||
|
||||
- OU-Snapshot einmalig laden
|
||||
- ACL-Snapshot gesammelt laden
|
||||
- Delta zentral berechnen
|
||||
- kontrollierte Parallelitaet
|
||||
- Traverse separat
|
||||
|
||||
## Rueckwaertskompatibilitaet
|
||||
|
||||
Der bestehende Einzelordner-Pfad kann bestehen bleiben.
|
||||
|
||||
Empfehlung:
|
||||
|
||||
- bestehende Methoden fuer Einzelobjekte weiter nutzen
|
||||
- neuen Bulk-Pfad zusaetzlich einfuehren
|
||||
|
||||
Beispiele:
|
||||
|
||||
- `EnsureMissingPermissionGroupsAsync(...)` bleibt fuer Einzelordner
|
||||
- neuer Bulk-Einstieg fuer Listen oder Root-Strukturen
|
||||
|
||||
## Minimal sinnvolle erste Ausbaustufe
|
||||
|
||||
Wenn nicht sofort das gesamte Zielbild umgesetzt werden soll, ist die sinnvollste erste Stufe:
|
||||
|
||||
1. OU nicht mehr pro Gruppe scannen, sondern einmalig laden
|
||||
2. ACL-Wiederverwendung fuer alle Zielordner gesammelt vorbereiten
|
||||
3. Traverse aus grossen Laeufen herausnehmen
|
||||
4. Ensure fuer grosse Mengen explizit batchen
|
||||
|
||||
Schon diese vier Punkte wuerden die groessten praktischen Probleme stark reduzieren.
|
||||
|
||||
## Entscheidung
|
||||
|
||||
Fuer grosse Strukturen mit 1000+ Ordnern ist die aktuelle ordnerweise Online-Logik nicht ausreichend.
|
||||
|
||||
Die empfohlene Zielumsetzung ist daher:
|
||||
|
||||
- Batch-orientierte Voranalyse
|
||||
- AD-Snapshot statt OU-Scan pro Gruppe
|
||||
- ACL-Snapshot statt Einzelfallentscheidungen
|
||||
- Delta-basierte Ausfuehrung
|
||||
- kontrollierte Parallelisierung
|
||||
- Traverse als separater Spezialpfad
|
||||
|
||||
Nur damit wird die AD-Gruppenanlage fuer grosse Strukturen technisch belastbar und operativ beherrschbar.
|
||||
Reference in New Issue
Block a user