12. November 2019 Aleksej Kusnir

Windows Server Deduplizierung (Deduplication) Tutorial

Sie möchten die Festplattenauslastung Ihrer Fileserver und Hyper-V Server deutlich optimieren ohne NEU Festplatten hinzuzufügen.

Dann habe ich gute Nachrichten für Sie.

Ab Windows Server 2012 R2 gibt es das Feature "Deduplizierung" oder auch "Dedupication" genannt.

Mit Hilfe der Deduplizierung können Sie unter Windows den Festplattenplatz optimieren lassen und können dabei bis zu 70% Kapazität einsparen. (Abhängig natürlich von den Daten die Dedupliziert werden sollen.)

Möchten Sie wissen wie Sie die Deduplizierung auf Ihren System nutzen können?

Dann lass Sie uns loslegen.

More...


Zuvor aber ein paar wichtige Details die Ihnen helfen dieses Feature besser zu nutzen.

Deduplizierung unter Windows Server

Die Deduplizierung ist eine Lösung die es ermöglich das wir vorhanden Speicherplatz effizienter nutzen können.

Vorallem in Datacenter ist Storage nicht unendlich und zusätzliches Storage bringt oft hohe kosten mit sich.

Nun in den Wort Deduplizierung steht ja auch der Briff Deduplik drin.

Vereinfach ausgedrückt schaut sich die Deduplizierung auf der Festplatte Daten auf Byte Ebene an und stellt fest welche Datenblöcke gleich sind?

Werden gleiche Datenblöcke gefunden, wird eine Verknüpfung erstellt und ein Datenblock wieder freigegeben.

Des Wegen eigenen sich Daten deren Dateie teilweise geändert und wieder gespeichert werden in einer neuen Datei.

Dazu gehören z.B: Betriebssystem Images die mehrer Versionen beinhalten. Das meist vom dem Image ändert sich aber nicht.

Deduplizierung würde das dann feststellen und die Daten zusammenfassen.

Bei dem Einsatz der Deduplizierung müssen Sie natürlich drauf achten welche Daten die FEstplatte beinhaltet und wie oft diese geändert werden? Anderfalls kann die Deudplizierung eher schaden.

Prinzipiel können Sie die Deduplizierung für folgende System in betracht ziehen.

  • Hyper-V Server VMs Storage
  • Storag Spaces Direct (Erst ab Windows Server 2019 möglich)
  • Fileserver
  • Backupserver
  • Allgemeine Daten

Es gibt aber auch Systeme für die Meiner Meinung nach die Deduplizierung nicht aktiviert werden sollte.

  • SQL Server
  • DCs
  • Exchange
  • Applikationssysteme
  • C:\ Partition

Des Weiteren sollten die drauf achten, ob Ihr Storage System oder Ihr Backupsystem Deduplizierung bereits durchführt.Da müssen Sie prüfen ob dann auch nocht eine Deduplizierung auf Windows Ebene funktioniert und supportet wird?

Jetzt haben wir bisschen besprochen wo Sie aufpassen sollten, schauen wir uns jetzt einmal an wie das ganze unter der Haube funktioniert.

Einsparungspotential mit dem Deduplizierungs Feature

Ich habe hier ein paar Beispiele mitgebracht damit Sie ungefähr das gefüll bekommen welche Potentiale da bestehen.

Schauen wir uns einmal einen Fileserver und einen Hyper-V Server an.

Typ

Fileserver

Hyper-V

Festplattengröße

900 GB

599 GB

Belegter Speicher ohne Deduplizierung

800 GB

204 GB

Belegter Speicher  mit der Deduplizierung

400 GB

22 GB

Einsparung mit Deduplizierung

50%

88%

Art der Daten

Benutzerdaten, Excel, Word, Programme, Homelaufwerke, Userprofile

VHDs, VMs, ISOs

Deduplizierung installieren und konfigurieren

Anbei für Sie noch die Screenshots wie Sie die Deduplizierung auf einem Windows Server 2019 einrichten.

Step 1: Rollen und Features installieren unter Server Manager

Step 2: Datendeduplizierung Feature unter Datei- und iSCSI-Dienste aktivieren

Step 3: Installieren

Step 4: Fileserver -> Datenträger und Server Manager wählen

Step 5: Volume auswählen dann auf Datendeduplizierung konfigurieren... klicken

Step 6: Auswählen werlche Art von Daten das Volume beinhaltet

Dann nur noch auf OK.

Das wars schon. Das Volume das Sie ausgewählt haben ist nun für die Deudplizierung konfiguriert.

Um die Deduplizierung zu verwalten müssen Sie die PowerShell Konsole nutzen.

Anbei sind die wichtigsten PowerShell Befehle die Sie für die Verwaltung der Deduplizierung nutzen können.

PowerShell Befehle für Deduplizierung

Für die Verwaltung des Deduplizierungsfeatures möchte ich Ihnen noch gerne ein paar PowerShell Befehle mitgeben, die ich selber immer wieder nutze.

Befehl

Beschreibung

Get-DedupJob

Mit diesen Befehl können Sie sich den aktuellen Dedup Job anschauen. Wie lange dieser läuft, wie viel Prozent eingespart wurde usw.

New-DedupSchedule

Normalerweise geben Sie bei der Konfiguration der Deduplizierung an, wann diese ausgeführt wird. So das z.B. die Deudplizierung nicht Tagsüber läuft, da diese große CPU Ressourcen verbraucht.


Mit dem Befehl New-DedupSchedule können Sie eige Scheduler erstellen.

Start-DedupJob

Mit dem Befehl Start-DedupJob können auch manuell ein Deduplizierungsjob starten.

Get-DedupStatus

Mit diesem Befehl können Sie sich eine Gesamtübersicht über den Deduplizierungsstatus ausgeben lassen. Wie viel Speicherplatz wurde gesamt eingespart. Wie viel Daten sind gespeichert usw.

Enable-DedupVolume

Mit diesen Befehl können Sie für ein Volume die Deduplizierung einrichten.

Get-DedupSchedule

Hiermit sehen Sie qelche Scheduler Jobs geplant eingerichtet sind.

Get-DedupVolume

Hiermit bekommen Sie eine Übersicht über die Festplatten und deren Zustand.

Anbei noch ein paar Screenshots mit den Ergebnis der einzelnen PowerShell Befehle aus meiner Testumgebung.

Enable-DedupVolume -Volume E: -UseageType [Default] [Backup] [HyperV]

Get-DedupJob

Beispiel: Zeigen Sie sich alle DedupJobs die momentan laufen
Get-DedupJob

Start-DedupJob

Beispiel: Starten Sie manuell ein DedupJob für das Volume E:
Start-DedupJob -Volume E: -Type Optimization -Priority High -Full -FastStart 0

  • Type Optimazation = Speicherplatz Optimierung aktivieren
  • Priority = Hoch
  • Faststart = Sofort starten

Get-DedupStatus

Beispiel:
Get-DedupStatus

Get-DedupVolume

Beispiel:
Get-DedupVolume

Enable-DedupVolume

Beispiel:
Enable-DedupVolume -Volume E: UsageType [Default] oder [HyperV] oder [Backup]

Disable-DeduVolume

Beispiel:
Disable-DedupVolume -Volume E:

Get-DedupSchedule

Beispiel:
Get-DedupSchedule

New-DedupSchedule

Beispiel:
New-DedupSchedule -Name "test" -Type Optimization -Priority High

Remove-DedupSchedule

Beispiel:
Remove-DedupSchedule -Name test

Fazit

In diesem Tutorial zu Deduplizierung haben Sie gelernt was Deduplizierung unter Windows Server ist und wie Sie dieses Feature für sich im Unternehmen nutzen können.

Ich wünsche Ihnen viel Erfolg beim lernen.

Aleksej Kusnir