Przejdź do treści
Baza wiedzy 12 min czytania

Deduplikacja danych w macierzach i backupie: ile realnie oszczędza i kiedy szkodzi

Oferta macierzy podaje dwie pojemności, a budżet łatwo zatwierdzić na tę większą. Deduplikacja danych oszczędza tyle, ile powtórzeń jest w danych: na udziałach z obrazami maszyn wirtualnych bardzo dużo, na zaszyfrowanych archiwach i wideo prawie nic, a gwarancje producentów obejmują tylko dane redukowalne.

Oferta na nową macierz podaje dwie pojemności: surową i efektywną, kilkakrotnie większą. Zarząd zatwierdza budżet na tę drugą, bo to ona odpowiada na pytanie, ile danych firma zmieści. Po roku okazuje się, że macierz zapełnia się szybciej niż w planie, bo nowy system zapisuje skompresowane nagrania, a archiwum działu finansów jest szyfrowane już na serwerze. Nikt nie popełnił błędu w obliczeniach. Pojemność efektywna zakładała dane, których firma po prostu nie ma.

Deduplikacja danych oszczędza dokładnie tyle, ile powtórzeń jest w zapisywanych danych, i ta jedna zależność tłumaczy wiele rozczarowań. Ma też wymiar cyberbezpieczeństwa: NIST SP 800-209 (październik 2020 r.) ostrzega, że szyfrowanie danych już po stronie aplikacji, zalecane dla danych wrażliwych, może drastycznie obniżyć skuteczność kompresji i deduplikacji. Decyzja o warstwie szyfrowania jest więc także decyzją o pojemności, a obie warto podejmować razem.

Czym jest deduplikacja danych i czym różni się od kompresji?

Deduplikacja danych zastępuje wiele kopii tych samych danych odwołaniami do jednej wspólnej kopii, a kompresja koduje dane tak, żeby zajmowały mniej miejsca. NIST w wytycznych bezpieczeństwa infrastruktury pamięci masowej (SP 800-209, sekcja 2.11.6) wymienia obie techniki jako dwa typowe sposoby redukcji danych i zaznacza, że można je stosować razem.

Mechanizm najłatwiej zobaczyć na przykładzie z tego samego dokumentu NIST: jeśli macierz ma 500 identycznych bloków, zapisze tylko jeden, a pozostałe 499 zastąpi odwołaniami. Według NIST deduplikacja może działać na poziomie urządzenia pamięci masowej, w trakcie transmisji albo na poziomie systemu plików.

Różnicę wobec kompresji dobrze opisuje dokumentacja Microsoft o deduplikacji w Windows Server (aktualizacja 18 lutego 2022 r.). Kompresja NTFS optymalizuje każdy plik osobno w chwili zapisu, a deduplikacja szuka oszczędności we wszystkich plikach woluminu. Pliki mają zarówno powtórzenia wewnętrzne, które usuwa kompresja, jak i podobieństwa do innych plików, których kompresja nie widzi.

Deduplikacja to też więcej niż wykrywanie identycznych plików. Jej poprzednik w Windows Server, Single Instance Store, łączył tylko pliki całkowicie identyczne, a deduplikacja oszczędza również na plikach, które mają wiele wspólnych fragmentów.

Jak działa deduplikacja i kiedy przetwarza dane?

Deduplikacja dzieli dane na fragmenty, wylicza dla każdego odcisk i fizycznie zapisuje tylko te fragmenty, których odcisku jeszcze nie ma w magazynie. Różnice między produktami dotyczą głównie tego, jak duże są fragmenty i w którym momencie odbywa się to przetwarzanie.

Windows Server stosuje model post-processingu. Według dokumentacji Microsoft dane trafiają na dysk w postaci niezoptymalizowanej, a zadanie optymalizacji uruchamiane domyślnie co godzinę dzieli pliki na fragmenty o zmiennej długości, umieszcza unikalne fragmenty w magazynie fragmentów (chunk store) i zastępuje treść pliku odwołaniem. Zmiany w już zdeduplikowanym pliku znów zapisują się bez optymalizacji i czekają na następne uruchomienie zadania.

Macierz Dell PowerStore deduplikuje w trakcie zapisu (inline). Dell w dokumencie „PowerStore: Data Efficiencies” (sierpień 2026 r.) opisuje, że deduplikacja i kompresja zachodzą, gdy dane przechodzą z pamięci podręcznej zapisu na dyski, a odcisk liczony jest dla bloków o rozmiarze 4 KB w modelach pierwszej i drugiej generacji oraz 8 KB w trzeciej. Przy dużym obciążeniu system może odroczyć deduplikację, zachowując kompresję, i wrócić do pominiętych bloków później.

Model ma praktyczne skutki. Przy post-processingu wolumin musi pomieścić nowe dane w pełnym rozmiarze do przebiegu zadania, a przy deduplikacji inline koszt obliczeniowy leży w ścieżce zapisu.

Ile realnie oszczędza deduplikacja?

Deduplikacja oszczędza tyle, ile powtórzeń jest w danych, a dokumentacja Microsoft, Veeam i Dell podaje przedziały albo warunki, nie jedną liczbę.

Microsoft podaje typowe oszczędności deduplikacji w Windows Server: 30–50% dla dokumentów użytkowników, 70–80% dla udziałów z oprogramowaniem do instalacji, 80–95% dla bibliotek obrazów ISO i dysków wirtualnych oraz 50–60% dla ogólnego udziału plików. Procenty i współczynniki opisują to samo, ale czyta się je inaczej. Microsoft sam zestawia oszczędność do 95% w zbiorach o dużej liczbie powtórzeń z dwudziestokrotnym zmniejszeniem zajętości, a w ten sam sposób 50% odpowiada współczynnikowi 2:1, a 80% współczynnikowi 5:1. Przy porównywaniu ofert warto więc sprowadzić wszystkie liczby do jednej postaci, bo różnica kilkunastu punktów procentowych przy wysokich oszczędnościach oznacza kilkakrotną różnicę zajętego miejsca.

Dokumentacja oprogramowania do kopii mówi to wprost. Instrukcja Veeam Backup & Replication (aktualizacja 15 stycznia 2026 r.) zastrzega, że mniejszy rozmiar plików nie jest gwarantowany, bo skuteczność kompresji i deduplikacji zależy m.in. od rodzaju danych źródłowych i docelowego systemu plików.

Trzeba też odróżniać, ile daje sama deduplikacja, a ile kompresja. W przykładowym wyniku narzędzia DDPEval z dokumentacji Microsoft folder testowy pokazuje 66% oszczędności, ale bez kompresji tylko 4%. Pytanie o ten podział warto zadać przy każdej deklarowanej liczbie.

Jak czytać gwarantowany współczynnik redukcji producenta?

Gwarancja redukcji danych to obietnica dotycząca części danych i obwarowana warunkami, a nie zapowiedź, ile miejsca zyska każda firma.

Warunki programu Dell PowerStore/PowerMax Data Reduction Guarantee obowiązujące od 14 maja 2026 r. gwarantują dla danych redukowalnych pojemność logiczną równą sześciokrotności pojemności fizycznej w PowerStore trzeciej generacji i pięciokrotności w drugiej. Gwarancja nie obejmuje danych nieredukowalnych, zaczyna działać dopiero po zapisaniu co najmniej połowy przestrzeni fizycznej i wymaga włączenia wszystkich funkcji kompresji i deduplikacji. Dell zastrzega też, że nie gwarantuje osiągnięcia konkretnego współczynnika redukcji, a środkiem zaradczym jest strojenie lub rekonfiguracja systemu albo dodatkowa pojemność do połowy pojemności fizycznej.

Drugie źródło nieporozumień to rodzaj współczynnika. Według dokumentu Dell o efektywności PowerStore „overall efficiency” obejmuje także oszczędności z thin provisioningu i migawek, a współczynnik redukcji danych (DRR) porównuje tylko dane przed deduplikacją i kompresją z miejscem zajętym po nich. Od PowerStoreOS 4.0 system pokazuje osobno Overall DRR, Reducible DRR i ilość danych nieredukowalnych, co pozwala sprawdzić, ile danych w ogóle podlega redukcji.

Podobnie trzeba czytać karty innych producentów. Strona HPE Alletra Storage w naszym katalogu podaje pojemności modeli jako pojemność efektywną, czyli po kompresji i deduplikacji, więc do planowania potrzebna jest jeszcze pojemność fizyczna i realny współczynnik dla własnych danych.

Najważniejsze:

  • Oszczędność deduplikacji zależy od danych, a nie od urządzenia; producenci podają przedziały według rodzaju danych.
  • Gwarancja redukcji obejmuje tylko dane redukowalne i działa po spełnieniu warunków.
  • „Overall efficiency” zawiera thin provisioning i migawki, a do planowania pojemności liczy się DRR.

Których danych deduplikacja nie zmniejszy?

Deduplikacja nie zmniejszy danych zaszyfrowanych albo skompresowanych przed zapisem ani plików audio, obrazów i wideo. Dell w warunkach gwarancji wymienia jako przykłady danych nieredukowalnych dane skompresowane i zaszyfrowane przez hosta oraz pliki audio, obrazy, PDF i wideo.

Przyczyna jest prosta. Szyfrowanie i kompresja usuwają z danych powtarzalne wzorce, a deduplikacja żyje właśnie z powtórzeń, więc po tych operacjach nie ma już czego zapisywać raz zamiast wielu razy.

NIST opisuje ten koszt w rekomendacji EN-SS-R6 SP 800-209: szyfrowanie end-to-end na poziomie aplikacji znacząco podnosi bezpieczeństwo, ale może drastycznie obniżyć skuteczność kompresji i deduplikacji oraz komplikuje zarządzanie. Wbudowane szyfrowanie macierzy lub dysku NIST opisuje jako ochronę przed utratą, zgubieniem albo kradzieżą nośnika, która nie chroni przed atakiem z hosta mającego już dostęp do pamięci masowej ani przed eskalacją uprawnień.

Dla planowania wniosek jest konkretny. Zanim zespół bezpieczeństwa włączy szyfrowanie po stronie aplikacji dla dużego zbioru danych, administrator pamięci masowej powinien przeliczyć pojemność tak, jakby ten zbiór przestał się redukować.

Jak deduplikacja działa w repozytorium kopii zapasowych?

W repozytorium kopii zapasowych deduplikacja ma szczególnie dobre warunki, bo kolejne kopie tych samych systemów różnią się od siebie niewiele. Microsoft wymienia aplikacje kopii zapasowych jako doskonałych kandydatów do deduplikacji, właśnie ze względu na duże powtórzenia między kolejnymi kopiami.

Oprogramowanie do kopii często deduplikuje już przed zapisem. Według instrukcji Veeam moduł po stronie źródła pobiera skróty bloków z poprzedniego punktu przywracania i nie przesyła bloków, które już tam są, a moduł po stronie repozytorium zapisuje w pliku kopii tylko unikalne bloki. Ile miejsca zajmie cały cykl, zależy też od schematu kopii, który opisuje tekst o tym, czym różni się kopia pełna, przyrostowa i różnicowa.

Wynik zależy od ustawień, które łatwo przeoczyć. Veeam zaleca bloki 4 MB dla plików kopii większych niż 16 TB oraz dla urządzeń deduplikujących HPE StoreOnce i Dell Data Domain, zaznaczając, że większy blok daje najniższy współczynnik deduplikacji. Ta sama instrukcja zaleca wyłączenie kompresji, gdy kopie trafiają na urządzenie z własną sprzętową kompresją i deduplikacją, bo dane skompresowane wcześniej dla takiego urządzenia przestają być powtarzalne.

Szyfrowanie kopii ma podobny skutek: przy włączonym szyfrowaniu zadania i dekompresji bloków przed zapisem w repozytorium Veeam nie kompresuje danych maszyn, a kopia może być większa niż oryginalna maszyna. Szyfrowania nie trzeba z tego powodu wyłączać, ale jego miejsce w łańcuchu warto zaplanować razem z pojemnością repozytorium.

Kiedy deduplikacja szkodzi wydajności?

Deduplikacja szkodzi wydajności, gdy obciążenie czyta dane losowo z dysków obrotowych albo gdy serwer nie ma przerwy, w której może przetworzyć dane. Microsoft zaleca ocenić obciążenie przed włączeniem deduplikacji i dzieli je na rekomendowane (serwery plików, VDI, zwirtualizowane aplikacje kopii) oraz takie, które trzeba najpierw sprawdzić: hosty Hyper-V ogólnego przeznaczenia, serwery SQL i serwery aplikacji biznesowych.

Powód dotyczy odczytu. Części magazynu fragmentów mogą leżeć w różnych miejscach woluminu, więc odczyt sekwencyjny działa dobrze, a bazy danych z losowymi odczytami mogą dostać dodatkowe opóźnienie. Microsoft zaznacza, że dotyczy to głównie dysków obrotowych, a pamięć flash, która ma jednakowy czas dostępu do każdego miejsca, jest na to znacznie mniej wrażliwa.

Drugi warunek to zasoby. Post-processing potrzebuje okien bezczynności, dlatego obciążenia z przerwą wieczorną lub weekendową są dobrymi kandydatami, a te, które pracują bez przerwy, mogą nimi nie być. Na hoście hiperkonwergentnym uruchamianie deduplikacji w godzinach pracy może odbierać zasoby maszynom wirtualnym.

Trzeci koszt pojawia się, gdy dane opuszczają urządzenie. Według dokumentu Dell o PowerStore dane wysyłane do hosta, replikowane, migrowane lub kopiowane przez Storage Direct muszą najpierw wrócić do pełnego rozmiaru, a w replikacji synchronicznej każdy zapis trafia do systemu zdalnego w oryginalnej wielkości. Łącze replikacyjne i okno kopii trzeba więc liczyć na dane przed redukcją, nie po niej.

Czy deduplikacja zwiększa ryzyko utraty danych?

Deduplikacja sama nie gubi danych, ale sprawia, że jeden uszkodzony fragment może dotknąć wielu plików naraz. Ten sam fragment w magazynie bywa wspólny dla wielu plików, więc jego integralność ma znaczenie dla nich wszystkich.

Windows Server ma na to osobne zabezpieczenia. W Windows Server zadanie Integrity Scrubbing wykrywa uszkodzenia magazynu fragmentów, w miarę możliwości odtwarza dane z lustra lub parzystości woluminu i przechowuje dodatkowe kopie popularnych fragmentów, do których prowadzi ponad 100 odwołań. Microsoft ostrzega jednocześnie przed ręczną ingerencją w magazyn fragmentów, a w opisie zgodności z innymi funkcjami (30 czerwca 2025 r.) odradza używanie Robocopy, bo niektóre jego polecenia mogą uszkodzić magazyn.

Ważniejszy wniosek dotyczy kopii zapasowych. Kopie zapisane w jednym repozytorium deduplikującym dzielą te same fragmenty, więc nie są od siebie fizycznie niezależne. Ochronę przed awarią urządzenia, błędem administratora czy atakiem na repozytorium daje dopiero kolejna kopia zapasowa na osobnym nośniku albo w innej lokalizacji, co rozwija przewodnik czym jest backup i strategia 3-2-1.

Jak sprawdzić opłacalność deduplikacji przed zakupem macierzy?

Najpewniej zmierzyć ją na własnych danych, zanim w budżecie pojawi się pojemność efektywna. Dla serwerów Windows służy do tego narzędzie DDPEval, które według dokumentacji Microsoft ocenia potencjał oszczędności na dyskach lokalnych, woluminach CSV oraz zamapowanych i niezamapowanych udziałach sieciowych.

Przy zakupie macierzy z redukcją inline pomiar wymaga udziału producenta. Warto poprosić o pilotaż na kopii reprezentatywnych danych i o raport z rozbiciem na dane redukowalne i nieredukowalne, bo dopiero to rozbicie pokazuje, czy deklarowany współczynnik ma szansę się zrealizować.

Plan pojemności najlepiej oprzeć na pojemności fizycznej, a dane szyfrowane przez aplikacje, wideo i archiwa skanów w PDF liczyć w pełnym rozmiarze.

Gdzie włączyć deduplikację, a gdzie ją pominąć?

Deduplikację warto włączać tam, gdzie dane naturalnie się powtarzają, a pomijać tam, gdzie dane są już zaszyfrowane, skompresowane albo czytane losowo z dysków obrotowych. Tabela zbiera decyzje dla typowych miejsc w infrastrukturze.

MiejsceCo zyskuje deduplikacjaTypowa pułapkaCo zmierzyć przed decyzją
Serwer plików z udziałami zespołówpowtarzające się dokumenty i ich wersjenowe dane zajmują pełne miejsce do przebiegu zadaniawynik DDPEval na udziale i czas zadania optymalizacji
VDI i biblioteki obrazów maszynprawie identyczne dyski wirtualneuruchamianie zadań w godzinach pracyobciążenie hosta w oknie przetwarzania
Macierz all-flash z redukcją inlinewszystkie zapisy, także migawki i klonyporównywanie „overall efficiency” z DRRReducible DRR i ilość danych nieredukowalnych po pilotażu
Repozytorium kopii zapasowychkolejne kopie tych samych systemówpodwójna kompresja i szyfrowanie przed urządzeniem deduplikującymrozmiar bloku, ustawienia kompresji i czas odtwarzania
Baza danych na dyskach obrotowychzależnie od danychopóźnienia przy losowych odczytachtest wydajności na kopii obciążenia
Dane szyfrowane przez aplikację, wideo, PDFpraktycznie nicliczenie ich do pojemności efektywnejudział tych danych w całości zbioru

Im większy udział danych nieredukowalnych, tym bardziej średni współczynnik z oferty odbiega od wyniku w konkretnej firmie.

Jak nFlo może pomóc w doborze i optymalizacji pamięci masowej?

W filarze infrastruktury IT nFlo prowadzi Kompleksowe usługi Pamięci Masowych: od analizy obciążenia (IOPS, przepustowość, opóźnienia, wzorce I/O, wzrost danych i wymagania retencji), przez projekt architektury i wdrożenie, po bezprzestojową migrację danych. Po wdrożeniu usługa obejmuje optymalizację, w tym konfigurację deduplikacji i kompresji, auto-tiering, monitoring wydajności i cykliczne przeglądy planowania pojemności.

W projektach z macierzami all-flash pracujemy m.in. z Dell PowerStore, który deduplikuje i kompresuje dane inline, oraz z HPE Alletra Storage. Analiza obciążenia przed doborem technologii pozwala ocenić, jaka część danych realnie się zredukuje, zanim ta liczba trafi do budżetu. Porozmawiajmy o Twoim środowisku: skontaktuj się z nami.

Co jeszcze warto wiedzieć o deduplikacji danych?

Czy deduplikacja spowalnia odczyt danych?

Może, jeśli obciążenie czyta dane losowo z dysków obrotowych, jak typowa baza danych. Na dyskach SSD ten efekt jest znacznie mniejszy, ale przed włączeniem deduplikacji pod bazą danych warto zrobić test wydajności.

Czy warto deduplikować dane zaszyfrowane?

Zwykle nie. Szyfrowanie po stronie aplikacji lub hosta odbiera danym powtarzalność, a Dell zalicza dane zaszyfrowane i skompresowane przez hosta do nieredukowalnych, wyłączonych z gwarancji redukcji.

Czy deduplikacja zastępuje drugą kopię zapasową?

Nie. Deduplikacja usuwa powtórzenia w obrębie jednego urządzenia lub repozytorium, więc kopie zapisane w nim dzielą te same fragmenty. Ochronę przed awarią lub atakiem daje dopiero kopia na osobnym nośniku albo w innej lokalizacji.

Jak sprawdzić, ile zaoszczędzi deduplikacja w mojej firmie?

Na własnych danych. W Windows Server służy do tego narzędzie DDPEval, a przy zakupie macierzy warto poprosić producenta o pilotaż i współczynnik liczony osobno dla danych redukowalnych i nieredukowalnych.

Czym deduplikacja różni się od kompresji?

Kompresja koduje dane tak, żeby zajmowały mniej miejsca, w obrębie pliku lub bloku. Deduplikacja szuka tych samych fragmentów w wielu plikach i zapisuje każdy z nich raz, a obie techniki można łączyć.

Udostępnij:

Porozmawiaj z ekspertem

Masz pytania dotyczące tego tematu? Skontaktuj się z naszym opiekunem.

Opiekun handlowy
Grzegorz Gnych

Grzegorz Gnych

Opiekun handlowy

Odpowiedź w ciągu 24 godzin
Konsultacja z ekspertem
Indywidualne podejście

Podanie numeru telefonu przyspieszy kontakt.

Chcesz obniżyć ryzyko i koszty IT?

Umów konsultację - odpowiemy w ciągu 24h

Odpowiedź w 24h Indywidualna wycena Bez zobowiązań

Lub pobierz bezpłatny przewodnik:

E-book: Strategia odporności cyfrowej 2026