Deduplikacija podatkov je priljubljena in priljubljena tehnologija shranjevanja, ki optimizira zmogljivost shranjevanja. Odpravlja odvečne podatke z odstranitvijo podvojenih podatkov iz nabora podatkov, tako da ostane le ena kopija. Kot je prikazano na spodnji sliki. Ta tehnologija lahko močno zmanjša potrebo po fizičnem prostoru za shranjevanje, da bi zadostila naraščajočemu povpraševanju po shranjevanju podatkov. Tehnologija deduplikacije lahko prinese številne praktične koristi, vključno z naslednjimi vidiki:
| (1) | Izpolnjujejo zahteve glede donosnosti naložbe (ROI)/skupnih stroškov lastništva (TCO); |
| (2) | Hitro rast podatkov je mogoče učinkovito nadzorovati; |
| (3) | Povečajte učinkovit prostor za shranjevanje in izboljšajte učinkovitost shranjevanja; |
| (4) | Prihranite skupne stroške skladiščenja in upravljanja; |
| (5) | Prihranite pasovno širino omrežja pri prenosu podatkov; |
| (6) | Prihranite stroške delovanja in vzdrževanja, kot so prostor, napajanje in hlajenje. |
Tehnologija dedupe se pogosto uporablja v sistemih za varnostno kopiranje in arhiviranje podatkov, saj po večkratnem varnostnem kopiranju podatkov ostane veliko podvojenih podatkov, kar je za to tehnologijo zelo primerno. Pravzaprav se tehnologija dedupe lahko uporablja v številnih situacijah, vključno s spletnimi podatki, podatki v bližini omrežja in sistemi za shranjevanje podatkov brez povezave. Lahko se uporablja v datotečnih sistemih, upravljalnikih nosilcev podatkov, NAS in sistemih sans. Dedupe se lahko uporablja tudi za obnovo podatkov po katastrofi, prenos in sinhronizacijo podatkov, saj se tehnologija stiskanja podatkov lahko uporablja za pakiranje podatkov. Tehnologija dedupe lahko pomaga številnim aplikacijam zmanjšati količino shranjenih podatkov, prihraniti pasovno širino omrežja, izboljšati učinkovitost shranjevanja, skrajšati okno za varnostno kopiranje in prihraniti stroške.
Deduplikacija ima dve glavni dimenziji: razmerja deduplikacije in zmogljivost. Zmogljivost deduplikacije je odvisna od specifične tehnologije izvedbe, medtem ko stopnjo deduplikacije določajo značilnosti samih podatkov in vzorci uporabe, kot je prikazano v spodnji tabeli. Proizvajalci shranjevalnih naprav trenutno poročajo o stopnjah deduplikacije od 20:1 do 500:1.
| Visoka stopnja deduplikacije | Nizka stopnja deduplikacije |
| Podatki, ki jih je ustvaril uporabnik | Podatki iz naravnega sveta |
| Nizka stopnja sprememb podatkov | Visoka stopnja sprememb podatkov |
| Referenčni podatki, neaktivni podatki | Aktivni podatki |
| Aplikacija za nizko stopnjo sprememb podatkov | Aplikacija za visoko stopnjo sprememb podatkov |
| Popolna varnostna kopija podatkov | Inkrementalno varnostno kopiranje podatkov |
| Dolgoročno shranjevanje podatkov | Kratkoročno shranjevanje podatkov |
| Širok nabor podatkovnih aplikacij | Majhen nabor podatkovnih aplikacij |
| Neprekinjena obdelava poslovnih podatkov | Splošna obdelava poslovnih podatkov |
| Majhna segmentacija podatkov | Segmentacija velikih podatkov |
| Podaljšana segmentacija podatkov | Segmentacija podatkov s fiksno dolžino |
| Zaznana vsebina podatkov | Vsebina podatkov neznana |
| Odstranjevanje podvajanja časovnih podatkov | Odstranjevanje podvajanja prostorskih podatkov |
Točke izvedbe odstranjevanja podvojenih elementov
Pri razvoju ali uporabi tehnologije Dedupe je treba upoštevati različne dejavnike, saj ti dejavniki neposredno vplivajo na njeno delovanje in učinkovitost.
| (1) | Kaj | Kateri podatki so deuteženi? |
| (2) | Kdaj | Kdaj bo odvečna teža izginila? |
| (3) | Kje | Kje je izguba teže? |
| (4) | Kako | Kako zmanjšati težo? |
Tehnologija dedupiranja ključev
Postopek deduplikacije v sistemu za shranjevanje je na splošno naslednji: najprej se podatkovna datoteka razdeli na niz podatkov, za vsak blok podatkov se izračuna prstni odtis, nato pa se na podlagi ključnih besed za iskanje prstnih odtisov z zgoščeno vrednostjo prstnih odtisov ujemajo podatki za podvojene bloke podatkov, shrani se le indeksna številka podatkovnega bloka, sicer se podatkovni blok shrani kot edini del novega bloka podatkov, ki shranjuje podatke in ustvarja ustrezne metapodatke. Tako fizična datoteka v sistemu za shranjevanje ustreza logični predstavitvi niza metapodatkov FP. Pri branju datoteke se najprej prebere logična datoteka, nato pa se v skladu z zaporedjem FP iz sistema za shranjevanje odstrani ustrezen podatkovni blok in obnovi kopija fizične datoteke. Iz zgornjega postopka je razvidno, da ključne tehnologije deduplikacije vključujejo predvsem segmentacijo podatkovnih blokov datoteke, izračun prstnih odtisov podatkovnih blokov in pridobivanje podatkovnih blokov.
(1) Segmentacija blokov podatkov datoteke
(2) Izračun prstnega odtisa podatkovnega bloka
(3) Pridobivanje podatkovnih blokov
Če želite najti te priporočene modele za začetek deduplikacije omrežnih paketov:
Mylinking™ omrežni posrednik paketov (NPB) ML-NPB-640048*10GE SFP+ in 4*40GE/100GE QSFP28, največ 880 Gb/s
Mylinking™ omrežni posrednik paketov (NPB) ML-NPB-56606*40GE/100GE QSFP28 in 48*10GE/25GE SFP28, največ 1,8 Tbps
Mylinking™ omrežni posrednik paketov (NPB) ML-NPB-506048*10GE SFP+ in 2*40GE QSFP, največ 560 Gb/s
Mylinking™ Posrednik omrežnih paketov (NPB) ML-NPB-486048*10GE SFP+, največ 480 Gbps, funkcija Plus
Mylinking™ omrežni posrednik paketov (NPB) ML-NPB-481048*10GE SFP+, največ 480 Gb/s
Mylinking™ omrežni posrednik paketov (NPB) ML-NPB-2410P24*10GE SFP+, največ 240 Gb/s, funkcija DPI
Mylinking™ omrežni posrednik paketov (NPB) ML-NPB-6400
48*10GE SFP+ in 4*40GE/100GE QSFP28, največ 880 Gb/s
Čas objave: 18. oktober 2022
