+358 9 774 0470|Elimäenkatu 9 A, 00510 Helsinki

Arkistointi

Tallennetun video- ja audiomateriaalin määrä on kasvanut huimasti viime vuosina. Tehokkaiden pakkausmenetelmien jälkeenkin tallennettavan datan määrä aikayksikköä kohden on melkoinen kun käytetään yhä suurempia resoluutioita ja näytteenottotaajuuksia ym. Osa materiaalista kannattaa tyypillisesti arkistoida myöhempää käyttöä varten. Tunnetusti haasteena on löytää kustannustehokas tapa säilyttää materiaali muuttumattomana niin, että sitä voidaan tarvittaessa myöhemmin kauempana tulevaisuudessa hyödyntää jälleen. Normaaleille tallennusmedioille muutaman vuoden säilytys ei vielä yleensä aiheuta ongelmia, mutta puhuttaessa kymmenistä vuosista aika helposti tekee tehtävänsä.

Perinteisesti liikkuvaa kuvaa ja ääntä on taltioitu ja ”arkistoitu” filmille ja filmikopioille ja myöhemmin videonauhoille, mutta tiedostopohjaisen työnkulun yleistyttyä IT-puolelta tutut datanauhat ovat olleet suosittu tapa video/audiotiedostojen arkistointiin. Siihen on käytetty tyypillisesti nauha-asemia (tape drive), jotka on suunniteltu media-alan yritysten tarpeita ajatellen. On ollut pöytämallisia ja räkkiin asennettavia nauha-asemia, joihin yksitellen syötetään nauha (tape cartridge) käsin sisään ja otetaan ulos ja vähän isommissa malleissa on ollut yksinkertainen nauhan vaihtaja (autoloader) tekemään työ automatisoidummin. Monipuolisimmissa laitteissa on useita nauha-asemia sisällä ja nauhoja kymmeniä tai satoja lokeroissaan (slot) ja mekaaniset ”kourat” siirtelevät nauhoja nauha-asemiin tarpeen mukaan lukua ja kirjoitusta varten (tape robot, tape library).

Investoitaessa arkistointilaitteistoon kannattaa erityisesti kiinnittää huomiota käyttökustannuksiin hankintakustannuksen lisäksi (tco=capex+opex). Säilytettäessä dataa kenties vuosikymmeniä on rahan kulun ja luonnonkin kannalta hyvä, jos laitteiston käyttöön ja jäähdytykseen ei kulu sähköenergiaa ym. turhan takia. Datanauhat ja kiintolevyt eivät pysähdyksissään olleessaan kuluta energiaa kun taas esimerkiksi pyörivä kiintolevy kuluttaa ja kyseinen energia muuttuu lämmöksi ja tämä vaatii usein jäähdytystä. Niinpä useimmat kiintolevypohjaiset tallennusjärjestelmät eivät sovellu hyvin arkistointikäyttöön. Hankintakustannuksiin liittyen tärkeä tekijä on hinta per tilavuusyksikkö. Tallennusjärjestelmissä myös nopeus vaihtelee luotettavuuden ja hinnan lisäksi. Etenkin nopeuden ja hinnan perusteella tallennusjärjestelmät jaetaan etenkin media-alalla usein kolmeen luokkaan eli online, nearline ja offline storage. Online storage on nopeata ja kallista, joka soveltuu esimerkiksi editointiin ja ulosajoon. Nearline storage on vähän hitaampaa ja edullisempaa levypintaa kun taas offline storagella tarkoitetaan tyypillisesti juuri arkistointijärjestelmiä tai joissain tilanteissa arkistointiin käytettyjä medioita kuten esimerkiksi datanauhoja hyllyssä. Arkistointijärjestelmät ja mediat voivat yleensä olla siis suhteellisen hitaita ja edullisia, mutta luotettavuus on erittäin tärkeää.

Jotta voidaan luottaa siihen, ettei materiaali ole arkistoinnin aikana muuttunut, lasketaan datasta usein ns. tarkistussumma arkistointia tehdessä. Myöhemmin palautettaessa se lasketaan uudestaan ja verrataan tarkistussummia keskenään ja jos ne ovat samat, niin bittejä ei ole kadonnut tai muuttunut. Usein tähän käytetään MD5 checksum:ia. On myös kannattavaa replikoida data vähintään kahdelle medialle, koska aina on olemassa riski, että sellainen vahingoittuu syystä tai toisesta ajan kuluessa. Tärkeää materiaalia arkistoitaessa on syytä kahdentaa koko järjestelmä ja sijoittaa mielellään toinen (disaster recovery) niistä maantieteellisesti eri paikkaan, jotta voidaan suojautua paremmin esimerkiksi luonnonmullistusten ym. aiheuttamia vahinkoja vastaan.

Yksi keskeinen asia arkistoinnista puhuttaessa on mahdollinen rajapinta medianhallintajärjestelmien kanssa. MAM-järjestelmissä (Media Asset Management) kun ideana on se, että materiaalia haetaan mm. arkistosta hyödyntämällä siihen liittyvää metadataa, niin rajapinnan on mahdollistettava saumaton yhteistoiminta järjestelmien välillä. Tarkemmin sanottuna arkistointi- ja muuta tallennuslaitteistoa yleensä hallitsee niin sanottu HSM-oljelmisto (Hierarchical Storage Management), jonka tietokannassa pidetään kirjaa siitä missä paikassa mikäkin tiedosto on. Jos MAM-järjestelmän käyttäjä tekee haun ja tuloksissa on listattuna vaikka videoklippi arkistossa, niin se valittaessa kyseinen tiedosto pitää saada helposti siirtymään paikkaan, jossa käyttäjä voi sitä hyödyntää haluamallaan tavalla. Usein tiedostosta voidaan hakea aikakoodin perusteella vain osa ja tällöin puhutaan Partial File Restore:sta (PFR). Joka tapauksessa arkisto ja sen ympärillä olevat järjestelmät on monissa tilanteissa hyvä saada sellaiseksi, että käyttäjät saavat tehokkaasti hyödynnettyä arkistossa olevat materiaalit ettei siitä tule vain laari, johon heitetään tavaraa mitä ei todennäköisesti koskaan tulla helposti löytämään. Materiaalin helpossa hyödyntämisessä keskeisessä asemassa on tosiaan metadata ja toisaalta myös selailukopiot (lowres / browse / proxy-tiedostot) nopeuttavat oikean aineiston ja kohdan löytämistä.

Tallennusjärjestelmien tekniikasta puhuttaessa RAID-varmistusta (Redundant Array of Independent Disks) käytetään laajasti online & nearline storage –laitteissa pitämään huolta siitä, että jos jokin pieni osa yksittäisistä kiintolevyistä (kovalevy, HDD) vikaantuu, niin kaikki laitteeseen tallennettu data ei katoa ennen kuin viallisten levyjen tilalle saadaan vaihdettua uudet. Myös puolijohdetekniikkaan perustuvia SSD-levyjä (Solid State Drive) käytetään joskus nopeimmissa laitteissa. Ne ja toisaalta RAID-varmistus jatkuvasti pyöriville kiintolevyille eivät kuitenkaan korkeiden kustannusten takia juurikaan sovellu arkistointikäyttöön, jossa materiaalia joskus makuutetaan paikallaan vuosikausia ja datanauhat (tyypiltään esim. LTO, jossain määrin mm. DLT ja valmistajien omat ”standardit”) ovat olleet toistaiseksi yleisin tapa arkistoida mediatiedostoja. Nauhojen ja nauha-asemien käyttöön liittyy kuitenkin usein myös ongelmia ja etenkin halvempien laitteiden robotiikka ei aina tunnu kestävän kovin pitkään jatkuvaa käyttöä tai vähintäänkin vaatii aika paljon ylläpitoa.

Hyvä vaihtoehto datanauhoja käyttäville nauharoboteille on kiintolevyihin perustuva laitteisto, joka kuitenkin käsittelee levyjä eri tavalla kuin tavanomaiset RAID-järjestelmät. Sen sijaan että levyt pyörisivät jatkuvasti 24/7 ne ajetaan lepotilaan silloin kuin niitä ei tarvita ja niiden kuntoa valvotaan älykkäästi, jolloin mahdollinen vikaantuminen voidaan ennakoida. Erityisesti arkistointikäyttöön suunnitelluille HDD:ille saadaan hyvinkin pitkä elinikä ja normaalitkin levyt palvelevat keskimäärin erityisen kauan tällaisissa ns. MAID-järjestelmissä (Massive Array of Independent Disks). Joka tapauksessa on tavanomaista varmistaa datan säilyvyys kopioimalla se aina myös vähintään toiselle levylle (replica). Koska levyt eivät pyöri jatkuvasti, niin energiaa säästyy huomattavan paljon.

Edustamme valmistajaa nimeltään Disk Archive Corporation (DAC), jonka tuote ALTO on kiintolevypohjainen arkisto. Kts. lisää täältä