Tietojen siirtäminen MuseumPlus-järjestelmään (päivitetty 23.5.2017)
Uuteen kokoelmahallintajärjestelmään siirtyminen sisältää useita työvaiheita, joista yksi haastavimmista on tietojen siirtäminen uuteen järjestelmään. Tämän ohjeistuksen tarkoituksena on kertoa tietojen siirrosta ja sen vaiheista sekä siitä, miten tiedot on järjestelmään tallennettu. Lisäksi annetaan käytännöllisiä neuvoja siitä, kuinka museo voi valmistautua tietojen siirtoon eli tietokannan tarkistamiseen ja siivoamiseen. Tavoitteena on, että näiden neuvojen avulla siirtoprosessin kestoa voidaan lyhentää ja tuloksia parantaa.
Migraatio
Suurin yksittäinen työvaihe on vanhan kokoelmahallintajärjestelmän tietojen siirtäminen uuteen järjestelmään, eli migraatio. Migraatiolla tarkoitetaan prosessia, jonka lopputuloksena museon aineisto siirtyy nykyisestä kokoelmahallintajärjestelmästä uuteen.
Kokoelmahallintajärjestelmien tietojen tallennus
Suomessa on käytössä lukuisia erilaisia museoiden kokoelmahallintaan tarkoitettuja järjestelmiä. Jokaisella järjestelmällä on oma tapansa tallentaa tietoa ja esittää sitä. Edes saman kokoelmahallintajärjestelmän eri museoissa käytössä olevat kopiot eivät aina ole kaikilta osiltaan identtisiä. Eri museoilla voi olla käytössään esimerkiksi räätälöityjä omia kenttiä, joita varten on voitu tietokantaan luoda yksittäisten kenttien ohella kokonaan uusia tietokantatauluja. Useimmissa järjestelmissä on jonkinlainen käyttöliittymä, jonka avulla järjestelmiin tallennettua tietoa lisätään, päivitetään ja selataan. Itse tieto on tallennettuna järjestelmän tietokantaan. Siirrettäessä tietoja järjestelmästä toiseen siirretään siis tietoja tietokannasta toiseen.
Tietokanta voidaan useimmiten erottaa kokoelmahallintajärjestelmästä ja siirtää irrallisena, ilman muuta järjestelmää. Tietojen siirron onnistumisen kannalta on välttämätöntä, että näin voidaan tehdä. Tietokanta voidaan erottaa esimerkiksi tietokantadumppina tai exporttina.
Tietokantadumppi tarkoittaa tietokannasta otettua tarkkaa kopiota. Dumpissa on tallella sekä samat tiedot kuin alkuperäisessä tietokannassa että sama rakenne. Dumppi on luettavissa samoilla menetelmillä kuin alkuperäinen tietokanta.
Exportilla tarkoitetaan tietojen viemistä ulos järjestelmästä jossain muussa kuin siinä muodossa, jossa ne on tallennettu järjestelmään. Tällainen tiedosto voi olla esimerkiksi Microsoftin Excel-työkirja tai xml-tiedosto. Export-tiedosto voidaan viedä helposti esimerkiksi toiseen järjestelmään tai vaikkapa ulkoiseen verkkopalveluun (LIDO-export). Exportoinnin asemesta suosittelemme tietokannan toimittamista Kookos-palveluille tietokantadumppina, sillä exportoinnissa menetetään useimmiten tietokannan alkuperäinen rakenne eikä kaikkia tietokannan kenttiä välttämättä saada mitenkään export-tiedostoon mukaan. Kookos-palvelut vastaa tietokantadumpin muuntamisesta siirtokelpoiseen Access-muotoon.
Kansallisgallerian arkistotietokanta Access-muodossa
Tietokannan tehtävänä on tallettaa käyttöliittymän kautta järjestelmään syötetty tieto tehokkaisiin, hallittaviin ja myös yksinkertaisiin rakenteisiin, joista järjestelmä voi hakea käyttäjän kulloinkin tarvitseman tiedon. Ihanteellisessa tilanteessa esimerkiksi tiedot toimijoista on tallennettu tietokantaan vain yhden kerran, vaikka ne voivat esiintyä useamman tietokantaan tallennetun esineen tai valokuvan yhteydessä. Ideaalitilanteessa myös tietokannan kenttä, johon toimijan nimi on tallennettu, on nimetty yksiselitteisesti ja ymmärrettävästi, kuten esimerkiksi toimija_etunimi ja toimija_sukunimi. Vaikka tietokannan tila ei olisikaan ihanteellinen, on siirto silti mahdollista suorittaa laadukkaasti. Se vain vaatii enemmän töitä.
Jokainen tietokanta on rakennettu tietyn mallin mukaan, jota kutsutaan tietomalliksi. Tietomalli tarkoittaa niitä edellisessä kappaleessa mainittuja rakenteita, joihin käyttäjän syöttämät tiedot on tallennettu. Tietomallin perustana voi olla jokin museoiden luettelointia varten kehitetty yleinen malli, kuten CIDOC-CRM tai esimerkiksi museon itsensä kehittämä malli. Tietomallit eivät useimmiten ole suoraan yhteensopivia toistensa kanssa, mikä pitää huomioida siirrettäessä tietoa järjestelmästä toiseen.
Jokainen tietokanta on rakennettu tietyn mallin mukaan, jota kutsutaan tietomalliksi. Tietomalli tarkoittaa niitä edellisessä kappaleessa mainittuja rakenteita, joihin käyttäjän syöttämät tiedot on tallennettu. Tietomallin perustana voi olla jokin museoiden luettelointia varten kehitetty yleinen malli, kuten CIDOC-CRM tai esimerkiksi museon itsensä kehittämä malli. Tietomallit eivät useimmiten ole suoraan yhteensopivia toistensa kanssa, mikä pitää huomioida siirrettäessä tietoa järjestelmästä toiseen.
Tietojen siirto
Kun tietoja siirretään järjestelmästä toiseen, voidaan toimia kolmella tavalla:
- Tieto siirretään suoraan vanhan kokoelmahallintajärjestelmän kentästä uuden kokoelmahallintajärjestelmän kenttään. Tämä on tavoista ehdottomasti yksinkertaisin, nopein ja tehokkain. Ihanteellisessa maailmassa kaikki kentät siirtyisivät tällä tavalla. Mutta koska järjestelmien tietomallit eroavat toisistaan, usein huomattavastikin, ei suora siirto tule aina kyseeseen. Suoran siirron mahdollistamiseksi kokoelmahallintajärjestelmän kentässä tulisi olla tallennettuna vain yhden tyyppistä tietoa. Tällaista tietoa voisi olla esimerkiksi omaan kenttäänsä tallennettu toimijan sukunimi.
- Vanhan kokoelmahallintajärjestelmän kentästä siirretään tietoja kahteen tai useampaan uuden kokoelmahallintajärjestelmän kenttään. Tämä on vähintäänkin monimutkaista ja usein käytännössä mahdotonta toteuttaa automaattisesti. Tilanteet, joissa vanhan kokoelmahallintajärjestelmän kenttään on tallennettu useita tietoja tai useamman kuin yhden tyyppisiä tietoja, käsitellään aina yksilöllisesti. Tällaisia ovat esimerkiksi tilanteet, joissa yhteen kenttään on tallennettu useita asiasanoja tai samaan kenttään sekä henkilön etunimi että sukunimi. Joitakin vinkkejä tällaisten kenttien käsittelyn helpottamiseksi annetaan aineiston esivalmisteluohjeita käsittelevässä luvussa.
- Useita vanhan kokoelmahallintajärjestelmän kenttiä siirretään yhteen uuden kokoelmahallintajärjestelmän kenttään. Tähän ei kannata pyrkiä, vaan ihannetilanteessa uudessa järjestelmässä olisi jokaiselle tiedolle oma kenttänsä. Tietoja kannattaa yhdistää vain silloin kun vanhassa kokoelmahallintajärjestelmässä on useita kenttiä, joille kaikille ei löydy vastinetta uudesta järjestelmästä. Esimerkki tällaisesta tilanteesta on jos vanhaan järjestelmään on tallennettu tietoja toimijan elämäkerrasta useisiin eri kenttiin, mutta uudessa järjestelmässä on vain yksi kenttä toimijan elämäkertatiedoille.
Kaikissa kolmessa tapauksessa tiedot voivat siirtyä järjestelmien välillä joko sellaisinaan tai jollain tavalla muokattuina. Esimerkkejä muokkauksista, joita mahdollisesti voidaan tehdä automaattisesti siirtovaiheessa, ovat lauseiden alkukirjainten muuttaminen isoiksi ja ylimääräisten välilyöntien poistaminen kentän alusta ja lopusta. Käytännössä useimmiten ei-yhdenmukaista aineistoa ei voida koneellisesti muokata yhdenmukaiseksi siirtoa varten. Esimerkiksi toimijoiden tai paikkojen nimien kirjoitusasujen yhdenmukaistaminen tai kirjoitusvirheiden korjaaminen automaattisesti ei ole mahdollista.
Kaikki tietoihin halutut muutokset, joita ei voida automaattisesti toteuttaa, täytyy toteuttaa manuaalisesti. Manuaalisesti tehdyt muutokset voidaan toteuttaa joko nykyisessä kokoelmahallintajärjestelmässä, uudessa kokoelmahallintajärjestelmässä tai tietokantadumpissa/export-tiedostossa, johon siirrettävä aineisto on tallennettu. Useimmissa tapauksissa muutokset on suositeltavinta tehdä ennen aineiston siirtämistä uuteen järjestelmään, tosin muutoksia joutuu useimmiten tekemään myös siirron jälkeen.
Siirtoprosessin aikana tiedot ovat kolmessa tilassa:
- Museon käyttämässä nykyisessä kokoelmahallintajärjestelmässä, josta tiedot viedään ulos joko tietokantadumppina (parempi vaihtoehto) tai vaihtoehtoisesti jossain nykyisen järjestelmän mahdollistamassa export-tiedostomuodossa.
- Tietokantadumppi (tai vaihtoehtoisesti erillinen export-tiedosto) viedään Access-muotoon Kookos-kokoelmahallinnan toimesta. Tietokanta tullaan siirtämään Access-muodossa MuseumPlus-järjestelmään. Access-muodossa olevaa tietokantaa täytyy useimmiten muokata vastaamaan paremmin MuseumPlus-järjestelmän tietomallia. Tietojen siirtymistä uuteen järjestelmään verrataan aina ensisijaisesti tätä Access-tietokantaa vastaan testauksen yhteydessä.
- Uudessa järjestelmässä tuotannossa.
Esivalmisteluohjeita
Siirrettävän tiedon laatu uudessa järjestelmässä voi olla vain niin hyvä kuin sen laatu vanhassa järjestelmässä on. Tästä syystä aineiston siirtoon on tärkeää valmistautua niin hyvin kuin resurssit sallivat. Tähän kappaleeseen on koottu näkemyksiä siitä, mitä hyvä valmistautuminen pitää sisällään.
Aivan aluksi museon olisi hyvä tehdä selvitys nykyiseen kokoelmahallintajärjestelmään tallennetuista aineistoista. Selvitys voidaan tehdä kokoelmanhallintajärjestelmän käyttöliittymässä. Selvitykseen olisi hyvä sisällyttää ainakin:
- lista kentistä, joiden sisältö halutaan siirtää
- kuvaus siitä, mitä sisältöä kussakin kentässä on
Periaatteena voidaan pitää, että yksi näihin alkuvalmisteluihin ja selvityksiin käytetty henkilötyötunti vastaa vähintään kahta henkilötyötuntia myöhemmässä vaiheessa. Mitä perusteellisemmin alkuvalmistelut on tehty, sitä vähemmällä vaivalla saadaan aikaiseksi hyvä lopputulos. Tietojen siirtäminen MuseumPlussaan ilman alkuvalmisteluja ei kuitenkaan ole täysin poissuljettu vaihtoehto, mikäli museolla ei ole siihen aikaa.
Samalla museon on hyvä myös tarkistaa onko järjestelmän kenttiin tallennettu sisältö kenttäkohtaisesti aina samantyyppistä, vai onko esimerkiksi johonkin kenttään tallennettu usean eri tyyppistä tietoa. Tarkistamista ei ole helppo tehdä automatisoidusti, vaan museoiden on useimmiten paras tehdä tarkastus käsityönä. Tällöin myös havaitut virheet tai puutteet voidaan korjata välittömästi.
Siirrettävien kenttien listaa laatiessa tulisi jokaisen järjestelmän kentän kohdalla miettiä onko siirtäminen tarpeellista. Jossain tapauksissa kenttien sisältämä tieto on järjestelmäriippuvaista, eikä sen siirtäminen uuteen järjestelmään ole tarpeellista tai edes mielekästä. Järjestelmäriippuvaisia tietoja voivat olla esimerkiksi tiedot siitä millä käyttäjätunnuksella tietuetta on viimeksi katseltu. Järjestelmiin on saatettu myös tallentaa sama tieto kahteen tai useampaan kertaan. Tällöin tieto tulee siirtää vain yhdestä kentästä järjestelmästä.
Siirrettävien kenttien sisällön kuvaus on erityisen tärkeää, koska ilman sitä on usein mahdotonta tietää mitä kenttään on oikeasti tallennettu. Pelkkä sisältö, edes yhdistettynä tietokannan kentän nimeen, on harvoin tarpeeksi yksiselitteistä. Kenttien kuvausten ei tarvitse olla pitkiä, useimmiten yksi lause sisältää tarpeeksi tietoa. Mitä tarkemmat tiedot museolla on järjestelmänsä kentistä, sitä nopeammin siirtoprosessi pääsee alkuun. Kun tiedetään mitä mihinkin kenttään on järjestelmässä tallennettu, voidaan sopia tarkasti museon aineistojen siirtoa koskevista mappaussäännöistä.
Kenttien listaamisen ja kuvaamisen jälkeen tulee tarkastella kenttien sisältöä tarkemmin ja mahdollisesti muokata sitä ennen tietokannan erottamista järjestelmästä. Alla esitetään muutamia tapauksia, joissa on aiheellista tehdä muokkauksia kenttien sisältöön:
- Mikäli kenttä sisältää usean eri tyyppisiä tietoja, joita tulisi jakaa uudessa kokoelmahallintajärjestelmässä eri kenttien kesken, tulee näiden tietojen olla aina samassa järjestyksessä ja erotettuna toisistaan aina samalla tavalla, esimerkiksi samalla välimerkillä. Jos kenttä vaikkapa sisältää aina tietoja muodossa 'Etunimi, Sukunimi' on se mahdollista jakaa siirtovaiheessa automaattisesti kahteen osaan; etunimeen ja sukunimeen. Jos kenttä sisältää em. muodon lisäksi tietoja myös muodossa 'Sukunimi, Etunimi' tai 'Etunimi;Sukunimi' ei automaattinen jakaminen enää olekaan niin yksinkertaista. Useimmiten päästään parempaan lopputulokseen mikäli tiedot, jotka halutaan näkyviin uudessa järjestelmässä useamman kentän välille, jaetaan useampaan kenttään jo ennen siirtoa. Tämä jakaminen voidaan tehdä joko nykyisessä kokoelmahallintajärjestelmässä tai dumpissa/exportissa. Mikäli jako tehdään nykyisessä järjestelmässä, on se museon vastuulla. MuseumPlus-tiimi voi olla apuna, jos jako tehdään dumpissa/exportissa.
- Kenttien sisältöjä tulee yhdenmukaistaa niin paljon kuin mahdollista, jotta tiedot siirtyisivät oikeisiin kenttiin MuseumPlus-järjestelmään. Esimerkiksi väärään kenttään tallennettu tieto tulee siirtää oikeaan kenttään (esimerkiksi mittatietoja on materiaalitiedoille tarkoitetussa kentässä, kirjallisuusviitteitä on tallennettu kahteen eri paikkaan, kenttä sisältää sinne kuulumattomia tietoja, samasta termistä on käytetty useita eri kirjoitusmuotoja ym.) ja siivota sisältöjä niin, että tietyssä kentässä on vain sinne kuuluvaa tietoa.
- Järjestelmissä käytetään usein vapaatekstikenttiä, joihin on sovittu tallennettavan jokin tietty termi. Tällaisissa tapauksissa termien tulisi olla aina samat. Esimerkiksi näyttelyä tyypiteltäessä käytetään vain yhtä termiä (kuten näyttely) ja muut kirjoitusasut (kuten näyttelyt, näyt., Näyttelyitä) muokataan käytettäväksi termiksi.
- Mikäli vanhaan järjestelmään on tallennettu tietoja julkaisuista tai näyttelyistä, olisi hyvä varmistua, että niiden tiedot ovat kirjoitettu kaikissa tapauksissa samalla tavalla. Samoin toimijoiden tiedot on syytä tarkistaa ja varmistua siitä, että yhdellä toimijalla on vain yksi tietue vanhassa järjestelmässä. Päällekkäiset samaa toimijaa kuvailevat toimijatietueet on hyvä poistaa. Samannimiset toimijat erotetaan toisistaan lisäämällä mahdollisuuksien mukaan muita tietoja toimijasta (syntymä- ja kuolinajat, muut nimet, historiatiedot jne).
- Vanhassa järjestelmässä esiintyvät aikatiedot tulisi yhdenmukaistaa. Hyvä muoto aikojen esittämiseen on ISO 8601, eli VVVV-KK-PP tai VVVVKKPP. Mikäli museo on käyttänyt systemaattisesti jotakin muuta muotoa aikatietojen tallentamiseen, käytetään museon käyttämää muotoa. Tärkeintä on, että muoto on aina sama. MuseumPlus-järjestelmässä on omat kenttänsä alkamispäivämäärälle, päättymispäivämäärälle, alkamisvuodelle, päättymisvuodelle ja kenttä aikatiedon tekstuaaliseen esittämiseen.
- Asiasanoja ja luokitusjärjestelmien luokkia tallennetaan joissakin järjestelmissä vapaatekstikenttään. Museon on hyvä varmistaa, että tietojen tallentamisessa käytetään aina samaa välimerkkiä (esimerkiksi pilkkua). Näin tietojen siirrossa on mahdollista erottaa tiedot toisistaan.
Sanasto
Exporttaus = Tietojen vienti ulos järjestelmästä.
Migraatio = Prosessi, jonka lopputuloksena museon aineisto siirtyy nykyisestä kokoelmahallintajärjestelmästä uuteen.
Tietokanta = Yleisnimitys paikasta, jossa järjestelmään tallennettu tieto sijaitsee.
Tietokantadumppi = Tietokannasta otettu tarkka kopio.
Tietue = Järjestelmään tallennettu tietokokonaisuus, esim. valokuva, henkilö tai kulttuurihistoriallinen esine.
Yhdenmukaistaminen = Tietojen muuttaminen samaan muotoon.
Migraatio = Prosessi, jonka lopputuloksena museon aineisto siirtyy nykyisestä kokoelmahallintajärjestelmästä uuteen.
Tietokanta = Yleisnimitys paikasta, jossa järjestelmään tallennettu tieto sijaitsee.
Tietokantadumppi = Tietokannasta otettu tarkka kopio.
Tietue = Järjestelmään tallennettu tietokokonaisuus, esim. valokuva, henkilö tai kulttuurihistoriallinen esine.
Yhdenmukaistaminen = Tietojen muuttaminen samaan muotoon.
Lisätietoja tietojen siirrosta antavat:
Pekka Korhonen
Sähköpostiosoite muotoa: etunimi.sukunimi@museoliitto.fi
044 976 1652
Suomen museoliitto
Terhi Aho (Musketti-käyttäjät)
Sähköpostiosoite muotoa: etunimi.sukunimi@museovirasto.fi
0295 33 6132
Museovirasto
