Ota yhteyttä Avoindatan ylläpitoon ja kerro seuraavat asiat:

• Keitä olette: millä alalla toimitte ja miltä aihealueelta tuotatte dataa.
• Missä muodossa avaatte dataa (tietoaineistoja, rajapintoja vai molempia) ja kuinka usein se päivittyy.
• Jos organisaatiollasi on alaorganisaatioita, haluatteko organisaatiohierarkian näkyviin Avoindataan (lue lisää alaorganisaatioista).
• Kuinka usein haluatte, että Avoindata harvestoi teitä (yleensä harvestointi suoritetaan kerran vuorokaudessa).
• Koska haluatte aloittaa harvestoinnin.

Harvestoinnilla tarkoitetaan datan, tai datan kuvailutietojen, automaattista keräämistä eri sivustoilta yhteen paikkaan, kuten Avoindataan. Harvestoitavan organisaation tietoaineistot löytyvät siis ajantasaisina paitsi sen omasta palvelusta, myös Avoindatasta.

Avoindatan tietoaineistojen metatiedot harvestoidaan Euroopan unionin yhteiseen avoimen datan portaaliin, dataeuropa.eu:hun. Jos harvestoimme organisaatiotasi, päätyvät organisaatiosi tietoaineistojen metatiedot nähtäville myös kansainväliseen palveluun.

Harvestointi helpottaa datan löytämistä, sillä käyttäjä voi etsiä dataa keskitetysti yhdestä paikasta monen eri sivuston sijaan. Avoindataan harvestoidaan eri organisaatioista vain tietoaineistojen kuvailutiedot eli metatiedot eikä itse dataa. Näet kaikki harvestoimamme organisaatiot Harvestointi-sivultamme. Emme koskaan harvestoi tietoaineistoja ilman sopimusta.

Harvestointi kannattaa erityisesti, jos organisaatiollasi on useita avoimen datan tietoaineistoja, varsinkin jos nämä tietoaineistot päivittyvät edes muutaman kerran vuodessa. Mitä enemmän päivitettäviä tietoaineistoja organisaatiollasi on ja mitä useammin ne päivittyvät, sitä kannattavampaa harvestointi on. Harvestoinnin ansiosta voit hoitaa tietoaineistojen ylläpidon omassa palvelussasi, mutta saada silti kaikki Avoindatan hyödyt. Samalla vältytään siltä ikävältä tilanteelta, että jokin tietoaineisto jää päivittämättä Avoindatassa ja data vanhenee.

Harvestoitavan datan ylläpitäminen​​​​

Harvesteri kopioi palveluumme vain tietoaineistojen metatiedot sekä linkit data-aineistoihin. Varsinaisen datan ylläpitäminen hoidetaan siis edelleen omassa palvelussasi, eikä Avoindatassa ole ylläpidettäviä kopioita datastasi.

Vastuut ja velvollisuudet harvestoinnissa

Avoindata-palvelun velvollisuudet:

• Pyrkiä mahdollisimman korkean palvelulupaukseen.
• Tarjota käyttöliittymä, josta voi tarkastella virheitä harvestoinnissa ja uudelleenharvestoida organisaation datan.
• Päivittää säännöllisesti metatietojen tietomallia (DCAT-AP) ja varmistaa tietomallin yhteentoimivuus EU:n kanssa. Tutustu DCAT-AP-metatietomalliin

Harvestoitavan organisaation velvollisuudet:

• Ilmoittaa kaksi kuukautta etukäteen teknisistä muutoksista, jotka voivat vaikuttaa harvestointiin.
• Päivittää oman tietoaineistojen metatietojen kuvailumallinsa yhteentoimivaksi Avoindata-palvelun metatietomallin (DCAT-AP) kanssa
• Nimetä yhteyshenkilö, kehen Avoindatan ylläpitäjät voivat olla yhteydessä harvestointiin liittyvistä asioista.
• Osallistua mahdollisuuksien mukaan kansallisen tietomallin suunnittelutyöhön.
• Vastata omia tietoaineistoja ja ohjelmointirajapintoja (API) koskevaan palautteeseen ja kysymyksiin Avoindatassa.
• Lisensoida harvestoitavat tietoaineistot, ohjelmointirajapinnat ja niiden kuvaukset avoimen datan lisensseillä: Creative Commons Nimeä 4.0 tai Creative Commons CC0 1.0. 

Kun tietoaineistot harvestoidaan Avoindataan, niiden ylläpito hoidetaan edelleen alkuperäisessä palvelussa. Avoindata-palvelussa täytyy silti huolehtia seuraavista:

• Organisaatio: organisaation nimi, kuvaus ja logo tulee päivittää Avoindataan manuaalisesti
• Organisaatiohierarkia: jos organisaatiollasi on alaorganisaatioita, tulee hierarkiaa ja kaikkia organisaatioita ylläpitää Avoindatassa

Lue näistä tarkemmin alta Harvestoitavan datan ylläpito -osiosta.

Jos organisaatiotasi harvestoidaan, datan ja organisaatioiden hallinnointi eroaa hieman normaalista hallinnoinnista. Ota alla esitellyt seikat huomioon, kun hallinnoit organisaatiotasi ja sen tietoaineistoja.

Harvestoinnin vaikutukset datan hallinnointiin

Jos Avoindata-palvelu harvestoi organisaatiotasi, uudet tietoaineistot sekä vanhoihin tietoaineistoihin tehdyt muokkaukset päivittyvät automaattisesti palveluumme. Harvesteri kopioi yleensä kerran vuorokaudessa organisaation omasta palvelusta löytyvien tietoaineistojen uusimmat versiot Avoindataan. Näet organisaatiosi harvestointiraporteista edellisten harvestointiajojen tilanteet ja mahdolliset virheet. Lue lisää harvestointiraportista ja harvesterin hallinnoinnista alempaa.

Tietoaineistojen lisääminen ja muokkaaminen

Harvestoitaessa kaikki Avoindatassa tietoaineistoihin tehdyt muutokset poistuvat, eli älä lisää tietoaineistoja suoraan Avoindata-palveluun tai muuten muokkaa niitä palvelussamme, jos organisaatiotasi harvestoidaan, vaan tee muutokset omassa palvelussasi.

Harvestoinnin vaikutukset organisaation hallinnointiin ja alaorganisaatioihin

Sinun täytyy Avoindata-palvelussa huolehtia organisaatiosi nimestä, kuvauksesta, logosta sekä jäsenistä ja heidän oikeuksistaan. Lue lisää jäsenten hallinnasta.

• Tuottajalla on alaorganisaatioita: Sovi organisaatiohierarkian luomisesta Avoindatan ylläpitäjien kanssa, jos haluat, että tietoaineistot harvestoituvat alaorganisaatioihin myös Avoindatassa. Muuten kaikki organisaatiosi tietoaineistot harvestoituvat yläorganisaation alle. Tietoaineistojen harvestoituminen oikeiden alaorganisaatioden alle helpottaa myös datan löytämistä palvelusta. Lue lisää organisaation luomisesta Tuottajan lisääminen ja ylläpitäminen -osiosta. Avoindataan luomasi organisaatiohierarkian tulee olla identtinen omasta palvelustasi löytyvän organisaatiorakenteen kanssa. Muuten tietoaineistot eivät harvestoidu oikeisiin organisaatioihin. Muista päivittää kaikki muutokset organisaatiohierarkiassa myös Avoindataan.
• Haluat siirtää tietoaineistoja yhdeltä alaorganisaatiolta toiselle: Siirrä tietoaineistot omassa palvelussasi. Harvesteri huomaa muutoksen, ja tietoaineistot päivittyvät oikean organisaation alle Avoindatassakin seuraavan harvestointiajon yhteydessä.
• Tietoaineiston ylimmän tason ylläpitäjäorganisaatio muuttuu esimerkiksi yhdistymisen seurauksena: Ota yhteyttä Avoindatan ylläpitäjiin. Näin vältämme mahdollisten kopioiden syntymisen.
• Organisaatiosi nimi muuttuu: Päivitä uusi nimi myös Avoindata-palveluun. Sama koskee myös kaikkia organisaatiosi alaorganisaatioita. Jos sinulla ei ole oikeuksia muuttaa organisaation nimeä, voit hakea ylläpitäjäjäsenyyttä organisaatioosi joko jäsenhakemuksella tai ottamalla meihin yhteyttä yhteydenottolomakkeella.

Harvesteri, jolla data kerätään organisaation palvelusta on organisaatiokohtainen. Harvestoitavan organisaation ylläpitäjälle annetaan oikeus hallinnoida myös harvesterin toimintaa.

Harvesterin hallinnointi

Harvesterin ylläpidosta vastaa pääasiassa palvelun ylläpito. Vaikka pääsetkin harvestoitavan organisaation ylläpitäjä-jäsenenä muokkaamaan harvesteria, älä tee mitään muutoksia, ellet ole täysin varma siitä mitä teet. Ota ongelmatapauksissa yhteys palvelun ylläpitäjiin. 

Harvestointiajojen seuraaminen

Harvestoitavan organisaation tehtävänä on seurata harvestointiajojen onnistumista. Tarkastele harvesteria ja tietoa harvestointiajoista navigoimalla Harvestointi-sivulle, valitsemalla organisaatiosi ja valitsemalla Ylläpitäjä - Admin.

• Yhteenveto-välilehdellä voi tarkastella, milloin harvesteri on viimeksi ajettu ja onko harvestointi suoritettu onnistuneesti.
• View full job report -painikkeen kautta voit tarkastella viimeisintä ajoa ja sen virheitä tarkemmin.
• Valitse Jobs-välilehti, jos haluat tarkastella kaikkia ajoja ja niissä mahdollisesti tapahtuneita virheitä. Lue lisää virheistä Harvestointiraportit-osiosta.
• Muokkaa-välilehdellä hallinnoidaan harvesteria, joten sitä ei yleensä ole tarpeen käyttää. 

Harvesterin uudelleenkäynnistys

• Reharvest-painikkeella voit käynnistää harvestoinnin manuaalisesti. 
• Stop-painike pysäyttää harvesterin. 
• Clear-painike poistaa kaikki harvestointitulokset.
• View harvest source -painikkeella voit palata takaisin normaaliin harvesterinäkymään, jossa näet harvestoidut tietoaineistot sekä harvesterin tiedot.

Jos harvesteri on jäänyt jumiin running tilaan, pysäytä se Stop-painikkeella ja harvestoi tietoaineistot uudelleen valitsemalla Reharvest. Jos harvesteri ei korjaudu tällä, ota yhteys palvelun ylläpitäjiin.

Jos olet tehnyt muutoksia omassa palvelussasi esimerkiksi virheellisen tiedon vuoksi ja haluat päivittää muutokset heti myös Avoindataan, käynnistä tietoaineistojen uudelleenharvestointi valitsemalla Reharvest. 

Harvesteri tekee jokaisesta harvestointiajosta raportin, joka näyttää muun muassa ajon aikana tapahtuneet virheet.

• Valitse Ylläpitäjä - Admin
• Valitse Jobs-välilehti sekä haluamasi harvestointiajo tarkastellaksesi kyseistä ajoa ja sen aikana tapahtuneita virheitä.

Harvestoinnin aikana tapahtuvat virheet ja niiden korjaaminen

Harvestointiraportti kertoo ajon aikana tapahtuneen virheitä, kun palvelumme käyttämän CKAN-alustan harvesteri tulkitsee jonkin tapahtuman virheelliseksi. 

​​Yleensä virheet johtuvat metatiedoista, joita harvesteri ei tunnista. ​​​​Jos tietty virhe toistuu usein etkä osaa korjata virhettä, ota yhteys palvelun ylläpitäjiin. Satunnaisista yksittäisistä virheistä ei tarvitse välittää.

Jos sähköpostiosoitteessa on käytetty @-merkin sijaan [a]-merkintää, harvesteri ei tunnista sähköpostiosoitetta. Korjaa virheet paikallisesti omassa palvelussasi, niin ne päivittyvät seuraavassa harvestointiajossa myös Avoindataan.

Virheellisten tietoaineistojen harvestointi

Jos harvestoinnin aikana tapahtuu virhe, ei virheellistä tietoaineistoa päivitetä palveluun. Jos siis jossakin tietoaineistossasi on virheellinen metatietokenttä, ei tietoaineisto koskaan päädy Avoindataan.

Jos et ymmärrä harvestointiraportin virhetietoja tai et saa korjattua virheitä, ota yhteyttä Avoindatan ylläpitäjiin.