Online.Leren/OpenRefine/Deel III

Hoe werkt OpenRefine?

Openen en Exporteren

Heb je het OnlineLeren Oefenbestand geopend? Nu kun je aan de slag! Je ziet dat de data in het grote venster aan de rechterkant worden weergeven, netjes verdeeld in rijen en kolommen waarbij iedere kolom een eigen titel heeft gekregen. Is dit niet zo, dan is er ergens iets misgegaan met de configuratie van het databestand. Probeer het in dat geval nog eens opnieuw.

Rechtsboven zie je een knop met de tekst Open… [1] Als je hier op klikt opent OpenRefine een nieuw tabblad om een nieuw project te starten. Je kunt op deze manier nogmaals het databestand selecteren en op de juiste wijze configureren.

Naast de knop Open… zie je rechtsboven ook een knop Export met een pijltje ernaast. [2] Dit gebruik je straks om de opgeschoonde data op te slaan in een nieuw databestand dat je kunt importeren in het collectieregistratiesysteem. Je kunt kiezen uit verschillende bestandsformaten om te exporteren, bijvoorbeeld CSV, Excel en Google sheets.

Online.Leren/OpenRefine/Deel III

Hoe werkt OpenRefine?

Rijen en kolommen

Terug naar het grootste venster met de rijen en kolommen. Een collectieregistratiesysteem toont normaal gesproken een heel aantal verschillende velden met collectie-informatie over één specifiek object. Denk bijvoorbeeld aan het objectnummer, titel, beschrijving, objectsoort enz. In OpenRefine is de informatie uit dit record verwerkt in één rij, netjes verdeeld over kolommen die overeen komen met de velden uit het collectieregistratiesysteem.

Op de eerste rij zie je bijvoorbeeld de informatie over een schilderij van Rembrandt met het objectnummer ON0003.50001. De tweede rij bevat informatie over een ets van Rembrandt enz.

Met andere woorden: in een rij vind je de informatie die bij elkaar hoort. In een kolom vind je data met hetzelfde onderwerp.

Online.Leren/OpenRefine/Deel III

Hoe werkt OpenRefine?

Rijen en kolommen

OpenRefine toont de informatie die bij een bepaald object hoort in de cellen van een rij. Een object, of liever een record, kan overigens uit meerdere rijen bestaan. Dit is het geval op het moment dat een cel met meerdere waardes wordt gesplitst. In de kolom Materiaal bijvoorbeeld zie je dat er regelmatig verschillende materialen zijn ingevoerd. Deze informatie kun je met OpenRefine heel eenvoudig splitsen om later terug te brengen naar herhaalbare velden in het collectieregistratiesysteem. Meer hierover vind je in het onderdeel Cellen splitsen/samenvoegen.

In de bovenste blauwe balk zie je uit hoeveel rijen het bestand bestaat. Als je straks aan de slag gaat met selecties laat deze balk zien hoeveel rijen je hebt geselecteerd en tussen haakjes het totaal aantal rijen van het bestand.

Je kunt er ook voor kiezen om niet het aantal rijen te tellen maar het aantal records. Klik hiervoor op het knopje records bij Show as: [1] Als je eenmaal met de data hebt gewerkt zul je zien dat je veel meer rijen hebt dan records, juist omdat records uit meerdere rijen kunnen bestaan.

In deze balk kun je overigens ook aangeven hoeveel rijen je onder elkaar getoond wil hebben op één pagina. [2] Met de pijltjes navigeer je tussen de verschillende pagina’s met naargelang 5 tot 1000 rijen of records.

Online.Leren/OpenRefine/Deel III

Hoe werkt OpenRefine?

Kolommen en cellen bewerken

OpenRefine sorteert data heel mooi in rijen en kolommen waardoor je veel beter inzicht krijgt in de data die in verschillende records worden gebruikt. Je kan bijvoorbeeld heel eenvoudig nagaan welke termen er in het veld materialen zijn gebruikt en deze met elkaar vergelijken. Naast vergelijken en sorteren maakt OpenRefine het mogelijk om de data van een kolom in één keer te wijzigen waarmee de termen in alle records uniform worden.

Voor het maken van aanpassingen in OpenRefine gebruik je het pijltje naast de kolomnaam. Als je er op klikt zul je zien dat je verschillende acties kunt uitvoeren. Met het onderdeel View kun je naar wens kolommen verbergen of verplaatsen.

Edit column gebruik je voor het aanpassen van de hele kolom, bijvoorbeeld om deze te verwijderen, een andere naam te geven, te kopiëren enz.

Met Edit cells ga je de cellen van de kolom bewerken. Met andere woorden, op deze manier bewerk je in één keer de cellen van alle records. Dit is misschien wel heel drastisch en daarom wil je voor het bewerken graag selecties maken. Hiervoor gebruik je het onderdeel Facet, laten we dat eens proberen.

Online.Leren/OpenRefine/Deel III

Hoe werkt OpenRefine?

Facet/Filter

De rechterkant van het scherm toont de data en maakt het mogelijk om deze te bewerken. De kolom aan de linkerkant gebruik je voor het filteren en clusteren van data. De toepassing Facet is hierbij een essentieel onderdeel. Probeer dit eens uit:

Ga naar de kolom Auteursrechten en klik op het pijltje naast de titel van de kolom. Selecteer Facet en vervolgens Text facet. Je ziet in de linker kolom nu een nieuw venster met de titel Auteursrechten verschijnen. [1] In dit venster worden de verschillende waardes getoond die in deze kolom voorkomen. Het gaat in dit geval om zogenaamde Creative Commons die aangeven wat voor auteursrechten er op bepaalde objecten rusten. Je ziet dat er drie verschillende Creative Commons zijn gebruikt en achter elke term staat in lichtgrijs hoe vaak deze voorkomt. (blank) geeft aan hoeveel lege cellen er in de kolom Auteursrechten zijn geteld (51).

De termen zijn nu op alfabetische volgorde gerangschikt maar je kan ze ook sorteren op aantal door bij Sort by te klikken op count.[2] Nu staat de vaakst voorkomende term bovenaan.

Klik nu eens op de term CC0. Hiermee selecteer je de objecten/rijen die de rechtenstatus CC0 (rechtenvrij) hebben gekregen. In het datavenster aan de rechterkant zie je nu ook alleen de rijen met de waarde CC0. Bewerkingen die je nu uitvoert worden niet meer toegepast op het gehele databestand, maar enkel op deze selectie. Je kan dit ook heel makkelijk omdraaien door op invert te klikken [3]. Nu heb je alle rijen geselecteerd behalve de rijen met CC0.

Online.Leren/OpenRefine/Deel III

Hoe werkt OpenRefine?

Include/Exclude

Een selectie maken gaat heel eenvoudig in OpenRefine met de functie Facet. Als je dit een beetje onder de knie hebt kun je heel snel filteren, selecteren en uiteindelijk opschonen. Kun jij nu ontdekken hoeveel werken van Karel Appel (in dit oefenbestand) níet voorzien zijn van een auteursrechtenstatus?

Oplossing:

1. Heb je in de linker kolom (Facet/Filter) nog vensters open staan, klik dan op Remove all.[1] Het openstaande venster worden gesloten en je kunt met een schone lei beginnen.
2. Maak een Text facet van de kolom Auteursrechten en doe vervolgens hetzelfde met de kolom Vervaardiger. (Klik op het pijltje naast de titel van de kolom. Kies Facet en vervolgens Text facet).
3. Nu heb je aan de linkerkant twee vensters, Auteursrechten en Vervaardiger. Klik bij Auteursrechten op (blank) en in het venster Vervaardiger op Appel, Karel. Beide termen zijn nu rood en als het goed is blijven er 8 rijen of records over. Dit zijn de werken van Karel Appel die nog geen auteursrechtenstatus hebben gekregen.
4. Heb je per ongeluk de verkeerde naam geselecteerd klik dan simpelweg op exclude achter de term en de naam wordt weer uit de selectie verwijderd.

Online.Leren/OpenRefine/Deel III

Hoe werkt OpenRefine?

Include/Exclude

Was dat een eerste succeservaring met OpenRefine? Zonder te spieken de acht werken van Karel Appel gevonden? Nu je zo goed bezig bent kun je dat probleem ook heel eenvoudig oplossen.

Heb je de acht werken nog steeds geselecteerd? Klik dan in het venster Auteursrechten achter (blank) op edit. Je krijgt een klein pop-up venster. Vervang de tekst blank die hier in staat door Publiek Domein en klik apply. Ziezo, alle acht records zijn in één keer aangepast en nu voorzien van een rechtenstatus, appeltje eitje.

Probeer nu eens, gewoon om te oefenen, of je de naam van Karel Appel in Peter Peer kunt veranderen.

Online.Leren/OpenRefine/Deel III

Hoe werkt OpenRefine?

Undo/Redo

Is het gelukt? Heb je nu acht kunstwerken van Peter Peer in het databestand? Dat is natuurlijk niet de bedoeling en gelukkig heel eenvoudig te herstellen.

In de linkerkolom heb je nu telkens op het tabblad Facet/Filter gewerkt. Je kunt bovenaan deze kolom echter ook het tabblad Undo/Redo selecteren. [1] Hier zie je alle bewerkingen die je hebt uitgevoerd netjes opgesomd en genummerd in chronologische volgorde. Je kunt deze simpelweg ongedaan maken door op een eerdere stap te klikken waar je wel tevreden over was.

Dit is natuurlijk niet alleen heel erg handig maar ook heel veilig. Weet je nog dat OpenRefine werkt met een kopie van een databestand? Het origineel blijft dus onaangetast. Mocht je er nu zo’n rommeltje van hebben gemaakt en zijn de data niet meer te herstellen? Geen nood, begin gewoon opnieuw!

Oh ja, nog een ding. Je hebt nu enkele bulkaanpassingen gedaan met behulp van de Facet/Filter functie, maar je kunt natuurlijk nog altijd heel eenvoudig de waarde in één bepaalde cel aanpassen. Plaats het pijltje van je muis op de betreffende cel en klik edit. Je krijgt vervolgens een pop-up venster waarin je de waarde van deze ene cel kunt wijzigen.[2]

Online.Leren/OpenRefine/Deel III

Hoe werkt OpenRefine?

Samengevat

Nu je kennis hebt gemaakt met OpenRefine en inzicht hebt gekregen in de werking van de tool is het tijd om er praktisch mee aan de slag te gaan. De oefeningen in het vervolg van deze training geven je een goed beeld van de mogelijkheden die OpenRefine biedt op het gebied van het opschonen van data. Let op: deze training behandelt niet alle onderdelen maar is vooral bedoeld om je stevig op weg te helpen. Voordat je begint nog even op een rijtje:

• OpenRefine toont aan de rechterkant van het scherm de betreffende data
• De linkerkolom wordt gebruikt voor filteren, selecteren en eventueel herstellen
• Een rij of record toont de data van één object
• Een kolom bevat de waardes van meerdere objecten met hetzelfde onderwerp
• Met het pijltje naast de titel van een kolom voer je acties uit
• Met de facetten in de linkerkolom selecteer je de rijen en records die je wilt aanpassen