Suzan Verberne over zoeksystemen, systeemgebruikers en gebruikersonderzoek #DKK15

Dit verslag maakt deel uit van een serie verslagen naar aanleiding van de presentaties tijdens de inspiratiedag digitale klantenkunde op maandag 23 maart 2015.

Suzan Verberne (onderzoeker aan de Radboud Universiteit in Nijmegen) probeert na te gaan wat gebruikers van zoeksystemen precies willen weten. Queries (zoekopdrachten) zijn bijna altijd ondergespecificeerd, mensen hebben van alles in hun hoofd en tikken vervolgens maar één of twee woordjes in. Bovendien heeft de vraag van de gebruiker (en de gebruiker bij de vraag) een bepaalde context en kan die ook alleen in het licht daarvan begrepen worden. Uit onderzoek blijkt dan ook dat het ontzettend lastig is om te achterhalen wat de gebruiker precies wil, als je alleen maar zijn of haar query hebt.

Simpelweg complex Google mag er van de buitenkant eenvoudig uitzien, onder de motorkap is het een complexe zoekmachine. Denk aan de software achter het doen van suggesties tijdens het intikken van je zoekwoorden en het structureren van gevonden informatie op basis van je zoekopdracht.

Veelgebruikte zoekmogelijkheden zijn federated search (zoeken op type bron) en faceted search (filteren op metawaarde), beide veel gebruikt in zoeksystemen van archieven. Voor personalized search geldt dat laatste niet, maar Google is daarvan een goed voorbeeld. Check maar eens de verschillen in zoekresultaten wanneer je met verschillende accounts bij Google bent ingelogd of op basis van de locatie waar je je bevindt. Bij gepersonaliseerd zoeken onderscheiden we verschillende typen (op basis van locatie, interesse en niveau van expertise) en vormen (verschil in interface, querysuggesties en ranking).

Voor het kunnen personaliseren van je zoeksysteem moet je profielen maken van je gebruikers (bijvoorbeeld op basis van de gebruikte queries of aangeklikte resultaten) maar dit wordt lastig als je slechts weinig data tot je beschikking hebt.

Leken en experts Uit onderzoek van Suzan blijkt dat de verschillen tussen gebruikers niet altijd even groot zijn. Citaat uit 2008 van Ian Rowlands: “We are all the Google generation, the young and old, the professor and the student and the teacher and the child.” Het verschil tussen leken en experts zit hem vervolgens vooral in de reden waarom ze zoeken, veel minder in de manier van zoeken zelf. Professionals zijn wel bereid meer tijd te investeren in het zoekproces: ze gebruiken meer query’s en bekijken meer resultaten. Bovendien verzamelen ze voor één zoekvraag soms informatie op basis van verschillende zoekopdrachten. Ook is hun vraag natuurlijk gericht op een specialistische doelgroep.

Suzan deed onderzoek naar de verschillen tussen zoeken op internet en zoeken in online archieven. Waarbij aangetekend moet worden dat zij met ‘archieven’ in de ogen van een archivaris eigenlijk digitale collecties bedoelt van erfgoedobjecten, waar trouwens ook best archiefstukken toe kunnen behoren. Ze ondervond dat archiefgebruikers gemiddeld genomen méér query’s gebruikten en vaker (maar nog steeds heel erg weinig!) de geavanceerde zoekfunctie gebruikten dan andere gebruikers.

Gebruik(ers) gelogd Verschillen in zoekvoorkeuren (zoals het zoeken door zoeken en het zoeken door filteren) zijn ook te herleiden uit de log files van zoeksystemen. Daaruit kun je van alles halen, zoals het zoekpad dat wordt afgelegd, met welke woorden wordt gezocht, welke opties veel worden gebruikt, welke niet enzovoort. Maar veel kun je ook níet halen uit die logs. Denk aan het doel van iemands zoekopdracht, de tevredenheid met het resultaat en uiteindelijk hoe ‘goed’ je systeem is. Wat de vraag opwerpt hoe je je zoeksysteem kunt evalueren?

Daarvoor gaf Suzan het voorbeeld van een gebruikersstudie (in dit geval naar een systeem genaamd RemBench, een digitale collectie rond Rembrandt) waarin je enkele gebruikers ‘live’ je systeem laat testen en daarbij zelf goed oplet wat ze al dan niet doen en (hardop) denken. Ze ondervond dat de tevredenheid over een systeem nauw samenhing met de tevredenheid over het antwoord op de zoekvraag. Bovendien ondervond ze dat je na vijf gebruikers te hebben geobserveerd tijdens het uitvoeren van zoekopdrachten je niet veel nieuwe problemen meer tegenkomt. Voor dergelijk kwalitatief gebruikersonderzoek is een handvol gebruikers dus wel voldoende. (Dit bleek ook tijdens een usabilitytest die het BHIC laatst liet uitvoeren.)

Belangrijk is om vooraf goed na te denken over de doelgroep (experts, leken of allebei?) waarbij de uitdaging is een intuïtieve interface te ontwerpen die eenvoudig zoeken mogelijk maakt, met een optie tot gedetailleerd zoeken. Gebruik daarbij vooral ook je log data en evalueer met echte gebruikers, eigen zoekproblemen of -taken. Guided thinking aloud, screen capture en meer van dat fraais.

Tot slotAls uitdaging voor de aanwezigen gaf ze onder andere mee het door een collega laten formuleren van drie zoekvragen bij je eigen systeem, waarop het antwoord ook daarin gevonden kan worden. Ga vervolgens zelf op zoek naar de antwoorden met behulp van je eigen site. Een aantal enthousiastelingen is naderhand bij elkaar gekomen om voor onze eigen websites zo’n gebruikersstudie op te zetten. Volg dat hier!

Theo Thomassen, die de ochtendpresentatie verzorgde over de digitale onderzoeksomgeving, zwengelde nog de discussie aan over de relatie van het verhaal van Suzan tot onze eigen zoeksystemen, die anders dan in RemBench veelal slechts metadata bevatten, nauwelijks gedigitaliseerde content en bovendien in plaats van ‘losse’ objecten vaak bestaan uit hiërarchisch geordende documenten. Daar kwamen ze onderling niet uit, maar ik begreep later dat Suzan interesse had om specifiek naar archiefzoeksystemen onderzoek te doen. Ik bied alvast die van het BHIC aan!

Bekijk de slides van Suzan