Afgelopen maand vond de online Masterclass ‘Evalueren kan je leren’ voor leden van G14 plaats, gegeven door ROI en event impact specialist Nico Meyer van MeetingMatters. Als team G14 evalueren altijd onze evenementen, maar we hebben eigenlijk nooit van de gelegenheid gebruik gemaakt om onze evaluaties verder aan te scherpen. Een goed moment om dit nu wel te doen omdat ook wij constant onze diensten verder willen verbeteren. En een kritische zelfreflectie kan natuurlijk nooit kwaad. Daarom hebben we hebben Nico gevraagd om de evaluatie van dit online evenement te analyseren. In dit artikel deelt hij enkele algemene opmerkingen en bevindingen op de vragen.
De evaluatie begint vooraf!
Bij de registratie vroegen we naar je ervaringsniveau en het thema dat we in elk geval moesten behandelen. Ook kon je al vooraf jouw vraag stellen.
Dit leverde ons inzicht in de deelnemers (een mix van bureaus en accommodaties en enkele toeleveranciers), het ervaringsniveau (veruit grootste deel had een gemiddelde ervaring met evalueren) én dat we vooral in moesten zoomen op ‘het stellen van de juiste vragen’ en ‘het meten van de juiste dingen’. Zo kon ik mijn sessie zo goed mogelijk op de deelnemers afstemmen en wist ik dat ik zowel op deelnemer- als klantevaluaties moest inzoomen.
Voor de organisatie was het ook een mooie kans om het format wat dynamischer te maken, door enkele vragenstellers via video hun vraag te laten stellen in het programma.
Wat je deelnemers je vertellen…en wat je deelnemers je werkelijk vertellen
Als je alleen naar de cijfers van een evaluatie kijkt, ben je misschien geneigd tevreden te zijn als er alleen ‘voldoendes’ op staan.
Maar cijfers alleen zeggen niet alles. Soms is het goed om ook te kijken naar spreiding (geeft iedereen een drie of kom je op een drie uit omdat je allemaal enen en vijven hebt), de kwalitatieve feedback (geeft vaak duiding van de antwoorden) en welk type deelnemer de respons geeft (bijvoorbeeld bureaus of accommodaties). Pas dan achterhaal je werkelijke waarde van de feedback. Maar tegelijkertijd: Stap niet in de valkuil om aannames te doen!
Wees kritisch op wat je vraagt
We hadden ook nu nog wel veel meer willen weten van de deelnemers, maar het is belangrijk een balans te zoeken tussen wat je moet weten en wat je wil weten. De gestelde vragen zijn dan ook zeker niet allesomvattend, maar het resultaat van keuzes maken.
6x questions & learnings
Wat we gevraagd hebben en wat we daarvan leren
Q1 : Via welk kanaal heb je de masterclass gevolgd? (Airmeet/Youtube/Helaas niet kunnen deelnemen). Vervolgvraag bij laatste optie: Waarom heb je niet kunnen deelnemen?
Waarom? Deze vraag is vooral bedoeld om de organisatie inzicht te geven op welke wijze deelnemers het evenement graag volgen. En het kan helpen om te analyseren of er verschillen in ‘beleving’ zitten afhankelijk van het gebruikte kanaal.
Learnings? Omdat alle respondenten het event via Airmeet volgden, heeft deze vraag nu verder geen waarde. Maar als dit een repeterend patroon was, zou je kunnen overwegen om alternatieve opties te laten vervallen/ wijzigen. Via de vervolgvraag voor niet-deelnemers krijg je inzicht in eventuele oorzaken waar je als organisatie op kan inspelen.
Q2: logistiek/organisatorische vragen (1 = slecht 5 = goed) · Hoe beoordeel je de technische uitvoering van de masterclass? – score: 3,5
· Wat vond je van de lengte van het programma? – 3,5
· Wat vond je van de studiosetting (o.a. inrichting/sfeer)? – 4,4
Waarom? Via deze vragen achterhaal je of de logistieke en organisatorische aspecten van het event goed geregeld waren. Bij een fysiek event heb je het dan vaak over zaken als organisatie, locatie, techniek en catering. Online zal je meer focussen op soepele techniek en het plaatje dat je uiteindelijk in beeld ziet.
Learnings? Het creëren van een goede setting is voor dit event zeker geslaagd (het decor van de st. Aegtenkapel en de manier waarop het event in beeld gebracht werd). Voor G14 is dit een bevestiging dat investeren in meer dan alleen de spreker in beeld (‘pratende hoofden’) zeker van toegevoegde waarde is.
Q3: Inhoudelijke vragen (1 is slecht - 5 is goed)
· Hoe beoordeel je de inhoud van de masterclass van Nico Meyer? – 3,9
· Hoe beoordeel je de presentatie van Nico Meyer? – 3,7
· Hoe beoordeel je het beantwoorden van de vragen door Nico Meyer? – 3,4
Waarom? Bij een inhoudelijk evenement wil je weten of de sprekers de bedoelde inhoud effectief overgebracht hebben. Je probeert een zo objectief mogelijk beeld te krijgen of de inhoud en vorm succesvol waren.
Learnings? De uitkomsten geven aan dat inhoud en presentatie goed waren. De interactie was ok, maar niet optimaal. De kwalitatieve feedback in de open slotvraag geeft wat duiding (men had meer/andere interactie gewild). Zonder dat zouden we moeten gissen en denken dat het te maken had met een soort schijninteractie (we hadden enkele vooraf gestelde vragen door de deelnemers op video laten opnemen, met als doel afwisseling in opzet/setting. Hierdoor was er wel interactie, maar natuurlijk niet echt ‘live’).
Q4: Waardevragen (1= helemaal oneens en 5= helemaal eens)
· Ik heb voldoende bruikbare tips gekregen die ik kan toepassen in mijn dagelijkse werk – 3,6
· Het evenement heeft aan mijn verwachtingen voldaan – 3,1
· Antwoordgarantie :) al mijn vragen zijn in deze masterclass voldoende beantwoord – 3,8
· Het volgen van deze masterclass was een waardevolle investering van mijn tijd – 3,4
Waarom? Via dit soort vragen proberen we te achterhalen hoe waardevol het voor de deelnemer is geweest, op de voor deelnemer en organisator relevante onderdelen. Vaak zie je hier koppeling met de eventdoelstellingen terugkomen (zoals bij ons de ‘praktische tips’).
Learnings? Als we alleen naar de cijfers zouden kijken, denk je dat we alles voldoende of goed gescoord hebben. Kijken we ook naar de spreiding, dan hebben we het goed gedaan op ‘bruikbare tips’ en ‘beantwoorden van vragen’. Voor ruim een kwart van de respondenten hebben we echter onvoldoende waarde toegevoegd (o.b.v. ‘Aan verwachtingen voldaan’ en ‘waardevolle investering van tijd’). Om precies te begrijpen waar dit door komt, hadden we hier direct een open vraag aan moeten koppelen. Nu kunnen we het alleen koppelen aan de andere feedback die we hebben (zie verderop de toelichting op Mentimeter) én een analyse van de doelgroep. De sessie was afgestemd op de geregistreerde mix van bureaus en accommodaties/toeleveranciers i.c.m. een gemiddeld ervaringsniveau. De evaluatie blijkt voornamelijk ingevuld door accommodaties. Zeker weten doen we het niet (want we hebben het niet gevraagd!), maar mogelijk hebben we toch te weinig op hun specifieke behoeften ingespeeld.
Q5: Met welke tips die jij vandaag gehoord hebt ga je zeker aan de slag?
Waarom? Deze vraag is enerzijds een check of de boodschap goed is overgekomen. Mocht dit niet zo zijn, dan heb je nu een kans om alsnog die waarde toe te voegen in een vervolgactie! Anderzijds biedt het inzicht in wat deelnemers als waardevol ervaren hebben (dat kan je weer gebruiken in terugkoppeling naar sprekers én deelnemers) en wat hun voorgenomen gedrag/actie als gevolg van het event is.
Learnings? Ons doel was om jou praktische tips mee te geven, waarmee jij aan de slag kan om jouw evaluaties effectiever te maken. Jullie koppelden concrete, in de presentatie genoemde tips terug, dus de aansluiting met het doel blijkt er te zijn. En…terugkoppelen aan de deelnemers helpt om te laten zien dat je wat doet met de feedback en toekomstige respons te verhogen. Doe je voordeel met enkele van de tips die de respondenten uit het event gehaald hebben:
Inschatting van de duur van een enquête. Kort en relevant. Opletten bij andere enquêtes.
Nooit vragen in een enquête verplichten + aan het eind pas vragen naar NAW gegevens.
Hele duidelijke doelen formuleren i.c.m. stakeholders
Niet twijfelen of je je opdrachtgevers belast met vragen, gewoon doen.
De tips voor het ophalen van data tijdens een evenement
Al van tevoren doelen formuleren in de eerste gesprekken met de klant, eigenlijk dus al de pre-evaluatie.
Niet alleen evaluatie vragen aan je klant stellen, maar ook je collega's/team erbij betrekken zodat je het juiste evalueert.
Q6: Heb jij tot slot nog tips of opmerkingen die je met ons wilt delen, waarmee we onze events nog waardevoller voor jou kunnen maken?
Waarom? Een open veld aan het einde geeft deelnemers de kans om feedback met jou te delen, die ze niet goed bij andere vragen kwijt konden (zeker als er verder weinig gelegenheid voor kwalitatieve feedback was). Alle feedback is een cadeautje, dus die kans wil je zeker aangrijpen (de letterlijke vraagstelling is minder relevant, maar maak het vooral uitnodigend en relevant).
Learnings? Deze vraag leverde nog een tweetal belangrijke inzichten op:
- Inzet Mentimeter: Het blijkt dat mijn idee voor de inzet van Mentimeter de plank een beetje missloeg (de vragen waren niet echt, maar voorbeelden van valkuilen bij vraagstelling). Dit werkte eerder verwarrend en gaf deelnemers niet voldoende het gevoel écht interactief bezig te zijn (terwijl men daar juist wel behoefte aan heeft in online events).
- Interactie: De behoefte aan interactie is enorm groot (o.a. om de aandacht erbij te houden). Ondanks de opgenomen interactie (videovragen, Mentimeter en Q&A via de chat) werd dit niet door iedereen als passend/voldoende ervaren.
Conclusie team G14 Evalueren werkt het beste als je het integraal meeneemt in de organisatie van je evenement. Nico kijkt met een frisse blik naar de mogelijkheden om zowel de evaluatie goed in te richten als het evenement te verbeteren op basis van de feedback. Het is erg waardevol om onze eigen acties op deze manier eens onder de loep te nemen. Aan de hand van zijn praktische tips kunnen we hier als team ook onze learnings uit halen.