header image
[ # ] Het “meten” van engagement en de relatie tot Communities of Practice
Martin Date February 24th, 2008 Categorie Artikelen Bookmark on del.icio.us Bookmark on WatVindenWijOver

Het einde van de pageview als succes metric voor je website wordt al tijden aangekondigd. Met de opkomst van technieken als Ajax en sociale toepassingen, waarbij gebruikers langer binnen een site actief blijven en nu ook actief participeren, zijn er andere meeteenheden nodig om het succes van dergelijke social media sites te kunnen bepalen. Bij mijn werkgever is er momenteel een afstudeerder bezig met een onderzoek naar de succesfactoren van web 2.0 / social media sites. Ondertussen timmert een bedrijf als NuConomy hard aan de weg om de “eerste” tool te leveren waarmee zachtere succesfactoren van social media sites inzichtelijk gemaakt kunnen worden.

NuConomy claimt het einde van het tijdperk waarin pageviews, clicks en bezoeken het succes van een dienst konden bepalen. Zij komen nu met een meetsysteem waarmee ze naar eigen zeggen de engagement van gebruikers ten opzichte een site kunnen meten. De site heeft al de nodige aandacht gekregen van grote sites en blogs en de geluiden zijn over het algemeen positief.


De vraag is natuurlijk of een vaag concept als engagement gemeten kan worden (lees een reactie van –Rene hier. Helemaal eens natuurlijk). Gelukkig ben ik niet de enige die die vraag stelt (heel goede post trouwens!) en is ook Nuconomy niet te beroerd om die vraag aan de orde te stellen. Aan de screenshots te zien wordt engagement onder meer gemeten door te kijken naar dingen als unieke gebruikers, bezoeken, gemiddelde tijd besteed op de site, bounce hits, page hits, talkbacks, aantal foto’s en video’s geupload, rss subscripties, friend requests, ratings, aantal klikken op advertenties, aankopen, posts en reacties. Nuconomy stelt zelf dat deze meeteenheden flexibel en dus aan de site aanpasbaar zijn.

Het klint op zich prachtig, maar bij het horen van een kreet als het meten van engagement moet ik mijn wenkbrauwen toch even fronsen. Bij engagement denk ik namelijk direct aan Etienne Wenger en zijn kijk op engagement in relatie tot Communities of Practice. NuConomy praat over engagement als het meten van bovengenoemde punten. Ook de site waar ik naar linkte heeft het over engagement als in termen van unieke bezoekers, frequentie van bezoekers, laatste bezoeken, diepte van bezoeken en tijd gespendeerd op de site.

Wanneer Wenger het heeft over engagement praat hij over zaken als mutual engament (wederzijdse betrokkenheid) ofwel engagement is niet iets dat op zichzelf staat, maar in interactie met de community plaats vindt. Engagement is ook niet iets wat er “is”, maar is iets dat ontstaat, over langere termijn. Het ontwikkelen van wederzijdse betrokkenheid vereist zaken als het creeëren van wederzijdse relaties, het ontdekken wat de community helpt, wat de community afremt, het ontdekken wie waar goed in is, ontdekken wie wat weet en het ontwikkelen van een identiteit. Het vereist dat je kunt deelnemen aan interactie en activiteiten, het creeëren van artefacten voor de community, dat je kunt deelnemen in conversaties, en kunt onderhandelen over betekenis (een essentieel begrip in de theorie van CoPs). In het kort: engagement heeft betrekking op wederkerigheid, competenties en continuïteit.

Toch een totaal andere orde lijkt me, terwijl het verschil tussen de mate van engagement die in een Community of Practice wordt bereikt niet zou moeten verschillen van de mate van engagement die in een online community nagestreefd wordt.

Waar volgens mij het grootste manco van Nuconomy, en het meten van engagement in het algemeen zit, is dat engagement (of betrokkenheid zo je wil) iets heel persoonlijks is. Voor een analytische tool betekent dit dan ook dat tot op de individuele gebruiker inzichtelijk moet worden gemaakt wat zijn of haar gedrag en mate van betrokkenheid is op de site. Het gevoel van betrokkenheid verschilt bovendien van gebruiker tot gebruiker. Daarnaast kun je je ook nog afvragen waartoe je je betrokken voelt. Tot de dienst? Of tot de community? En vereist dit andere meeteenheden?

Betrokkenheid is in mijn ogen dan ook meer een gevoel dan een getal dat het aantal foto’s dat is geupload weergeeft. Neem als voorbeeld mijn gebruik van het social bookmarking en kennisdelingsplatform watvindenwijover.nl. Ik ben daar zeer actief, participeer in een paar groepen (hoewel ik het meer voor individueel gebruik hanteer) en kijk ook af en toe naar wat anderen posten. Maar ben ik nu betrokken tot de dienst, omdat ik 140 pagina’s aan bookmarks heb toegevoegd? Volgens mij niet: ik vind het gewoon verdomde handig om mijn bookmarks daar op te slaan en eenvoudig terug te vinden.

Ik ben het eens met NuConomy dat pageviews minder relevant worden door voortschrijdende technieken en ander gebruik van toepassingen. Meeteenheden zouden zich veel meer moeten toespitsen op het verblijf, de activiteit en betrokkenheid van een gebruiker ten opzichte van een dienst, in relatie tot medegebruikers en het virale karakter van onderdelen van een dienst op het Internet. Ik vraag me wel af of dat met het model van NuConomy wordt gemeten en of NuConomy met hun definitie van engagement tegemoet komt aan meer wetenschappelijk geldende definities van dit concept.

Wat nuconomy natuurlijk goed doet is inspringen op een huidige trend waarin wordt gesteld dat het succes van social media sites op een andere manier gemeten moet worden dan we traditioneel gewend zijn. Ook hier heeft Jeremiah Owyang weer wat goede stukken over geschreven. En wat Nuconomy doet is natuurlijk goed: we kunnen praten en stellen dat een vaag begrip als engagement niet te meten is. Nuconomy doet in ieder geval een heel goede poging om het landschap van web analytics grondig te shuffelen door nieuwe meeteenheden en -begrippen te introduceren. En dat alleen is al bewonderenswaardig.

En tot slot: Engagement in Wenger’s theorie omtrent Communities of Practice is slechts één pijler waar zijn theorie op leunt. De twee andere pijlers zijn het faciliteren voor imagination (verbeelding) en alignment (afstemming). Willen we het succes van online communities (of practice) werkelijk kunnen meten zouden deze pijlers in de vergelijking betrokken moeten worden.

Dit artikel is oorspronkelijk gepost op martinkloos.nl.


RSS feed | Trackback URI

16 Comments »

Comment by MarkN
2008-02-24 12:21:20

Wellicht een knuppel-in-het-hoenderhok-reactie..

Subjectivisme en meten…. wat een onzin, alsof er een objectivistische buitenwereld bestaat die we allemaal op dezelfde wijze interpreteren… :P

Comment by Martin
2008-02-24 12:50:26

Dat is natuurlijk wel een beetje makkelijk Mark :) Zoals Rene hier ook terecht opmerkt zouden we daar geen genoegen mee moeten nemen. Is dat niet iets wat Ard the value of a rose, rising above objectivism and subjectivism noemde?

Comment by MarkN
2008-02-27 20:11:46

Is dat ‘rising above objectivism and subjectivism’ niet gewoon het benoemen der dingen… een man, een man; een paard, een paard….

Oftewel: objectiviseren wat je in objecten kunt vangen, maar daar niet alle betekenis aan ontlenen. Dus niet vergeten dat er ook subjectivistische kanten zitten aan zoiets. Dus: engagement kun je wellicht meten als de hoeveelheid discussie die plaatsvindt… maar omdat een ieder dat wellicht anders interpreteert en zodoende op een andere manier belonging voelt via het concept engagement zorgt ervoor dat het concept niet volledig kan worden ‘gemeten’…

Nogmaals: simpelweg ‘meten’ van het construct is naief…. er zitten immers subjectivistische kanten aan..

(Comments wont nest below this level)
 
 
 
Comment by --Rene. Subscribed to comments via email
2008-02-24 22:51:39

Hey, ik zie dat Martins blogpost 1 op 1 ook op knowledge cafe staat :)
Dan ook hier maar even mijn reactie, in de vorm van een blogpost, zie:
http://blog.winkwaves.com

Benieuwd naar jullie reactie!

 
Comment by MarkC
2008-02-25 09:52:49

Misschien stel je wel de verkeerde vraag als je je afvraagt wat ieders engagement is in een community / social networking site. Of misschien kunnen alleen buitenstaanders zich zoiets afvragen? Het doel van een community is toch niet zichtbaar maken dat ze bestaan, maar dat is toch de shared enterprise / common goal ? Het meetbaar maken van engagement klinkt als een wens dat van adverteerders vandaan komt. Maar ik denk dat het hopeloos is als je als buitenstaander wil kunnen meten in hoeverre een community succesvol is.

Natuurlijk leuk als je een tool hebt waarmee je wellicht mensen hun rollen kan analyseren, zoals Rene in z’n blog neerzet. Dan kan je misschien wel specifieke dingen doen met de mensen die jij in een rolhoekje kan zetten. Alleen vraag ik me dan af of je met zoiets niet de pilaren van social communities onderuit schopt, als je onderscheid gaat maken tussen verschillende rollen en daarmee de transparantie tussen de rollen gaat vernauwen.

Goed, wat ik bedoel met m’n post is eigenlijk dus: Waarom?

 
Comment by bolke
2008-02-25 10:03:42

Tja, ik denk dat MarkC redelijk de spijker op de kop slaat. Natuurlijk kan je engagement meten als je dat een beetje acceptabel objectivistisch definieert. Echter, mijn betrokkenheid zal je er niet mee meten (net zoals die rollen van Rene trouwens) omdat ik er niet van hou in een hokje gestopt te worden: zodra ik me daar dus van bewust ben (op wat voor manier dan ook) zal ik me dus anders gaan gedragen. Vraag die je dus ook kan gaan stellen: verandert de betrokkenheid, zodra je de betrokkenheid gaat meten? Ik denk dus ja. Wat voor waarde kan je dan nog toe kennen aan de resultaten die dat oplevert?

Rene is voor jou de vraag niet belangrijk (remember laatste dinsdag): wil de expert wel de expert zijn?

Comment by MarkC
2008-02-25 14:56:30

disclaimer: alle getallen zijn verzonnen

Stel, ik meet het aantal pageviews dat jij vandaag hebt gemaakt (4) en het aantal comments (1), dan moet ik nu al een gewogen getal gaan verzinnen dat jouw betrokkenheid meet. 4 x 0.1 (weighted pageviews) + 1 x 0.5 (weigthed comments) = 0.9 engagement factor voor vandaag, dan ben je volgens mij een profileerder, want je wilt graag gezien worden als actieve discussievoerder.

Maar stel nou dat je nu ook nog ’s op vakantie gaat en vanaf daar geen KC leest, dan gaat je engagement factor een stuk omlaag en kom je meer in de buurt van de lurker aangezien je gemiddeld aantal comments/dag omlaag gaat. Of je wordt juist nog meer profileerder aangezien je comments/pageviews/dag hoog blijft.

Het duizelt me nu al. Maar de vraag is: Heb ik jou nu beïnvloed?

 
 
Comment by Martin
2008-02-25 21:08:25

@mark, @bolke,

het waarom is denk ik te beantwoorden met: betrokken gebruikers zijn waardevoller dan gebruikers, omdat zij iets kunnen toevoegen aan het totaal van een dienst, ook buiten de dienst. Toen ik er zo over na zat te denken voel ik me best betrokken tot wvwo (wat de reden ook mogen zijn) en ik draag dat uit doordat ik er over schrijf, mijn bookmarks op mijn site heb staan ed. Daarmee voeg ik als betrokken gebruiker meer waarde toe (denk ik, is een aanname) dan iemand die alleen leest wat anderen doen.

En wat jij zegt bolke over jouw betrokkenheid zeg ik in mijn post ook: betrokkenheid is iets persoonlijks en daarmee is de vraag gerechtvaardigd of je het wel kan meten. Maar daar zouden we geen genoegen mee moeten nemen denk ik (wat Rene ook zegt). Daarom vind ik het subjectivistische perspectief als antwoord op deze post wel wat makkelijk. Wat ik al zei over het artikel van Ard, daar zouden we boven moeten staan.

Wat ik met deze post wil zeggen is dat het waardevol zou kunnen zijn om engagement (en imagination en alignment op een of andere manier meetbaar te maken. Of en hoe dat moet heb ik geen idee van. Maar daarom zou ik de vraag niet onbeantwoord willen laten.

En @markC je laatste reactie: dat maakt het nou ook zo moeilijk. Je kunt verschillende gedaanten aannemen door de tijd heen. Wat is de waarde / impact daarvan en hoe ga je daar mee om?

Comment by MarkC
2008-02-26 00:13:17

Je wordt onterecht in een hoek gedreven waar je jezelf gaat verdedigen, excuses daarvoor.

Het is een beetje een dubbele discussie. Aan de ene kant heb je het probleem dat je engagement wel kan oproepen, maar aan de andere kant kan je engagement alleen maar meten als je objectieve waardes definieert zoals de tijd die iemand ergens in stopt.

Maar wat er in iemands hoofd gebeurt kan je nooit echt beïnvloeden, daar is zelfs de psycho-analyse nog niet uit. Zelfs in die tak van de wetenschap behandelen ze iemands gedachten als een black box die je alleen kan conceptualiseren door gedragsobservatie.

Zelfde probleem, zelfde oplossing?

Comment by Martin
2008-02-26 08:12:53

I see,

ik ervaar het overigens niet echt als verdedigen. Wel reageer ik graag tegen de opmerking dat met het subjectivisme eenvoudig alles kan worden afgedaan als niet meetbaar. Zo komen we natuurlijk niet verder :). Ik begrijp natuurlijk wel wat je zegt over psycho analyse. Als we dat konden zaten we hier niet denk ik …

(Comments wont nest below this level)
Comment by MarkC
2008-02-26 09:49:33

Wat ik bedoel is dat ze bij psycho-analyse de objectieve metingen combineren met een uitgebreide uitvraag van de participanten. Ik denk dat je dat ook bij elke social networking site zou moeten doen om een zo eerlijk mogelijk beeld te krijgen van de term engagement en dat je niet de één definitie kan ontwikkelen en die vervolgens op verschillende community-sites kan toepassen.

Die tool van nucomony geeft je dus zelf de mogelijkheid om engagement te definieren met objectieve waardes. Ik denk dat je er nog de context van het doel van de community moet kunnen leggen én dus de participanten zelf te laten bepalen wat voor hen engagement betekent.

 
 
 
 
Comment by --Rene. Subscribed to comments via email
2008-02-25 21:31:19

@Bolke: Ha, jij wil niet in een hokje? Jij conformeert je natuurlijk graag aan het non-conformisme. Zullen we voor de “rebel” dan ook maar een hokje maken ;)

Ik snap de eerste reactie van @MarkN, dat je door gedrag van mensen te reïficeren automatisch aan het objectiveren bent. We kunnen het dan afdoen als dat het niet kan, maar we kunnen ook eens een mooie discussie opzetten welke mogelijkheden er zijn om, zoals ik in mijn blogpost ook beschrijf, vanuit verschillende rolopvattingen waarmee mensen op een bepaald moment acteren, te proberen te komen tot een genuanceerder en rijker interpreteren van gedragspatronen en het inzichtelijk maken van de ontwikkeling van de (jawel: immateriële) waarde van een community in de loop der tijd. Een objectivist zou dat “het succes” noemen. Lijkt mij leuk om eens goed over na te denken!

En @MarkC, uhm, die reactie was vast niet helemaal serieus ;)

Comment by MarkC
2008-02-26 00:07:09

Nee dat was inderdaad totaal niet serieus. Bedacht me later dat het ook verkeerd kon worden opgevat… :)

 
Comment by bolke
2008-02-26 13:49:45

@Rene, sure daarom doe ik ook niets op die blog :-).

 
 
Comment by Martin
2008-02-25 23:04:51

Microsoft noemt het engagement mapping

 
2008-03-06 19:53:46

[…] Dat een subjectivistische kijk op meten spanningen met zich meebrengt blijkt overigens goed uit de reacties op mijn post op […]

 
Name (required)
E-mail (required - never shown publicly)
URI
Subscribe to comments via email
Your Comment (smaller size | larger size)
You may use <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <code> <em> <i> <strike> <strong> in your comment.
Login:
Pass:
 


Laatste Comments
Nog te lezen
  • Je hebt alles gelezen...
PlayGround
Blog Roll
Creative Commons License
eXTReMe Tracker