MCC Success Story is a Failure (spoiler alert n 1) Center for Global Development

Nu mă înțelege greșit. Sunt un mare fan al MCC. Odată am declarat organizația cel mai mare experiment în evaluarea impactului și le-am lăudat angajamentul lor față de evaluări independente de înaltă calitate.

story

Așadar, când am primit o notă de la un coleg cu subiectul „n = 1” referitor la un comunicat de presă MCC, „O vacă plăcută a unui păstor îmbunătățește semnalul în Burkina Faso”, inițial am fost înclinat să o tratez ca pe o aberație. Într-adevăr, el a anticipat reacția mea:

„Știu ce ai de gând să spui, Bill:„ Nu aveți vacă. ”Sau poate„ Nu lăsați oamenii de relații publice ai MCC să vă ia capra ”.

Am citit piesa și am fost ușurat să găsesc câteva paragrafe care indicau că anecdota unică părea să aibă sprijinul unor dovezi mai ample. De exemplu, de când a început programul de formare agricolă, greutatea medie a vacilor a crescut „de la 213 lire sterline în 2008 la 549 lire sterline în 2013”. Acest lucru a sunat ca o dovadă destul de dramatică a succesului ... până când am primit un alt e-mail de la un coleg care a crescut în Far West și a văzut de fapt o vacă. Ea a scris:

"Este adevărat? Greutatea de bază a vacii a fost de 213 lb ? Este o vacă mică."

La care a răspuns primul meu coleg:

"... Vacile din țările sărace în curs de dezvoltare pot fi uneori puțin mai mari decât un mare danez. Dar poate că vacile de astăzi erau viței în 2008!"

Și se pare că ar putea avea dreptate. Al doilea coleg al meu a profitat de site-ul general informativ al MCC pentru a urmări date care ar putea explica această posibilă anomalie. Ea a scris înapoi:

"Nu s-au raportat date actuale. Am confirmat cifra inițială de 97 kg (sau 214 lbs). Dar ... raportul M&E spune că valoarea inițială a fost din 2012 (nu 2008) pentru o cohortă de viței a căror creștere în greutate ar fi monitorizată. Sună ca o creștere a adolescenților. "

Din păcate, am adăugat această poveste la fișierul meu despre „Exemple care demonstrează importanța contrafactualului” și am etichetat-o ​​„Caz bun pentru explicarea diferențelor în diferențe”. Apoi m-am uitat încă o dată la comunicatul de presă pentru informații pentru a-mi reda credința în standardele de rigoare ale MCC.