Feedburner e le metriche

Un tizio mi ha dileggiato perchè "non ho letto le FAQ della classifica dei blog italiani". Il mio commento era relativo all’uso di feedburner e al fatto che leggere le FAQ non spiega quanto dicevo io e cioè che non ha senso che in una graduatoria inserendo il blog su feedburner si cambino cento posizioni in un giorno. Quindi il signore mi insulta senza motivo. Un altro mi prende per fesso dicendo che non capisco niente perchè "Dio santo, ma è così difficile (specie per un prof. amm. del. ecc. ecc.) capire che non sono 2 ore a fare la differenza, ma i 212 lettori su FeedBurner, che equivalgono circa alla 80esima posizione nella classifica separata? Mah…"

Come se spiegare il fatto tecnico di come si fa il conteggio possa giustificare e dare valore a quanto si vuole rappresentare. È bello vedere che c’è gente che non si pone il problema "ma non è che magari la sciocchezza la sto dicendo io"?

Ho capito benissimo che adesso avendo inserito feedburner contano i miei subscriber che prima erano 0 e in poche ore sono quello che sono. Ma questa è una evidente distorsione se ha una influenza di questo tipo sul ranking. Ma ci torno.

Sono andato a leggere le famose FAQ e ho trovato il dettaglio di quello che già a spanne sapevo.

Dunque, il ranking viene preso facendo la somma pesata con una serie di aggiustamenti. Già questo da un punto di vista di teoria della misura è ampiamente criticabile. Una misura deve rappresentare in forma numerica un fatto empirico. Se dico che una persona è alta due metri e un’altra 1 metro, lo dico perchè "visivamente" mi rendo conto che l’una è il "doppio dell’altra" e rappresento questa evidenza empirica con un 2 rispetto ad un 1. È il principio base di come si fanno misure.

Il "numero" usato nella classifica dei blog è la somma pesata di cose diverse. In primo luogo tutto dipende dai pesi e dagli aggiustamenti che vengono fatti. Cambio i pesi, cambio i fattori, cambia il numero, cambia la classifica. Sarebbe come dire, per assurdo, che se per misurare l’altezza di una persona passo da metri a pollici, mi succede che quello che prima era il più basso adesso diventa il più alto. È il caso in cui il "numero" viene prima dell’evidenza empirica e anzi la definisce. È un procedimento opposto a quello tipico della misura. Ripeto, nel caso di misure, prima identifico il fatto empirico e poi trovo un numero che lo rappresenta. Qui "invento" un numero e dico che quella è la rappresentazione numerica del fenomeno empirico "rilevanza del blog" (o qualunque cosa di voglia valutare del blog). Per chi studia queste cose si tratta dello stesso paradosso usato per i function point: un numero che viene arbitrariamente utilizzato per definire la dimensione funzionale del software (usa anche lui una struttura simile: somma pesate di cose diverse "contate e messe insieme").

Ore questo tipo di approccio si può usare sapendo dei suoi limiti e cercando comunque di non peggiorare le cose.

Qui le cose vengono peggiorate in quanto la graduatoria viene fatta prendendo punteggi calcolati in modo diverso. Se un blog non ha feedburner, non  sommo il suo valore ma lo metto in graduatoria con gli altri. Quindi ho "misure" non comparabili che vengono messe insieme. Ovvio che se uno fa come me e aggiunge feedburner, "istantaneamente" fa un salto da 100 posizioni. Cosa senza capo e coda dal punto di vista della significatività della graduatoria.

Se si volesse avere una valutazione un po’ più significativa bisognerebbe cercare di eliminare queste evidenti distorsioni. Un primo modo è fare classifiche diverse in funzione di quali sono i fattori sommati: prendo i blog per i quali ho tutti gli elementi della somma e li metto in una graduatoria. Se per alcuni non ho feedburner (o altri fattori),  li metto in una graduatoria diversa. Almeno così non avrei un confronto tra pere e mele.

Suggerisco a chi mi ha insultato di leggere il testo Fenton NE, ‘Software Metrics: A Rigorous Approach’, Chapman and Hall, 1991. Giusto per cominciare e evitare di insultare a caso.

12 Comments

  1. Alfonso non vale la pena prendersela.
    Le critiche, polemiche costruttive aggiungono contenuto alla discussione; quelle a prescindere di merito sulle persone sono gratuite ed inutili ( faziose e scritte magari utilizzando degli alias ).
    Mi vengono in mente chat e forum di qualche anno fa.

    Saluti.

    Alberto Claudio Tremolada
    alberto@bloggeraus.com

    19/01/2007
    Reply
  2. Cymon said:

    “Mi vengono in mente chat e forum di qualche anno fa”
    Perchè, quelli di adesso come sono?

    Secondo me la presenza di troll e persone inutili nei commenti sono un’OTTIMA metrica del successo di un blog perché dimostrano che si è passata una certa soglia di importanza. Se sotto tale soglia si collegano, leggono e commentano solo persone sinceramente interessante agli argomenti trattati e che quindi ci tengono ad essere costruttivi, una volta che si sale di livello ecco che si avvicinano al sito persone che sono semplicemente venute a sapere che questo esiste e lo giudicano un palcoscenico buono per mettersi in mostra.

    Quindi Alfonso, complimenti, stai andando sempre meglio 😀

    19/01/2007
    Reply
  3. emmeesse said:

    Sicuramente i dati forniti da Feedburner sono significativi per classifiche di questo tipo (*) perchè misurano l’audience del blog.
    Però questi dati hanno almeno due limiti:
    – considerano solo i lettori che utilizzano i feed
    – considerano solo i blog che utilizzano il servizio fornito da Feedburner
    Nello stilare la classifica dei blog bisogna tener conto di entrambi i fattori, ma è soprattutto il secondo che rischia di falsare la classifica.

    IMHO non è giusto penalizzare di 100 posizioni un blog solo perchè non usa un certo servizio, per di più proprietario.
    Cosa fare allora?
    Quanto meno, in mancanza di un dato, cercare di stimarlo anzichè semplicemente considerarlo uguale ad un valore di default penalizzante (ossia 0).
    Si potrebbe ad esempio vedere se esiste una correlazione tra i dati di Feedburner e quelli forniti da Bloglines e da altri feed reader che forniscono il numero dei sottoscrittori di un blog.
    Se ciò non fosse fattibile (mancanza di API, problemi nell’uso di screenscraper, ecc…) si potrebbe almeno utilizzare un valore che non sia penalizzate come uno 0 di default (valore che si può ottenere dagli altri dati disponibili: non si tratterà di una buona stima ma sempre meglio di uno 0)

    19/01/2007
    Reply
  4. Emmeesse, mi hai tolto le parole di bocca!

    Appena avessi avuto un attimo di tempo volevo proprio provare a ipotizzare alcune di queste alternative. Due al volo:

    – Verificare l’eventuale correlazione statistica tra diversi indici per vedere se ce ne sono di ridondanti (ovviamente si spera siano ridondanti quelli che sono più difficili da valutare).

    – Effettuare stime dei valori mancanti, per esempio studiando se è possibile estrapolare da chi ha valori simili sugli altri indicatori (per esempio, Technorati), un valore ragionevole per quello mancante (un po’ come si fa quando si stimano i function point invece di contarli).

    Ovviamente, sono solo “pensieri sparsi” che andrebbero approfonditi con ben altri ragionamenti.

    19/01/2007
    Reply
  5. Assolutamente si.

    Ne avevo già parlato tempo fa ai miei perchè vedendo la classifica non mi convinceva. Ripensavo anche al commento di Jarvis (credo) che, vado a memoria, tu o Mantellini avevate segnalato sui pageviews.

    Adesso c’è stata la chiusura di fine anno. Ma conto di riprendere in mano la cosa appena ho un momento.

    19/01/2007
    Reply
  6. hronir said:

    La mia domanda e’ in qualche modo tecnica, anche se non sono affatto un esperto della questione: si tratta, per caso, di un problema simile a quello degli indicatori statistici dell’inflazione? Anche li’ ci troviamo di fronte ad una media pesata, pur fatta, probabilmente, con piu’ cognizione di causa (il peso e’ giustificato in qualche modo dalla rilevanza statistica del bene in esame e non ci sono elementi di natura radicalmente diversa accorpati insieme). Pero’ il dubbio che ci sia qualcosa di sottovalutato e’ forte quando si guardano i risultati: a parte la forse inaffidabile impressione qualitativa che il numero finale dell’ISTAT sia lontano anche un ordine di grandezza da quello percepito dal proprio portafoglio, c’e’ il dato oggettivo che istituti statisti diversi ottengono valori notevolmente differenti. Di piu’: anche quando l’ISTAT stesso decide di cambiare la composizione del paniere, il risultato puo’ cambiare di frazioni percentuali notevolissime.
    Visto l’alto livello tecnico della discussione raggiunto in questo post e in alcuni commenti, c’e’ forse qualcuno che ha qualcosa di interessante, se non illuminante, da aggiungere?
    Grazie,

    PS1
    Emmeesse ha forse dimenticato di scrivere la nota corrispondente al suo asterisco? O forse non ho capito il significato di quell’asterisco…

    PS2
    Chissa’ se qualcuno (Alfonso?) leggera’ questo mio commeto che giunge esattamente a un mese di distanza dal post originale (ci sono capitato per caso girovagando per i “post a cui tieni”…).

    19/02/2007
    Reply
  7. Hronir,

    non conosco bene il meccanismo di calcolo dell’indice ISTAT, per cui non me la sento di darti una risposta vera e propria.

    A occhio immagino che sia più o meno come dici tu: si fa una somma pesata, ma con un’attenzione a che si somma (scostamenti normalizzati nei prezzi dei singoli?) e ai pesi (che immagino saranno correlati alle quote di quel bene sul mercato o nel paniere della famiglia).

    Con il collega Gigi Lavazza e un tesista stiamo vedendo di studiare in maggior dettaglio la questione.

    Ciao

    20/02/2007
    Reply
  8. emmeesse said:

    “PS1
    Emmeesse ha forse dimenticato di scrivere la nota corrispondente al suo asterisco? O forse non ho capito il significato di quell’asterisco…”

    L’asterisco rimandava ad una nota che evidentemente è stata rimossa dallo script di controllo dei messaggi (forse a causa di una sequenza di caratteri non consentiti).

    La nota avvertiva che ero consapevole di essere superficiale nello scrivere “classifiche di questo tipo”.

    Nel contesto del post l’uso di tale espressione non comprometteva comunque la comprensione di ciò che volevo esprimere.

    Nel dibattere diamo per scontatato quello che queste classifiche (nel caso specifico blogbabel) vogliono misurare (popolarità dei blog?).
    Invece, forse, il primo passo dovrebbe essere quello di fornire una definizione di ciò che si vuole misurare (Esempio: cos’è un blog? cos’è la popolarità di un blog?).

    20/02/2007
    Reply
  9. […] i post del prof. Fuggetta relativi alle classifiche dei blog: Correttezza e significatività e Feed Burner e le metriche (dove ci sono anche due miei commenti); parafrasando potremmo dire: “dobbiamo imparare che […]

    15/02/2010
    Reply
  10. […] svantaggi. Ci tornerò con calma in un altro post anche se ne avevo già brevemente parlato qui e qui a proposito della “classifica dei blog”, sollevando proprio il tema rilanciato da Thomas: cosa […]

    21/08/2015
    Reply

Rispondi