Shut up and dance: l'universo morale della bibliometria tra principi universali e banalità del fare

in Bibliografie, biblioteche e gestione dell'informazione: un omaggio a Francesco Dell'Orso

Indice

• 1. Prologo
• 2. Accessibilità
• 3. Accuratezza / Correttezza / Competenza
• 4. Terzietà
• 5. Coerenza
• 6. Completezza
• 7. Utilità
• 8. Contestualizzazione / Storicizzazione
• 9. Sostenibilità / Risparmio cognitivo
• 10. Libertà / Ipertestualità
• 11. Interoperabilità
• 12. Epilogo
• Note

1. Prologo

Magia del cinema: per la durata dello show posso scordarmi ciò che è giusto o sbagliato senza provare alcun senso di colpa. Semplicemente, crudeltà e debolezze umane sono presentate in un contesto che le rende accettabili o addirittura gradevolmente desiderabili: nelle stesse situazioni, a parità di circostanze, potrei voler fare le stesse cose e ripetere le stesse azioni, o perlomeno le troverei giustificabili. Nelle serie tv la simpatia (o empatia) può diventare abitudine e assuefazione. Entro in sintonia con un personaggio, in modo del tutto a-morale, perché vengo accolto gradualmente nel suo mondo cominciando ad associare gli stessi colori a cose, persone, eventi. Ecco allora che mi diventano accettabili le torture inflitte da Jack Bauer a terroristi e traditori della patria, le operazioni di "smaltimento rifiuti" di Tony Soprano, l'instabilità emotiva ed esistenziale di Don Draper, Carrie Mathison e Richie Finestra, la moral flexibility di Jimmy McGill e persino il codice etico ad-hoc - il "codice di Harry" - con il quale Dexter Morgan giustifica, agli occhi di se stesso e dello spettatore, lo sterminio dei malavitosi di Miami. [1] Sotto le luci soffuse del racconto il torpore etico trova, di volta in volta, appigli diversi ma perfettamente plausibili: non sono, quelle dell'agente segreto e del vigilante sociopatico, crudeltà utili a prevenirne altre ben peggiori? Non è, quella dei mafiosi di quartiere, una metafora della violenza che permea la macchina burocratica e amministrativa a tutti i livelli uccidendo le persone o (peggio) i loro sogni? Non è così che funziona il potere con la P maiuscola o minuscola? Non è dal buio pesto dell'anima che nasce ciò che viene percepito come talento da quelli provvisti di anima con punto-luce?

L'esperienza di spettatori sembra suggerire che la percezione della natura etica di un'azione sia un'attività intrinsecamente legata alla qualità e quantità di informazioni relative al contesto in cui quella azione si svolge, alla catena di azioni e reazioni virtuose che possono scaturirne e alla consapevolezza che, in condizioni estreme, il sistema tolemaico dei nostri valori potrebbe subire uno sconvolgimento provvisorio ma inesorabile. Ciò che sembrava sbagliato all'inizio diventa così temporaneamente un po' meno sbagliato o addirittura sopportabile, in una specie di blackout etico solo debolmente rischiarato dalla coscienza della finzione narrativa. Poi lo spettacolo finisce, le luci si riaccendono e ogni cosa torna al suo posto, game over, i buoni con i buoni, i cattivi con i cattivi, io con me a decidere da che parte stare (Either? Neither? Both?).

L'avvertimento lanciato dal vissuto cinematografico è tanto chiaro quanto opache sono le ombre che proietta su qualunque forma di equilibrismo etico: prendi un soggetto o un insieme di azioni eticamente indesiderabili, infiocchettalo con una storia, un dettaglio biografico, una ghirlanda di circostanze attenuanti e la miscela iniziale cambia consistenza al punto da favorire un'amnesia etica ogni volta che viene somministrata ad un osservatore. Avendo in mente questo esito possibile, proviamo a definire un quadro etico di riferimento per il buono/cattivo di turno in un universo molto più finto di quello cinematografico: il teatrino delle recite senza copione in cui prende forma la valutazione della ricerca scientifica. Facciamo recitare la parte del cattivo ai metodi quantitativi o bibliometrici che, almeno a partire dal 2010 in Italia, sono stati pesantemente evocati a supporto di quelle attività di valutazione. Proviamo dunque a delineare l'universo di valori che avvolge il discorso bibliometrico. Proviamo a farlo in modo non convenzionale, lasciando da parte la dottrina, la teoria, la storia, riducendo al minimo le citazioni bibliografiche,[2] e affidando lo sviluppo dell'argomentazione ad un esperimento concettuale, una specie di gioco di ruolo eseguito ad un crocevia immaginario dove si incontrano biblioteconomia, bibliometria e filosofia. L'esperimento consiste nel pensare la bibliometria, nella sua identità più controversa di supporto alla valutazione della ricerca, come un sistema informativo su autori e prodotti della ricerca scientifica e nel chiedersi se, e fino a che punto, tale sistema soddisfa i requisiti etici basilari che la tradizione biblioteconomica occidentale riconosce a qualunque sistema informativo degno di tale nome.

Facciamo finta allora che si possa costruire un repertorio bibliometrico esaustivo allo stesso modo in cui si può allestire il catalogo di una biblioteca o un database bibliografico: ci sono oggetti tangibili da descrivere - gli autori e le loro pubblicazioni scientifiche - e ci sono i set di metadati che li descrivono, ovvero i record bibliografici delle pubblicazioni arricchiti da informazioni bibliometriche di vario tipo: numeri di citazioni o di evocazioni sul Web, Impact Factor (IF), Eigenfactor, CiteScore, SJR, SNIP delle riviste, indicatori field-weighted, e così via. Facciamo finta che il prodotto finito sia già bello e pronto sotto forma di un meta-motore che recupera, in modo dinamico, tutte le metriche disponibili in un dato momento nell'arsenale bibliometrico e le applica, in tempo reale, ai record bibliografici di qualunque set di pubblicazioni. Il sistema è anche in grado di disegnare al volo mappe scientifiche che restituiscono, per ogni autore, informazioni dettagliate su quanto hot sono gli hot topics di cui si occupa, sulla statura relativa dei suoi collaboratori e delle riviste in cui pubblica, sulla distanza del suo profilo bibliometrico dalla vetta degli scienziati più influenti. Possiamo pensare a questo strumento come ad una versione potenziata di Web of Science (WoS) e Scopus, capace di integrare pregi e difetti di entrambi gli indici di citazioni e delle annesse piattaforme analitiche (Journal Citation Reports, InCites, SciVal). Nel seguito, per brevità, chiameremo Wopus questa creatura immaginaria. Facciamo finta, infine, che questo strumento potentissimo sia il braccio operativo di un servizio strutturato di consulenza, una specie di ufficio bibliometrico centralizzato (UB), al quale può rivolgersi tanto chi fa ricerca quanto chi la amministra: i primi per farsi un'idea della propria localizzazione sul campo di battaglia, i secondi per capire chi fa cosa e quanto rendono, in termini di produttività scientifica e impatto bibliografico, gli investimenti fatti in passato. Proviamo dunque a rispondere ad una semplice domanda: quanto sarebbe "etico" un sistema del genere se i valori di riferimento fossero quelli propagandati nella letteratura biblioteconomica perlomeno da Ranganathan in poi? Ci interessa, per simmetria, anche il quesito inverso: a quale letteratura bisognerebbe rivolgersi per inquadrare in una cornice eticamente sostenibile un sistema informativo bibliometrico se si realizzasse che quelli legittimati dalla tradizione biblioteconomica non sono adeguati e che sì okay, va bene la critica, va bene l'inconsistenza teorica proclamata e conclamata, va bene la tiritera contro l' IF o l'indice h, ma in fondo vale comunque la pena fare bibliometria?

L'ingrediente principale del gioco è una tabella autorevole di valori condivisi. Battezziamo come inventario di "valori fondamentali" nell'organizzazione di informazioni e documenti l'elenco fornito da Riccardo Ridi in Il mondo dei documenti. [3] Ne accorpiamo alcuni per comodità espositiva: accessibilità, accuratezza/correttezza/competenza, terzietà, coerenza, completezza, utilità, contestualizzazione/storicizzazione, sostenibilità/risparmio cognitivo, libertà/ipertestualità, interoperabilità. Ora prendiamoli uno a uno e chiediamoci se e fino a che punto Wopus è nelle condizioni di incorporarli. La regola principale da osservare durante la simulazione è che non esiste quinto emendamento a cui appellarsi, quindi si può testimoniare contro se stessi e quello che si fa quotidianamente tornando a farlo anche dopo aver placidamente ammesso che, sotto certi aspetti, potrebbe essere sbagliato, fuorviante o persino inutile. Il gioco inizia ora: showtime.

2. Accessibilità

È il valore di fondo che deve presiedere alla costruzione di ogni sistema informativo. I libri, più in generale le informazioni e i documenti in cui si materializzano, "sono fatti per essere usati" (Ranganathan). Ogni barriera all'accesso - fisica, ideologica, cognitiva - va demolita. In teoria WoS e Scopus hanno tutto quello che serve per fare bibliometria, ma il livello di accuratezza, coerenza e standardizzazione dei dati necessari per ricostruire profili bibliometrici individuali o aggregati è talmente insoddisfacente che, almeno dagli anni '70 del secolo scorso, i più importanti centri al mondo di ricerca scientometrica hanno iniziato ad allestire versioni in-house potenziate dei database sorgente, in modo da avere a portata di mano dati corretti e arricchiti da tutte le informazioni supplementari necessarie per analisi avanzate. Questi archivi paralleli sono rigorosamente inaccessibili al di fuori dell'istituzione che li ha creati e li mantiene. Supponiamo comunque che T'Challa, il re dei Wakanda, decida di sponsorizzare una versione "drogata" di Wopus gratuitamente accessibile a tutti. Caricato su un server online 24/7 e progettato in modo da soddisfare i più severi requisiti di accessibilità e usabilità, Super-Wopus sarebbe sicuramente accessibile nel senso di "virtualmente" raggiungibile, navigabile, ricercabile da qualunque computer connesso a Internet e provvisto delle dovute licenze, ma quanto sarebbero accessibili le informazioni di interesse bibliometrico incapsulate nei suoi contenuti? I legami citante-citato, in particolare, stabiliscono una catena di link indelebili tra le fonti citate e gli spazi intellettuali degli autori citanti, ma questi ultimi restano off limits. Gli stessi bibliometristi si sono rassegnati a tale opacità, al punto che da almeno 10 anni a questa parte nessuno più pubblica studi semi-qualitativi sulle reasons to cite. Anche ciò che sembra accessibile in Wopus, inoltre, lo è pienamente solo in virtù di un atto di fede: i legami bibliografici sono dati in pasto ad un sistema automatico di indicizzazione che fa il matching tra le forme varianti con cui uno stesso documento viene citato in modo da renderne contabili le occorrenze, ma chi andrebbe mai a controllare, nel labirinto delle reti di citazioni, quali e quanti legami bibliografici sono stati effettivamente contati? Qui il sogno può tradursi in incubo vissuto se si passa dal master alle copie delle copie delle copie. Qualcuno ha controllato ad esempio se, nel database predisposto dal CINECA in occasione dell'Abilitazione Scientifica Nazionale (ASN) 2012, le tipologie di documento ed i numeri di citazioni associati alle pubblicazioni dei candidati erano coerenti con quelli delle fonti WoS e Scopus? Quale utente di un database bibliometrico sarebbe interessato a (o avrebbe il tempo per) simili verifiche? E quanto aumenterebbe l'opacità del sistema se, al posto delle bibliografie degli articoli scientifici, ci fossero i logfile di un server remoto o la twittersfera nella sua interezza? Potrei fare queste verifiche ma non le farò ed il "potrei" non rende meno inconcludente, sul piano delle certezze empiriche, il fatto che non le farò. Allo stesso modo potrei andare sulla luna ma non ci andrò domani né tra dieci anni né mai; potrei farmi un giro di zorbing in un parco della Cornovaglia ma non lo farò né domani né mai anche perché ho mal di schiena cronico. Ad un database bibliometrico si accede ma il suo nucleo generativo è desolatamente inaccessibile. Potrei accedervi ma non vi accederò, non c'è tempo, non ci sono i mezzi e francamente non ce n'è proprio bisogno. Per fare bibliometria mi basta - mi deve bastare - l'involucro e le etichette con i numerini appiccicate sopra.

3. Accuratezza / Correttezza / Competenza

Un sistema informativo deve essere il più possibile accurato e corretto. Per raggiungere questo scopo potrebbe non bastare essere indicizzatori professionisti, servono competenze specialistiche. Se voglio selezionare le parole chiave per 200 articoli di topologia differenziale privi di abstract devo sapere che "fibrati" e "sommersioni" non sono entità provenienti dalla farmacologia e dalla biologia marina ma particolari tipi di funzioni. Mi serve un minimo di background in topologia generale, algebra lineare, analisi matematica. Ciascuna di tali aree presuppone, a sua volta, un retroterra in settori meno astratti della matematica. Se collaboro ad un thesaurus di psicologia devo sapere che la "forclusione" (forclusion) è fondamentale per distinguere il modo in cui Lacan, divergendo da Freud, ha reinterpretato le differenze tra psicosi e nevrosi. Suona complicato ma non è impossibile in topologia come in psicologia. Le competenze necessarie sono localizzate e localizzabili, le trovo in manuali, compendi, corsi universitari online e offline. Una volta acquisite, le competenze sono riproducibili, perlomeno nel breve periodo, e trasparenti. Se tra dieci giorni re-indicizzo gli stessi documenti applicando le regole utilizzate oggi ottengo gli stessi risultati. Se qualcuno mi chiede perché ho scelto determinati descrittori sono in grado di spiegarglielo e di difendere la scelta con riferimenti puntuali alla letteratura di settore. In Wopus ci sono almeno due vizi capitali che minacciano la virtù dell'accuratezza / correttezza / competenza. Da un lato, la qualità dei metadati bibliografici dipende dall'efficienza degli algoritmi di indicizzazione, disambiguazione e matching di record bibliografici e cited references: chi lavora quotidianamente con autori dai cognomi comuni sa che può non bastare un singolo round di correzioni per garantire in modo permanente la correttezza dei profili individuali; analogamente, per alcune tipologie di documenti (articles in press, conference papers) i numeri "ufficiali" di citazioni sono quasi certamente sbagliati a causa di tutte le references sfuggite all'algoritmo e perse nei meandri del citation index. Al contempo, in un database bibliometrico i metadati bibliografici arrivano "pesati" con indicatori quantitativi derivati da percorsi non ripercorribili in assenza di competenze molto specifiche esercitate in un determinato istante. Chi ha provato a riprodurre un indicatore rudimentale come l'IF sa che, in questo tipo di esercizi, uno più uno fa probabilmente due, ma solo dopo qualche tentativo. Per riprodurre uno SNIP occorre lavorare sulle cited references dell'intero database Scopus e bisogna farlo in un punto preciso dell'evoluzione del sistema. Eigenfactor e SJR, poi, ricalcano l'approccio Markoviano del PageRank di Google: il loro calcolo avviene tramite l'iterazione di algoritmi che coinvolgono la rete bibliografica globale intessuta da un set iniziale di citing sources. Anche le mappe bibliometriche che Wopus è capace di disegnare in tempo reale non sono semplici registrazioni in scala 1:1 di una realtà esistente a prescindere dal cartografo: le proprietà geometriche, topologiche, informative di una mappa basata sulle co-occorrenze di parole chiave o cocitazioni, ad esempio, dipendono da una catena di operazioni intermedie non banali, come il calcolo di indici di inclusione e prossimità o l'uso di tecniche statistiche multivariate per ridurre in uno spazio bidimensionale le n righe e n colonne della matrice iniziale. In teoria le competenze si recuperano anche qua, ma sono i modi e tempi per esercitarle ad innalzare un muro invalicabile: anche se lo so fare o imparo a farlo non otterrò gli stessi risultati se provo a farlo "ora". Un database bibliometrico incorpora competenze di varia natura, ma quelle che presiedono alle sue virtù metriche riflettono la luce di talmente tanti specchi da sfuggire allo sguardo innocente dell'utente finale.

4. Terzietà

L'indicizzatore, come un giudice in tribunale, deve essere "terzo" rispetto agli interessi dei possibili contendenti, nel nostro caso gli editori di letteratura scientifica da un lato, gli utenti di quella stessa letteratura (in particolare gli scienziati) dall'altro. Nei progenitori di Wopus la non terzietà è un marchio di fabbrica: WoS aveva, almeno fino a pochi mesi fa, il cordone ombelicale attaccato ad una delle multinazionali dell'informazione economico-finanziaria; Scopus è stato partorito ed è tuttora alimentato dallo stesso editore di una quota considerevole delle riviste di cui indicizza il contenuto. Ma anche nell'ipotesi che Wopus riuscisse a svincolarsi da queste pesanti eredità commerciali, il difetto della non terzietà cacciato dalla porta rientrerebbe dalla finestra perché i dati grezzi su cui il sistema si basa, cioè le citazioni bibliografiche usate per costruire gli indicatori bibliometrici, sono forniti proprio dai soggetti che si spartiscono il campo, cioè gli scienziati, e gli scienziati non sono terzi rispetto a se stessi e al pubblico per il quale scrivono. I giudizi di merito in base ai quali gli specialisti in una disciplina selezionano, scaricano, archiviano, leggono (o non leggono) e citano (o non citano) la letteratura precedente sono il risultato di valutazioni individuali maturate nel punto d'intersezione virtuale tra stili cognitivi, consuetudini disciplinari, fattori contingenti (come l'accessibilità o meno di un testo) e considerazioni strategiche. Nella scelta dei documenti da citare, ad esempio, c'è sicuramente la conoscenza della materia e la familiarità con tecniche, procedure, protocolli inaccessibili ai non specialisti, ma c'è anche l'inclinazione ad obliterare alcune fonti per scelta o per dimenticanza, oppure l'opportunismo del non-posso-non-citare-sua-eminenza-non-si-sa-mai. Le considerazioni strategiche sono oramai parte integrante dello stile comunicativo dei ricercatori e lo sono almeno da quando gli è stato detto che le loro prestazioni sarebbero state misurate in un certo modo. La situazione è molto diversa, va sottolineato, rispetto agli strumenti non scholarly di ricerca e condivisione dell'informazione. Google, Facebook, Instagram, Twitter e simili possono fare data mining sui nostri progetti di vita perché a loro affidiamo, senza badare al possibile riuso da parte di terzi, le parole chiave con cui rappresentiamo a noi stessi e agli altri quei progetti nel modo più fedele possibile. La mancata fedeltà qui avrebbe un prezzo in termini di basso richiamo e bassa precisione nel recupero di informazione di interesse pratico immediato, sia essa la foto della mia cantante preferita o il contatto Facebook della barista che da mesi cerco inutilmente di sedurre. Wopus lavora invece su materiale spurio perché le bibliografie non registrano necessariamente un contatto o il desiderio di un contatto intellettuale "reale". Tanta letteratura bibliometrica, d'altra parte, ha potuto vedere la luce solo grazie ad una soppressione sistematica di questa consapevolezza. Un classico della pantomima: validare gli indicatori bibliometrici mostrandone la correlazione positiva con giudizi qualitativi dotati del requisito di terzietà, ovvero i giudizi di peer review, in un campione formato da scienziati molto citati/tweettati/linkati. Come dire: il numero di gol è un indicatore valido della qualità di un calciatore perché correlato con i giudizi qualitativi dei giornalisti sportivi in un campione così formato: Pelè, Maradona, Van Basten, Platini, Messi, Ronaldo. Come si fa a sostenere un argomento del genere se la possibile causa (il fatto che gli scienziati sono bravi) e l'effetto (il fatto che ricevono tante citazioni/evocazioni) sono presi alla fine della fiera, quando i giochi sono ormai fatti, per dimostrare che la relazione qualità-quantità sussisteva ab origine sulla base di una semplice correlazione statistica? Tanto più che fare ricerca non è come giocare a calcio: non esistono regole di gioco esplicite uguali per tutti; non esistono arbitri il cui operato sia sotto milioni di occhi potenziati e deformati da moviole impietose; non esiste un campo di gioco unico, limitato nello spazio e nel tempo; non esiste accordo, spesso nemmeno all'interno di una sottoarea disciplinare, su ciò che conta come gol, fallo o fuori gioco; e soprattutto non si può ridurre la cronaca degli eventi alle giocate di pochi top players trattando tutti gli altri come nani bagonghi buoni solo ad animare gli intermezzi tra le stelle del circo. Utenti e professionisti dell'informazione sono certamente "terzi" rispetto ad un database bibliometrico, peccato siano anche terzi esclusi.

5. Coerenza

Un sistema informativo deve essere coerente con i criteri scelti per l'ordinamento e la presentazione delle informazioni. Un aspetto fondamentale della coerenza riguarda la terminologia: gli stessi oggetti devono conservare gli stessi nomi (uniformità) ed uno stesso nome deve riferirsi sempre allo stesso oggetto (univocità). Ci sono vari sensi in cui Wopus è necessariamente incoerente. Il controllo bibliografico sulle intestazioni dei nomi autore, come già accennato nella sezione sull'accuratezza, è molto complicato, anche se la situazione può migliorare con la diffusione su larga scala di standard internazionali stile ORCID. Il controllo bibliografico sulle intestazioni di gruppi ed enti è addirittura impraticabile, ma non certo per colpa dei sistemi di indicizzazione. La ricerca scientifica è condotta perlopiù da gruppi che si formano e si disfano o si trasformano in continuazione. I componenti di tali gruppi afferiscono a strutture, ad esempio i dipartimenti universitari, le cui denominazioni cambiano nel tempo per necessità amministrative quali fusioni e riorganizzazioni interne, riforme ministeriali, trasferimento o esilio volontario dei "disadattati". I nomi delle strutture, a loro volta, compaiono in forme non standardizzate nelle affiliazioni registrate sugli articoli e poi indicizzate nei database. Di conseguenza, è tecnicamente quasi impossibile ricostruire, all'interno di un database bibliometrico, l'esatta evoluzione storica di un dipartimento universitario in termini di pubblicazioni prodotte dai propri affiliati lungo un arco di tempo significativo per l'analisi (almeno 10 anni). Nella stragrande maggioranza dei casi bisogna accontentarsi della migliore approssimazione possibile sulla base di una serie di ipotesi di lavoro iniziali. E anche così facendo non saremmo dei buoni detective. Se vuoi arrivare al nodo del problema - ci insegna il classico del giornalismo investigativo - devi seguire i flussi di denaro ( follow the money), ricostruire "chi" ha finanziato "cosa" e in quali output si è concretizzato il "cosa", quindi analizzare tutti e soli quegli output per cercare di capire se vale la pena dare altri soldi alle stesse persone. Ma l'informazione sui funding acknowledgments, incorporata in WoS e Scopus da qualche anno, è tuttora inadeguata per l'analisi perché rispecchia quanto dichiarato, in modo frammentario e non standardizzato, nel paratesto degli articoli. Per diventare operativa, quella informazione va integrata con i dati amministrativo-contabili di altri sistemi informativi perennemente disgiunti dallo strato delle pubblicazioni scientifiche, in una sorta di platonismo gestionale che rappresenta tuttora uno degli ostacoli maggiori alla valutazione dell'efficienza della macchina di produzione di nuova conoscenza scientifica. Non sarebbe difficile, inoltre, estendere le violazioni del requisito di coerenza agli output più sofisticati di Wopus. Una mappa bibliometrica, ad esempio, si manifesta all'utente sotto forma di palle colorate, che simboleggiano le unità cartografate (autori, istituzioni, riviste, subject categories), collegate da linee di diverso spessore indicanti l'intensità del legame bibliografico tra ciascuna coppia di unità, ma la particolare configurazione di palle e linee in una certa mappa non è una fotografia che il fotografo A può scattare al posto del fotografo B perché tanto il risultato sarebbe uguale: basta cambiare la tecnica statistica di riduzione dei dati, o addirittura una particolare routine all'interno della stessa tecnica - come il sistema per far "ruotare" i fattori in un'analisi fattoriale su una matrice di correlazioni - per ottenere risultati diversi che potrebbero suggerire scenari manageriali incompatibili.

6. Completezza

Un sistema informativo deve essere in grado di rappresentare il dominio concettuale a cui si riferisce nel modo più completo possibile, attraverso una rete omogenea di metadati tessuta in funzione della ricerca e del recupero di informazioni. Nessun database può realisticamente aspirare alla esaustività. Cionondimeno, nei limiti dei criteri di selezione dichiarati, tutte le unità che rispettano certi requisiti devono essere presenti e quindi ricercabili all'interno del sistema. I database bibliometrici sono storicamente ostili al requisito della completezza, anzi considerano la completezza più un vizio che una virtù e Wopus non farebbe eccezione. La giustificazione di questo rovesciamento di valori si trova in un artificio di politologia numerica o, se si preferisce, di matematica ideologica: se si usano criteri bibliometrici, i.e. le citazioni, per selezionare il nucleo delle fonti da indicizzare, si scopre che il top della produzione scientifica internazionale in ogni settore disciplinare è concentrato in un nucleo circoscritto di fonti, pertanto è inutile, anzi addirittura inefficiente, aspirare alla copertura totale (leggi di Lotka, Bradford, Zipf). L'espediente funziona perché i gruppi e gli scienziati migliori tendono effettivamente a monopolizzare un numero ristretto di canali di comunicazione che rafforzano così la propria posizione editoriale facendo quadrato attorno ai paradigmi dominanti nelle diverse sub-culture accademiche. Qui avviene la stessa trasformazione metonimica vista in precedenza nel connubio citazioni/qualità: il fatto che gli scienziati migliori pubblichino sempre sulle stesse riviste non viene visto come quello che è, ovvero la manifestazione di una dinamica sociale di auto-recinzione delle élites accademiche su cui gli editori commerciali possono costruire le loro fortune, ma come un indicatore di qualità intrinseca. Quasi che un'essenza platonico-aristotelica di top-journalità si incarnasse in quelle riviste promuovendone tanto gli indici bibliometrici quanto la capacità di attrarre i lavori migliori. Non c'è dubbio che l'alto IF del New England Journal of Medicine o di Lancet sia strettamente correlato con il rigore della peer review e la qualità eccelsa di almeno una parte degli articoli che pubblicano, ma: 1) la qualità di cui parliamo è sempre e solo qualità "per qualcuno" meglio posizionato di "qualcun altro" nella rete dei fronti di ricerca disciplinari (in molti settori, se non sei in un gruppo ben collocato nella rete, scordati di pubblicare su riviste di prima fascia); 2) la stessa correlazione non vale ai livelli medio-bassi della catena alimentare. Un IF basso non indica semplicemente l'incapacità, da parte di una rivista, di attrarre articoli influenti, ma è come il marchio a fuoco sulla fronte dello schiavo: serve a ricordare a lui e agli altri che non fa (e probabilmente non farà mai) parte del giro. Tanti IFs medio-bassi classificati dal più alto al più basso col terzo decimale, poi, servono solo a ricordarci che per far sì che la giostra continui a girare bisogna nominare dei vincitori anche quando tutti (o la maggior parte) hanno perso facendo apparire come differenze qualitative delle semplici fluttuazioni casuali o, ancora peggio, delle astute manipolazioni.

7. Utilità

La ragione principale di esistenza di un sistema informativo è data dalla sua utilità per un gruppo più o meno vasto di persone. Wopus è uno strumento multi e trans-disciplinare, quindi promette qualcosa a tutti. Non è possibile ovviamente definire in astratto cosa potrebbe essere utile a chi, ma esiste, all'interno di ogni dominio professionale, una percezione diffusa e socialmente condivisa sul frammento di universo che si vorrebbe vedere smontato e rimontato in un database bibliografico pur di facilitarne il controllo. Per tanto tempo gli indici di citazioni sono stati venduti come strumenti utili a potenziare la ricerca e il recupero della letteratura scientifica. Ciò ne garantiva l'apparente neutralità ideologica, quindi la commerciabilità trasversale. Oggi, perlomeno nei regimi di informed peer review, un sistema informativo bibliometrico non è solo utile ma indispensabile e la presunta neutralità ideologica si è tramutata in ciò che era sin dal principio, vale a dire la capacità di servire padroni diversi con la stessa deferenza. Quando si promuove un ricercatore a dispetto di un altro si può cercare conforto nel fatto che l'impatto normalizzato del primo è più alto di 0.5 unità rispetto a quello del secondo o nel fatto che il primo ha due pubblicazioni in più collocate nel top 1% mondiale delle stesse aree tematiche, ma se non si entra nel merito dell'origine di tali differenze l'esito della valutazione può essere altrettanto fuorviante di quello che si avrebbe promuovendo il secondo ricercatore senza averne confrontato gli indici bibliometrici con quelli del primo. Niente è più utile di un database bibliometrico, peccato si tratti di una utilità che danza sull'orlo dell'abisso dove sprofonda ogni etica della valutazione. Ecco un esempio di worst case scenario: se gli indici confermano la decisione presa allora è tutto okay, ho corroborato le mie valutazioni con evidenza indipendente; se la smentiscono ancora meglio perché ho dimostrato al mondo intero che il giudizio qualitativo non può mai essere rimpiazzato da un algoritmo. In una situazione del genere, l'UB potrebbe svolgere un ruolo decisivo di mediazione tra l'urgenza manageriale di avere poche e chiare indicazioni operative e l'esigenza dei soggetti valutati di dare voce alla propria storia scientifica, professionale, umana. La mediazione potrebbe prendere la forma di report bibliometrici multidimensionali che, combinando tecniche quantitative e qualitative (questionari, interviste), illuminano la realtà accademica in tutte le sue sfaccettature a diversi livelli di aggregazione (individui, gruppi, dipartimenti). Attenzione però: moltiplicare le dimensioni dell'analisi è strafigo in tempi di post-verità perché ti garantisce una sedia al tavolo delle discussioni accademiche "equilibrate", ma rischia di produrre un risultato incompatibile con il messaggio proveniente dalla bibliometria, dove il tit-for-tat accademico è soppiantato da una rete di "squilibri" (economici, scientifici, simbolici) radicali che nessuno ha ancora capito come interpretare e tradurre in decisioni equilibrate.

8. Contestualizzazione / Storicizzazione

Un sistema informativo eticamente irreprensibile non dovrebbe limitarsi a produrre output grezzi ma fornire, per quanto possibile, il supporto necessario a collocare i risultati di una ricerca in un contesto significativo, così da permettere all'utilizzatore di estenderli, correggerli, smentirli se necessario. I database bibliometrici, di contro, generano in modo più o meno meccanico indicatori decontestualizzati buoni per tutte le stagioni: a seconda di dove, come e quando li usi, puoi farne dei collaboratori fedeli dal pedigree integerrimo o dei delinquenti pronti a prostituirsi al primo angolo di strada. Ciascuno di tali indicatori è come il cattivo di un telefilm preso al di fuori della cornice che lo fa diventare meno cattivo: aggiungi un ingrediente, un dettaglio, una storia commovente e persino il Dexter Morgan degli indicatori diventa digeribile. L'IF è un buon esempio al riguardo. Guai anche solo a pensare di utilizzarlo nelle valutazioni individuali perché non è correlato con la qualità degli articoli, perché è manipolabile, tecnicamente inadeguato, ideologicamente colonizzato, perché la Dora Declaration, la San Francisco Declaration … e bla bla bla. Abbiamo subìto il lavaggio del cervello sui limiti dell'IF, eppure può ben darsi il caso in cui la cosa migliore da fare sia proprio trasgredire al divieto di usarlo: è davvero tanto peggio un giudizio formulato sulla base dell'IF rispetto ad uno che dipende dal casato o dalla logica mafiosa del chiudo-un-occhio-su-tutto-per-pagare-il-debito-con-te-che-mi-hai-aiutato-ad-arrivare-qua? Uno dei dispositivi più elementari di contestualizzazione è la data di pubblicazione dei documenti, che non dovrebbe mai mancare né sui documenti stessi né sulla loro rappresentazione semplificata sotto forma di metadati bibliografici. Anche su questo requisito basilare, invece, il nostro fantomatico Wopus rivela tutti i suoi limiti: la data registrata nel database, infatti, può assumere valori diversi a seconda dello stadio di lavorazione editoriale (accepted manuscript, ahead of print, version of record) e soprattutto può non coincidere con la prima data di disseminazione online del manoscritto sotto forma di preprint, di relazione di convegno o di semplice working paper. Le ripercussioni di questa frammentazione d'identità sull'accuratezza dei dati bibliometrici sono pesanti perché Wopus non sarà in grado di raggruppare automaticamente, in modo corretto, le citazioni riferite a tutte le versioni dello stesso documento. Non solo: anche la possibilità di ricostruire, seguendo il filo rosso delle bibliografie, la data di nascita di un'idea è fatalmente compromessa perché i ricercatori non sono filologi o storici della scienza, non citano "chi per primo …" ma "chi meglio" (in termini di autorevolezza e prestigio editoriale), quindi tra un preprint online alla data T e lo stesso (o altro) preprint trasformato in articolo di rivista alla data T+1 citeranno il secondo. A parità di contenuto informativo, è il gentleman in smoking che entra nel club, non lo scapato in jeans e scarpe da ginnastica.

9. Sostenibilità / Risparmio cognitivo

Un sistema informativo eticamente adeguato non dovrebbe avere limiti nella capacità di adattarsi ai bisogni e, perché no, ai capricci di chi lo usa. I limiti però esistono - di soldi, di spazio, di tempo, di attenzione - e in regime di risorse limitate due ulteriori qualità del sistema diventano altamente desiderabili: essere economicamente sostenibile per chi lo produce e cognitivamente poco dispendioso per chi lo usa. Non serve progettare uno strumento one-stop-shop se non si può garantirne la sussistenza nel tempo. Altrettanto inutile imbottirlo di percorsi ridondanti per il recupero delle informazioni che rientrano nel suo dominio di competenza (save the time of the user). Un sistema informativo bibliometrico come Wopus, d'altra parte, non può e probabilmente non deve rispettare i due dettami della sostenibilità e del risparmio cognitivo se vuole evitare di trasformarsi nell'ennesimo proiettile in canna per baroni e amministratori senza scrupoli. Il lavoro necessario a "ripulire" i dati bibliografici per poterli contare in modo sensato, soprattutto nelle analisi a livello aggregato, non è economicamente sostenibile perché mancano, allo stato attuale, algoritmi efficienti di disambiguazione su larga scala. I dati sono un prodotto, non una materia grezza pronta per la lavorazione, prima di usarli vanno scavati dal terreno e lucidati. Il risparmio cognitivo per l'utente-analista, a sua volta, non è un valore perché dopo la fatica di assemblare i dati ne viene una ancora più grande che consiste nel farli parlare alla luce di contesti intra- ed extra-bibliometrici di complessità crescente e spesso ridondanti: l'indice h racconta una storia in parte uguale in parte diversa dal numero di citazioni; l'indice g racconta un altro pezzo di storia assente dalle versioni precedenti, forse più illuminante forse no; e così via per indicatori category-normalized, percentili, altmetrics fino ad arrivare, perché no, ai dettagli biografici decisivi per la carriera di un ricercatore, come la solidità del suo gruppo di ricerca, l'abilità nella scelta di mèntori e collaboratori, l'indice di "zerbinatura" col quale si è guadagnato i favori del capo.

10. Libertà / Ipertestualità

In un sistema informativo virtuoso l'utente è libero di scegliere il percorso informativo più adeguato alle proprie esigenze e al proprio stile cognitivo. L'ipertestualità è una componente essenziale della libertà, anzi un suo prerequisito, poiché svincola l'uso della fonte da percorsi monolitici e preordinati. Tra un sistema che non tutela la libertà dell'utente ed uno che invece la salvaguarda esiste una differenza comparabile a quella che potrebbe sussistere tra una canzone di Selena Gomez eseguita da Selena Gomez e la stessa canzone di Selena Gomez usata da Charlie Parker o Michel Petrucciani per costruire variazioni sul tema: la prima è un inno alla catatonia in tutte le sue forme, dove due o tre accordi si ripetono allo stesso ritmo con cui un fan della musica jazz vorrebbe sbattere il cranio contro il muro per la desolazione nell'ascoltarla; la seconda è un inizio che si rigenera ad ogni battuta in forme sempre nuove e soprendenti grazie alla dialettica tra ipertestualità e intertestualità che caratterizza una parte consistente del discorso jazzistico. Da un certo punto di vista un database bibliometrico è la quintessenza dell'ipertestualità perché le citazioni connettono tra loro testi, quindi autori, istituzioni e settori di ricerca diversi al di fuori di confini temporali, disciplinari, professionali. L'utente di Wopus può certamente navigare nella rete bibliografica in qualunque direzione a lui/lei congeniale, ma si tratta di una libertà apparente che incontra almeno due vincoli strutturali: innanzitutto, le strade percorribili sono prefabbricate a partire da un numero limitato di documenti estratti dal nucleo dei core journals selezionati per l'indicizzazione; in secondo luogo, le stesse citazioni sono scatole nere impossibili da aprire per guardarci dentro. Come già osservato nella sezione sull'accessibilità, non sappiamo nulla delle intenzioni o della catena di associazioni elementari che hanno condotto un dato autore a battezzare un documento, proprio quel documento e non uno magari funzionalmente equivalente, nelle note bibliografiche. Potrei certamente, in linea di principio, provare a decifrare i significati impliciti in una serie di atti individuali di citazione bibliografica, ad esempio intervistando i citing authors o analizzando i contesti delle citazioni, ma quanto sarebbero generalizzabili i risultati ottenuti? E soprattutto: che libertà esiste nell'uso di uno strumento dove tutto (ciò che conta) viene deciso da qualcun altro (editori, ricercatori) e a me resta solo il privilegio di curiosare?

11. Interoperabilità

Un sistema informativo del XXI secolo deve necessariamente fondarsi su standard (tecnici, informatici, bibliografici) consolidati, pena l'impossibilità di comunicare, condividere e riutilizzare l'informazione in modo efficace. Nei database bibliometrici attuali gli standard bibliografici relativi ai singoli record sono molto elevati, quindi lo sarebbero anche in Wopus: l'indicizzazione approfondita (e.g. sul campo affiliation o sul campo acknowledgements) garantisce una varietà di canali di recupero dell'informazione impensabile in altri repertori; l'esportazione diretta da Web e il recupero automatico via API di metadati e indicatori facilitano la costruzione, l'arricchimento e il preprocessing dei dataset da utilizzare per l'analisi; l'uso di formati bibliografici standard come BibTex permette, nei limiti imposti dalle licenze commerciali, la condivisione e il riuso dell'informazione. Le violazioni del principio di interoperabilità, tuttavia, sono almeno due. La prima, già discussa nei paragrafi sull'accuratezza, la coerenza e la sostenibilità, riguarda l'assenza di un vero e proprio authority file e la fatica necessaria per ottenere dati di qualità a livello aggregato (autore, gruppo, dipartimento): un problema non solo bibliografico se si pensa che, ad esempio, la possibilità di dire quanto bassa o alta è la produttività media di un chimico locale dipende dalla conoscenza di quanti chimici, su scala mondiale, sono presenti nel database, da dove provengono e quali sono le loro pubblicazioni. La seconda violazione riguarda la classificazione delle pubblicazioni in subject categories. Pur prendendo il meglio da WoS e Scopus, per ragioni di sostenibilità il nostro Wopus non potrebbe andare oltre l'assegnazione delle categorie al livello delle riviste anziché dei singoli articoli. La classificazione risultante, quindi, non sarebbe migliore di quella che oggi viene utilizzata per normalizzare i conteggi delle citazioni negli esercizi di valutazione, ad esempio la VQR 2011-2014. A dire il vero, una classificazione del genere non sarebbe interoperabile nemmeno con se stessa nel giro di pochi anni. La ricerca procede e si evolve al di là dei confini disciplinari disegnati a tavolino o ricalcati su sistemi biblioteconomici di classificazione. Chi si occupa di genomica e proteomica si occupa di genomica e proteomica, non di genetica, così come chi studia enzimologia studia enzimologia, non fisiologia o biologia umana: il primo non è semplicemente un genetista, ma ha competenze quantitative di tipo matematico e informatico che caratterizzano la sua area di ricerca al di là dei confini artificiosi delle subject categories; il secondo può essere a sua volta un biologo, un chimico organico, un chimico fisico, un medico, un farmacologo oppure una tipologia di scienziato che raggruppa competenze derivanti da tutte queste aree e le applica in studi sperimentali che andrebbero classificati (e valutati) all'interno di schemi capaci di riflettere la natura interdisciplinare della ricerca sottostante. La letteratura bibliometrica pullula di sistemi più o meno sofisticati di classificazione dinamica delle research areas capaci, in teoria, di ritagliare in modo algoritmico gli spazi disciplinari al punto da rendere confrontabile lo specialista di genomica con gli altri specialisti di genomica o l'enzimologo con gli altri enzimologi, ma nessuno di tali sistemi ha mai trovato applicazione negli esercizi di valutazione: troppo complicati per essere implementati su larga scala, troppo scholarly per adattarsi alla banalità del fare quotidiano. Dove l'ottimo non è possibile, quindi, ci si accontenta del pessimo.

12. Epilogo

Il fatto che Wopus manifesti così tanti limiti su tutto il range dei valori compendiati nel volume di Ridi introduce la domanda conclusiva: dove rivolgersi per uscire dall'impasse etica? Una soluzione comoda sarebbe quella di ammettere che sì, è vero, i database non sono perfetti e gli indicatori che ne derivano lo sono ancora meno, ma ciò che conta in fondo è come vengono usati, non come sono costruiti o quanto difettoso sia il loro funzionamento. Sta al bibliometrista allora comprendere i limiti degli attrezzi del mestiere e porvi rimedio dispiegando l'arsenale delle proprie competenze. Questa è la via percorsa dal Leiden Manifesto for Research Metrics, un decalogo di buona condotta bibliometrica pubblicato di recente sulla rivistaNature da un gruppo di studiosi sponsorizzati dal CWTS di Leida. [4] Il manifesto non dice nulla di nuovo, ma lo dice bene, con tono ieratico e da un pulpito prestigioso. In sintesi: non si fa bibliometria con pochi indici tecnicamente inadeguati e ingannevolmente "precisi" (come l'IF o l'indice h), irrispettosi delle differenze disciplinari tra stili di pubblicazione e citazione, sganciati da considerazioni qualitative (peer review) e avulsi dal contesto in cui si colloca l'esercizio di valutazione. Il messaggio è del tutto condivisibile, lo sapevamo da circa 50 anni che certe cose sono disdicevoli, ma ora che ci viene ripetuto cosa "non" si deve fare con database e indicatori, chi ci dice invece cosa "si può" fare e soprattutto "come" farlo? Il CWTS non rende pubblico il suo Wopus - la versione locale di WoS purificata da alcuni dei peccati visti sopra e utilizzata nelle analisi bibliometriche su commissione che formano il suo core business - né tantomeno diffonde i report in cui si presume trovino incarnazione i suoi 10 comandamenti. Il risultato è che qualcuno ci dice di non uccidere mantenendo la licenza di uccidere, ci dice di non rubare mantenendo la licenza di rubare, ci dice di non desiderare la donna d'altri mantenendo la licenza di sedurre, e così via. Siamo lontani anni luce da Jack Bauer, Dexter Morgan, Don Draper: tutti trasgrediscono, con effetti globalmente positivi per l'equilibrio sociale, ma nessuno di loro dispensa regole di condotta universali. Basta fare un passo indietro, ripercorrere brevemente le tappe essenziali della storia della bibliometria, per rendersi conto anche che il dogmatismo etico insito nel manifesto ha un'affinità elettiva profonda con l'epistemologia - perdente, superata, vituperata - di stampo neopositivista da cui gli studi quantitativi della scienza hanno tratto linfa vitale sin dagli anni '60 del secolo scorso: la tesi che le citazioni siano atomi di peer review e che, in virtù del teorema del limite centrale, la loro analisi aggregata sia sempre possibile e significativa in presenza di campioni adeguati, è la naturale antesignana dell'idea che esistano principi assoluti di buona condotta bibliometrica e che ciascuno di tali principi abbia la stessa consistenza ontologica di un caciocavallo appeso al muro per la stagionatura (Benedetto Croce).

Essere consapevoli della fragilità del terreno su cui si cammina può diventare un punto di arrivo (e di fine del viaggio) o di partenza. Nel primo caso una reazione possibile è quella di gettare le armi e, da buoni bibliotecari, sposare la logica deviata e deviante della customer satisfaction. L'UB diventerebbe così il covo dei bibliotecari della VQR, dell'ASN e della SUA-RD, un semplice data provider di informazioni preconfezionate dalle piattaforme bibliometriche e di cui qualcuno, altrove, deciderà il senso e lo scopo. L'alternativa è quella di interpretare la fine del viaggio come un possibile nuovo inizio, un invito a "sporcarsi le mani" (Jean-Paul Sartre) in un terreno diverso da quello sterilizzato dei servizi amministrativi/bibliotecari. Ma tale alternativa richiede un mutamento radicale di prospettiva. Il mondo delle classificazioni bibliografiche e degli schemi di metadati si regge ancora su un paradigma essenzialistico: esistono i documenti, esistono gli autori che li producono all'interno di certi confini professionali e istituzionali, esistono i potenziali lettori di quei documenti, infine esistono i bibliotecari che usano linguaggi codificati di rappresentazione dell'informazione per mettere in comunicazione tra loro gli universi diversi dei documenti e dei potenziali lettori. Questo paradigma non funziona con la bibliometria: non esistono discorsi bibliometrici "puri" o "oggettivi", situati al di fuori della rete di relazioni di potere che coinvolge i testi, gli autori (inclusi gli analisti) e le istituzioni di cui fanno parte in un particolare contesto (Michel Foucault). Il bibliometrista non descrive cose che esistono là fuori per farle conoscere a chi potrebbe trarne giovamento, ma utilizza una serie di dispositivi (database, piattaforme analitiche, indicatori) per ottenere risposte a domande che sono già inscritte nei criteri con cui quegli stessi dispositivi sono costruiti e funzionano. Il discorso bibliometrico è in larga parte un discorso autistico. Non c'è cura, si può solo provare a controllarne gli effetti, a limitarne le emissioni tossiche, ad esempio evitando di fornire semplicemente numeri privi di contesto e sforzandosi piuttosto di produrre numeri che raccontano una storia da cui possono anche essere smentiti. Numeri dei quali dovrebbe essere anche possibile rintracciare gli effetti sulle decisioni prese (o mancate) a livello individuale o istituzionale.

Non si esce dal paradosso bibliometrico con la teoria e tantomeno con il moralismo ipocrita travestito da professional counseling del manifesto di Leida. Se ne può uscire, forse:

a) "facendo" prima di teorizzare (shut up and dance);

b) "osservando" le conseguenze di quello che si fa per capire se la direzione è quella giusta;

c) "raccontando" quello che si è fatto prima di trovargli una morale, se possibile in uno spazio aperto di discussione con i soggetti valutati e con tutti coloro che stanno provando a fare le stesse cose a livello locale, regionale, nazionale, internazionale;

d) infine, "cestinando" il prodotto finito dell'analisi e ammettendo esplicitamente "ho sbagliato" se il risultato fosse talmente sfasato rispetto al corso degli eventi, quindi inutile o dannoso per i soggetti valutati, da rivelarsi inadeguato.

Non è mai facile capire se la direzione imboccata da un'analisi bibliometrica sia quella giusta. In un'ottica evidence based, bisognerebbe essere capaci di lavorare su dataset longitudinali, monitorando l'andamento dei soggetti analizzati dopo che eventuali decisioni "informate" dalla bibliometria siano state prese. Ma è complicato lavorare quando c'è di mezzo la dimensione temporale, le variabili fuori controllo sono tante, troppe: dalle diverse potenzialità bibliografiche delle aree di ricerca (o addirittura dei research topics) alla variabilità dei finanziamenti e degli equilibri di potere interni all'istituzione di appartenenza. Un sintomo iniziale di inadeguatezza, comunque, è relativamente facile da scorgere: se i risultati parziali dell'analisi ed i feedback ricevuti sono talmente equilibrati, asettici e politically correct da rendere tutti contenti perché-tanto-si-sa-che-niente-può-cambiare allora è molto probabile che il lavoro svolto sia stato totalmente inutile, pura ginnastica numerologica buona per le riunioni di programmazione o per la SUA-RD, anche se resta sempre aperta (anzi garantita dalla neutralità dell'esito) la possibilità di riutilizzare il materiale per confezionare un bell'articolo di rivista di fascia A da immettere nel circuito auto-referenziale della discussione accademica.

Note

[1] Chi non conosce i personaggi delle serie tv citate nel testo può consultare le voci Wikipedia corrispondenti o le biografie immaginarie su IMDb - Internet Movie Database, http://www.imdb.com (Data ultima consultazione: 11/2/2017).