Appunti, questioni aperte, mutamenti e percezioni
Anno nuovo, vita nuova!
No.
Anche tu sei statǝ bombardatǝ dai meme (e, giuro, ho i brividi al pensiero di usare questa parola in un’accezione lontana da quella della memetica (se hai bisogno di un consiglio di lettura di saggistica, goditi: “La macchina dei memi” di Susan Blackmore)) in cui si sfanculava il 2020 dando il benvenuto al 2021?
Bah. Voglio dire: è la continuazione, non il reboot.
E visto che non è un reboot, voglio annotare, più a vantaggio mio che tuo, un paio di cose relative all’e-learning, in particolare ai nostri software, e mi farò guidare da due parole chiave: mutamenti e percezioni.
Mutamenti, allora
Ce ne sono stati tanti, ovviamente, e non ho intenzione adesso di mettermi a fare discorsi sui massimi sistemi, ne indico uno solo che ci ha fatto pensare: con il lockdown, a dicembre, l’uso del cellulare si è quasi dimezzato a vantaggio del computer. Non che sia diminuito, ma è cresciuto molto meno e sul totale risulta ridotto: se guardiamo ai sistemi operativi, ad esempio, l’uso dei nostri applicativi attraverso desktop è più che raddoppiato (Windows dall’8 al 19%, macOS dal 3 al 9%), mentre il passaggio da Android o iOS è aumentato di pochi punti (rispettivamente dall’8 al 12% e dal 18 al 23%). Abbiamo guadagnato anche due utenti due che sono riusciti a usare Alatin attraverso Playstation 4 (per il quale NON è ottimizzato ma la mia posizione è “non so, non voglio sapere (ma forse con PS4 era meglio giocare, chessò, a Detroit Becoming Human? Chiedo per un amico)”).
Il dato per noi è notevole alla luce di due fatti:
- quantitativo: gli altri indici sono aumentati (per Alatin abbiamo raddoppiato gli utenti e le sessioni di lavoro) e qualcosa è rimasto stabile (la durata della sessione media continua ad essere intorno ai 19 minuti; );
- qualitativo: lo smartphone non è cambiato, non sono cambiate le sue applicazioni e i suoi modi d’uso e ho il sospetto, anche se non sono riuscito a trovare dati comparati attendibili sull’uso di smartphone e desktop nei due anni scorsi per la fascia d’età che mi interessa (~14–16 anni), che li si continui a usare come sempre, per le medesime applicazioni e con i medesimi fini.
Questo conferma qualcosa che sapevamo già, e cioè che usare il desktop è più comodo e, se si può, si usa quello. Oppure no? In fondo, se confrontiamo i risultati non sul mese di dicembre ma sul trimestre settembre-dicembre i rapporti cambiano un po’.
Perché queste differenze? Non lo so. Ma se qualcunǝ ha ipotesi in merito, sono a disposizione.
Percezioni
Uno dei problemi che Alatin si porta dietro praticamente dal primo giorno di vita è la rigidità nella correzione. Lǝ studenti, e spesso pure ǝ docenti, ci fanno notare che “la risposta è giusta ma voi me la segnate sbagliata”.
Ovviamente se una risposta è sbagliata è sbagliata e basta, ma esistono due gruppi di casi in cui la percezione dell’utente è corretta:
- manca una variante: ci succedeva tanto all’inizio, quando per tradurre un perfetto le nostre autrici non mettevano magari un passato remoto e poi lǝ studenti del sud che ancora lo usano (benedettǝ loro: il tempo passato remoto è bello quasi quanto il tempo libero) ci bacchettavano;
- i refusi.
Abbiamo trattato in modo diverso i due problemi.
Varianti: poiché sapevamo di questa potenziale mancanza della macchina, fin dall’inizio e per cinque anni abbiamo pagato un servizio di assistenza che recepiva tutte le lamentele e incrementava l’enciclopedia di macchina. Umani che leggevano le risposte dellǝ utenti e decidevano se le varianti proposte erano accettabili o meno e le inserivano in macchina quando lo erano.
Abbiamo risolto? Ci torneremo, dammi un attimo.
Sui refusi, dopo diversi esperimenti con il Machine Learning (che si scontravano con due problemi significativi: dimensioni del corpus e costi di revisione reale), abbiamo optato per una soluzione più interattiva: la macchina capisce se nella tua traduzione c’è almeno una parola che non è neanche italiana e ti dice di ricontrollare la tua risposta. Puoi ignorare la macchina oppure ascoltarla ma poi decidere comunque di inviare la tua risposta così com’è. Se fai un refuso, ma il refuso è una parola italiana (per esempio scrivi cambio invece di cambiò) la macchina non si preoccupa di cercare di capire che tipo di errore hai fatto: per lei hai sbagliato e basta. Non aiutiamo troppo, non forniamo la soluzione, non ti diciamo che devi imparare a mettere gli accenti giusti su perché, poiché e affinché ma non ti seghiamo neanche le gambe subito in un discreto numero di casi.
Abbiamo risolto? Abbiamo fatto tutto quello che potevamo fare: di più era impossibile perché uno degli scopi di Alatin è farti imparare a padroneggiare la tua lingua, se non stai attentǝ quando invii la risposta è un problema tuo e lo sarà per tutta la tua vita: io quando mi arrivano i curricola deǝ candidatǝ con errori di digitazione li cestino subito: perché dovrei pensare di assumere qualcunǝ che non si è neanche preoccupatǝ di ricontrollare e correggere il testo con cui si presenta.
Tanti saluti e baci.
Il problema delle varianti è apparentemente non risolvibile: alcune varianti semplicemente mancano, è vero, ma altre non possono essere messe in un certo contesto (bo’, ci sono manciate di verbi, per dire, che hanno manciate di possibili traducenti: habeo cambia significato all’attivo e al passivo, e verbi come sto o ago hanno significati che vanno da stare in piedi a dipendere, da condurre a inseguire) oppure sono proprio sbagliate.
Poiché l’approccio per dati è per noi essenziale, abbiamo iniziato a fare qualche carotaggio, per decidere come sarebbe stato meglio operare.
Prendo a caso (questo non è un paper né una ricerca, sono appunti) un esercizio dall’unità da cui abbiamo iniziato, quella sui predicativi.
L’esercizio prevedeva di tradurre questa frase:
Triumviri consilia populus stulta iudicat.
La traduzione andava fatta in due fasi, la prima aveva come varianti accettate (uso il pipe per distinguere i blocchi di traducenti):
il popolo giudica stolti | il popolo giudica stolte
(considera che per questo esercizio è presente un dizionario integrato: basta cliccare sulle parole in latino per avere il traducente giusto) mentre la seconda fase aveva come varianti accettate:
i progetti del triumviro | i progetti di un triumviro | le decisioni del triumviro | le decisioni di un triumviro | i progetti del triùmviro
Abbiamo 2830 risposte sbagliate contro 2661 risposte corrette (è la domanda che ha elicitato il maggior numero di risposte sbagliate).
Ecco la lista delle prime cinquanta risposte scorrette (a sinistra il numero di occorrenze, a destra la risposta sbagliata):
473 — ‘il popolo giudica stolto’, ‘il progetto del triumviro’
171 — ‘il popolo giudica stolti’, ‘i progetti dei triumviri’
170 — ‘il popolo giudica stolti’, ‘i consigli del triumviro’
147 — ‘il popolo giudica stolto’, ‘i progetti del triumviro’
134 — ‘il popolo stolto giudica’, ‘il progetto del triumviro’
125 — ‘il popolo giudica stolto’, ‘il progetto dei triumviri’
104 — ‘il popolo giudica stolti’, ‘i progetti di triumviro’
101 — ‘il popolo giudica stolto’, ‘il progetto di triumviro’
74 — ‘il popolo giudicava stolti’, ‘i progetti del triumviro’
64 — ‘il popolo stolto giudica’, ‘i progetti del triumviro’
57 — ‘il popolo giudica stolto’, ‘il consiglio del triumviro’
44 — ‘il popolo stolto giudica’, ‘il progetto dei triumviri’
40 — ‘il popolo stolto giudica’, ‘il progetto di triumviro’
40 — ‘il popolo giudica stolti’, ‘i progetti del triunviro’
35 — ‘giudica il popolo stolto’, ‘il progetto del triumviro’
33 — ‘il popolo giudica stolti’, ‘i consigli dei triumviri’
32 — ‘il popolo stolto’, ‘il consiglio di trimuviro’
31 — ‘il popolo giudica stolto’, ‘il progetto del triùmviro’
29 — ‘il popolo giudica stolti’, ‘i progetti del triumviri’
29 — ‘il popolo giudica stolti’, ‘i progetti del trumviro’
26 — ‘il popolo giudica stolto’, ‘il consiglio dei triumviri’
25 — ‘il popolo giudica stolti’, ‘i progetti del triumvirato’
24 — ‘il popolo giudica stolto’, ‘il progetto triumviro’
24 — ‘il popolo giudica stolti’, ‘il progetto del triumviro’
23 — ‘il popolo giudica stolti’, ‘i proggetti del triumviro’
22 — ‘il popolo giudica stolto’, ‘i progetti dei triumviri’
20 — ‘il popolo stolto giudica’, ‘il progetto triumviro’
19 — ‘il popolo giudica stolti’, ‘i progetti del triùmviro’
19 — ‘il popolo considera stolti’, ‘i progetti del triumviro’
18 — ‘il popolo giudica stolto’, ‘il progetto del triumvirato’
17 — ‘il popolo giudica stolto’, ‘il progetto di triumviri’
17 — ‘il popolo giudica gli stolti’, ‘i progetti del triumviro’
17 — ‘il popolo giudicava stolto’, ‘il progetto del triumviro’
15 — ‘il popolo giudica stolto’, ‘il progetto del triúmviro’
15 — ‘il popolo giudica stolti’, ‘i progetti del triumvirio’
14 — ‘i popoli giudicano stolti’, ‘i progetti del triumviro’
14 — ‘il popolo giudica stolti’, ‘i progetti del trimviro’
14 — ‘il popolo stolto giudica’, ‘i progetti dei triumviri’
13 — ‘h’, ‘h’
13 — ‘il popolo giudica stolto’, ‘il consiglio di trimuviro’
13 — ‘’, ‘’
13 — ‘giudica il popolo stolto’, ‘il progetto dei triumviri’
13 — ‘giudica il popolo stolto’, ‘il progetto di triumviro’
13 — ‘il popolo giudica solti’, ‘i progetti del triumviro’
12 — ‘il popolo considera stolto’, ‘il progetto del triumviro’
11 — ‘il popolo giudica gli stolti’, ‘progetti del triumviro’
11 — ‘il popolo giudica stolto’, ‘i progetti di triumviro’
11 — ‘g’, ‘g’
11 — ‘il popolo giudica stolto’, ‘i consigli del triumviro’
11 — ‘giudica il popolo stolto’, ‘il consiglio del triumviro’
Alcuni problemi ho faticato proprio a vederli: la seconda risposta sbagliata con 29 occorrenze riporta trumviro invece di triumviro: per distinguere l’errore ho messo la stringa con l’errore e quella giusta una sopra l’altra e ho guardato dove non erano allineate. Poi ci sono dei proggetti, dei trimviri, ci sono popoli stolti che giudicano, ma il grosso degli errori dipende da un problema di numero grammaticale.
C’è un vero problema di varianti: 19 persone hanno risposto usando considera invece di giudica che è ovviamente corretto, ma stiamo parlando di 19 risposte contro oltre 5.000.
Faremo altri carotaggi, e intendiamo comunque arricchire il capitale di risposte corrette secondo il software, eppure abbiamo anche iniziato a interrogarci su come migliorare la percezione della bontà del software.
A volte la sostanza non basta.