Modelli aperti: cosa vuol dire e quando conviene a un’azienda

Quando si parla di modelli di intelligenza artificiale “aperti” si mescolano tre cose diverse, e la confusione costa cara nel momento in cui bisogna decidere se usarne uno. Vale la pena separarle prima di ogni altra considerazione.

1. Cosa viene aperto davvero

Un modello linguistico è fatto di pesi: miliardi di numeri che l’addestramento ha regolato uno per uno, e che insieme costituiscono quello che il modello sa fare. Sono un file, molto grande, che si scarica come si scarica un programma.

Quasi tutti i modelli che vengono chiamati aperti sono a pesi aperti, e la formula esatta è questa. Vuol dire che si può scaricare quel file, eseguirlo sulle proprie macchine e modificarlo. Non vuol dire che siano pubblici né il codice usato per addestrarlo né, soprattutto, i dati su cui è stato addestrato, che restano il segreto industriale meglio custodito del settore.

La differenza con il software libero è sostanziale: di un programma open source si può leggere il sorgente e capire perché fa quello che fa. Di un modello a pesi aperti si ha il risultato, non la ricetta. Nessuno, nemmeno chi l’ha costruito, sa spiegare perché un certo peso vale un certo numero.

2. Le licenze non sono tutte uguali

È il punto che salta più spesso, e l’unico che può creare problemi legali veri. “Scaricabile” non implica “usabile per lavoro senza condizioni”.

• Licenze permissive, tipicamente Apache 2.0. Consentono uso commerciale, modifica e ridistribuzione senza pagare niente e senza limiti di scala. È il caso della famiglia Qwen di Alibaba e di diversi modelli di Mistral.
• Licenze proprie del produttore, come la Llama Community License di Meta. Permettono l’uso commerciale ma aggiungono condizioni: una licenza separata da negoziare oltre una certa soglia di utenti mensili, e il divieto di usare i testi prodotti dal modello per addestrarne un altro di famiglia diversa.

Per la maggior parte delle aziende italiane la soglia sugli utenti è irrilevante, ma il secondo vincolo no: chi pensa di generare dati sintetici per specializzare un modello proprio deve guardare la licenza prima di cominciare, non dopo.

3. Quanto è grande, e cosa serve per farlo girare

La taglia di un modello si misura in parametri, che sono quei numeri di cui sopra. La quantità decide tutto il resto: quanta memoria serve, quanto costa l’hardware, quanto è veloce la risposta.

Qui c’è il dato che smonta l’immagine corrente del settore. Secondo il rapporto semestrale di Hugging Face, la piattaforma da cui questi modelli si scaricano, l’83% dei download riguarda modelli sotto il miliardo di parametri, e quelli sopra i cento miliardi valgono l’1%.

Tradotto: il grosso di chi usa modelli aperti non sta provando a ricostruire ChatGPT in ufficio. Sta prendendo un modello piccolo e mettendolo a fare un compito solo. Un modello sotto il miliardo di parametri gira su un portatile aziendale recente. Uno da qualche decina di miliardi richiede una scheda grafica dedicata, cioè una spesa hardware nell’ordine delle migliaia di euro. Sopra, si entra in un territorio che ha senso solo per chi ha già un centro di calcolo.

Esiste una tecnica che sposta un po’ questi confini, la quantizzazione: si riduce la precisione con cui ogni peso viene memorizzato, ottenendo un file molto più leggero al prezzo di un piccolo calo di qualità. È il motivo per cui modelli che sulla carta sembrano fuori portata a volte girano su macchine normali.

4. Le tre ragioni per cui un’azienda ci pensa

• I dati non escono. È la ragione più forte, e per certi settori è l’unica che conta. Se il modello gira su un server che controllate, i documenti dei clienti, le cartelle sanitarie o i progetti riservati non vengono trasmessi a nessuno. Nessun fornitore da valutare, nessun trasferimento fuori dall’Unione Europea da giustificare, nessun dubbio su cosa finisca nei futuri addestramenti.
• Il costo diventa fisso. Con un servizio a consumo si paga ogni singola richiesta, quindi la spesa cresce con l’uso. Con un modello ospitato in proprio si paga l’infrastruttura e poi il costo marginale è vicino a zero. Sotto una certa soglia di volume conviene il consumo, sopra conviene il possesso.
• Il modello non cambia sotto i piedi. I fornitori aggiornano e ritirano i modelli quando decidono loro, e un processo tarato su un certo comportamento può smettere di funzionare senza preavviso. Un file scaricato resta esattamente quello che era.

5. Le tre ragioni per cui poi si rinuncia

• La qualità sui compiti difficili. Sui compiti ben definiti i modelli aperti sono ormai adeguati. Sui ragionamenti lunghi e sui casi ambigui i modelli di punta dei grandi laboratori restano avanti, e la distanza si sente proprio dove il lavoro è più delicato.
• La manutenzione è vostra. Aggiornamenti, sicurezza, prestazioni, il modello che smette di rispondere il venerdì sera: tutto quello che con un servizio esterno è compreso nel prezzo, qui è tempo di qualcuno. Ed è il costo che nei conti preventivi manca quasi sempre.
• Il risparmio spesso non c’è. Sommando hardware, energia e giornate di lavoro, l’ospitare in proprio conviene solo oltre volumi che la maggior parte delle piccole aziende non raggiunge. Sotto quella soglia si paga di più per avere di meno, in cambio del controllo sui dati.

6. La via di mezzo che quasi nessuno considera

La scelta viene sempre presentata come un aut aut fra ospitare in casa e usare un servizio chiuso. Ce n’è una terza, ed è quella che risolve la maggior parte dei casi reali: usare un modello aperto ospitato da qualcun altro.

Diversi fornitori, alcuni con server nell’Unione Europea, mettono a disposizione gli stessi modelli aperti attraverso un’interfaccia a consumo. Si paga per uso come con un servizio chiuso, ma il modello è pubblico, la licenza è nota e in qualunque momento si può scaricare quel file e portarselo altrove. Non c’è la garanzia assoluta del server proprio, e non c’è nemmeno il vincolo che lega a un fornitore unico.

Come decidere, in pratica

Tre domande, in quest’ordine.

• Che dati passano dal modello? Se sono dati che per contratto o per legge non possono uscire dal vostro perimetro, la risposta è già data e il resto sono dettagli.
• Quante richieste al mese? Se sono poche migliaia, un servizio a consumo costa meno di qualunque alternativa e non richiede nessuno che se ne occupi.
• Il compito è uno o sono venti? Un compito solo e ben delimitato è il caso in cui un modello piccolo funziona benissimo e costa niente. Venti compiti diversi e vaghi chiedono un modello generalista, che è dove i servizi commerciali restano avanti.

La domanda giusta non è quale modello sia il migliore. È quale sia il più piccolo che risolve il vostro problema, perché è quello che poi si riesce davvero a mandare avanti.