vLLM vs Ollama, TCO reale, GDPR e AI Act: quando il cloud LLM ti costa i clienti e quando conviene comunque, con numeri.
La domanda arriva in tre forme diverse, ma è sempre la stessa. Il titolare chiede “quanto ci costa?”. Il DPO chiede “dove vanno i dati?”. Chi deve far funzionare il sistema chiede “regge se lo usano in trenta?”. Le tre risposte sono legate. Un modello in cloud costa poco al primo mese e manda i prompt fuori dall’azienda. Uno self-hosted tiene i dati in casa e ti lascia la GPU, la bolletta e la manutenzione. Un servizio pensato per una persona sola crolla al quindicesimo utente.
Questa guida raccoglie gli articoli che fanno i conti veri: su euro, token, VRAM e kilowattora, su cosa dicono GDPR e AI Act quando i prompt contengono clienti italiani, e su come scegliere tra cloud e self-hosted senza ideologia, con numeri.
Il filo che lega questi articoli è che il listino non è il conto. Il prezzo per milione di token dice quanto paghi il modello, non quanto ti costa il sistema. Nel costo vero ci sono il volume reale (che è sempre più alto di quello stimato), i retry, le persone che controllano le risposte, i dati che non puoi mandare fuori e devi trattare a parte, la dipendenza da un fornitore che cambia prezzi e modelli quando vuole. Dall’altra parte, il self-hosted ha costi che non compaiono nella demo: l’hardware, l’energia, chi aggiorna, chi si accorge quando la GPU va in throttling.
Il secondo filo è che privacy e costo non sono in conflitto, se il sistema è progettato bene. Una cache fatta male risparmia token e serve la risposta di un cliente a un altro. Un modello locale ben dimensionato tiene i dati in azienda e costa meno di un abbonamento per utente. La scelta giusta dipende dal volume, dai dati e dalle competenze che hai, non da una preferenza.
Dove girano i modelli
Quanto costa davvero
Regole e controllo
In quasi tutti questi articoli la decisione si gioca su una tabella che nessuno vuole compilare: quanti utenti contemporanei, quanti documenti al mese, quanti token per richiesta, che qualità minima serve, quali dati non possono uscire. Con quei cinque numeri la scelta diventa quasi meccanica. Senza, si sceglie in base all’ultima demo vista.
Due errori tornano spesso. Il primo è dimensionare sulla media invece che sul picco: il servizio regge il martedì pomeriggio e crolla il lunedì mattina, quando tutti aprono la chat insieme. Il secondo è confrontare un modello di frontiera in cloud con un modello locale su compiti che il modello locale non deve fare. Per scrivere, riassumere e classificare in italiano, un modello open-weight ben scelto basta quasi sempre. Per il ragionamento complesso, a volte no. Va detto per nome, caso per caso.
L’altro asse di questa guida è una domanda semplice: dove finisce il testo che scrivi? In un servizio cloud, sui server del fornitore, con le condizioni del contratto che hai firmato (o che non hai letto). In un modello self-hosted, sui tuoi server, ma anche nei log, nei trace di osservabilità, nella cache, nei backup. Proteggere i dati non è solo scegliere dove gira il modello. È sapere ogni posto in cui il testo viene copiato e quanto ci resta.
Per le architetture che fanno girare questi modelli in casa — container, reti interne, segreti, backup — il riferimento è la guida allo stack sovrano. Per i modelli che non solo rispondono ma agiscono sui sistemi, c’è la guida sugli agenti che eseguono.
Parti dalla domanda che ti stanno facendo adesso: quella del titolare sul costo, quella del DPO sui dati o quella di chi gestisce il server sulla tenuta. Ogni articolo ha numeri dichiarati come stime, un’architettura di riferimento, i fallimenti tipici riconoscibili dai log e una sezione su quando non conviene la strada che descrive. A volte un servizio cloud con un buon contratto è la scelta giusta, e va detto.
Se vuoi fare i conti sul tuo volume e sui tuoi dati prima di comprare GPU o firmare un abbonamento, trovi il mio percorso nella biografia e puoi scrivermi da contatti.
Qui sotto trovi tutti gli articoli di questa guida.
Progetto interno per una PMI: chat aziendale self-hosted su due GPU usate, dietro SSO, con modelli open-weight su vLL...
Cache semantica LLM in produzione: exact hash vs nearest neighbor, il bug della similarità alta tra clienti diversi, ...
TCO di un LLM in cloud contro uno self-hosted su 100.000 documenti al mese: token di input e output, cache, batch, GP...
Fine-tuning vs RAG per un assistente FAQ aziendale in italiano: perché per i fatti che cambiano ogni mese il fine-tun...
Osservabilità degli LLM in produzione con l'occhio dell'SRE: tracce e span, costo per run, retry idempotenti, budget ...
Guida operativa all'EU AI Act per PMI che montano agenti nel 2026: albero decisionale alto rischio sì/no, dossier min...
Il commerciale incolla l'opportunity su ChatGPT per farsi scrivere una mail. In quel gesto ci sono dati di clienti it...
Ollama è perfetto per sviluppare e per un utente. Con 15 dipendenti in contemporanea collassa: code, timeout, latenza...
Antonio Trento — System Architect & AI Integrator
Progetto e costruisco dati, backend, interfaccia e agenti AI end-to-end. Niente slide: sistemi che girano e restano tuoi.
Se un processo ti costa ore, clienti o margine, probabilmente si può costruire. Parliamone.
Prenota una call