Blog Guide Portfolio Biografia antoniotrento.net
Italiano English

Stack AI sovrano

Modelli, costi e privacy

vLLM vs Ollama, TCO reale, GDPR e AI Act: quando il cloud LLM ti costa i clienti e quando conviene comunque, con numeri.

Modelli, costi e privacy

La domanda arriva in tre forme diverse, ma è sempre la stessa. Il titolare chiede “quanto ci costa?”. Il DPO chiede “dove vanno i dati?”. Chi deve far funzionare il sistema chiede “regge se lo usano in trenta?”. Le tre risposte sono legate. Un modello in cloud costa poco al primo mese e manda i prompt fuori dall’azienda. Uno self-hosted tiene i dati in casa e ti lascia la GPU, la bolletta e la manutenzione. Un servizio pensato per una persona sola crolla al quindicesimo utente.

Questa guida raccoglie gli articoli che fanno i conti veri: su euro, token, VRAM e kilowattora, su cosa dicono GDPR e AI Act quando i prompt contengono clienti italiani, e su come scegliere tra cloud e self-hosted senza ideologia, con numeri.

Il principio: il prezzo per token non è il costo

Il filo che lega questi articoli è che il listino non è il conto. Il prezzo per milione di token dice quanto paghi il modello, non quanto ti costa il sistema. Nel costo vero ci sono il volume reale (che è sempre più alto di quello stimato), i retry, le persone che controllano le risposte, i dati che non puoi mandare fuori e devi trattare a parte, la dipendenza da un fornitore che cambia prezzi e modelli quando vuole. Dall’altra parte, il self-hosted ha costi che non compaiono nella demo: l’hardware, l’energia, chi aggiorna, chi si accorge quando la GPU va in throttling.

Il secondo filo è che privacy e costo non sono in conflitto, se il sistema è progettato bene. Una cache fatta male risparmia token e serve la risposta di un cliente a un altro. Un modello locale ben dimensionato tiene i dati in azienda e costa meno di un abbonamento per utente. La scelta giusta dipende dal volume, dai dati e dalle competenze che hai, non da una preferenza.

I temi (e l’articolo che li affronta)

Dove girano i modelli

Quanto costa davvero

Regole e controllo

Il pezzo che decide tutto: il dimensionamento onesto

In quasi tutti questi articoli la decisione si gioca su una tabella che nessuno vuole compilare: quanti utenti contemporanei, quanti documenti al mese, quanti token per richiesta, che qualità minima serve, quali dati non possono uscire. Con quei cinque numeri la scelta diventa quasi meccanica. Senza, si sceglie in base all’ultima demo vista.

Due errori tornano spesso. Il primo è dimensionare sulla media invece che sul picco: il servizio regge il martedì pomeriggio e crolla il lunedì mattina, quando tutti aprono la chat insieme. Il secondo è confrontare un modello di frontiera in cloud con un modello locale su compiti che il modello locale non deve fare. Per scrivere, riassumere e classificare in italiano, un modello open-weight ben scelto basta quasi sempre. Per il ragionamento complesso, a volte no. Va detto per nome, caso per caso.

Privacy: dove finisce il prompt

L’altro asse di questa guida è una domanda semplice: dove finisce il testo che scrivi? In un servizio cloud, sui server del fornitore, con le condizioni del contratto che hai firmato (o che non hai letto). In un modello self-hosted, sui tuoi server, ma anche nei log, nei trace di osservabilità, nella cache, nei backup. Proteggere i dati non è solo scegliere dove gira il modello. È sapere ogni posto in cui il testo viene copiato e quanto ci resta.

Per le architetture che fanno girare questi modelli in casa — container, reti interne, segreti, backup — il riferimento è la guida allo stack sovrano. Per i modelli che non solo rispondono ma agiscono sui sistemi, c’è la guida sugli agenti che eseguono.

Come usare questa guida

Parti dalla domanda che ti stanno facendo adesso: quella del titolare sul costo, quella del DPO sui dati o quella di chi gestisce il server sulla tenuta. Ogni articolo ha numeri dichiarati come stime, un’architettura di riferimento, i fallimenti tipici riconoscibili dai log e una sezione su quando non conviene la strada che descrive. A volte un servizio cloud con un buon contratto è la scelta giusta, e va detto.

Se vuoi fare i conti sul tuo volume e sui tuoi dati prima di comprare GPU o firmare un abbonamento, trovi il mio percorso nella biografia e puoi scrivermi da contatti.

Qui sotto trovi tutti gli articoli di questa guida.

Articoli di questa guida

12 November 2026

Come montare un "ChatGPT privato" su due GPU usate: modelli, coda, rete interna e cosa dire ai dipendenti al posto del divieto inutile

Progetto interno per una PMI: chat aziendale self-hosted su due GPU usate, dietro SSO, con modelli open-weight su vLL...

25 October 2026

Cache semantica sulle chiamate LLM: quando risparmi il 40% e quando servi la risposta sbagliata a un altro cliente

Cache semantica LLM in produzione: exact hash vs nearest neighbor, il bug della similarità alta tra clienti diversi, ...

22 October 2026

Quanto costa davvero GPT-4o vs un Qwen self-hosted su 100.000 documenti/mese (TCO con elettricità, persone e scarti)

TCO di un LLM in cloud contro uno self-hosted su 100.000 documenti al mese: token di input e output, cache, batch, GP...

12 October 2026

Fine-tuning vs RAG per le FAQ aziendali in italiano: quando addestrare è spreco (e quando il retrieval non basta)

Fine-tuning vs RAG per un assistente FAQ aziendale in italiano: perché per i fatti che cambiano ogni mese il fine-tun...

4 October 2026

Osservabilità degli LLM in produzione: tracce, costo per run, retry e perché "guarda la chat" non è un monitoraggio

Osservabilità degli LLM in produzione con l'occhio dell'SRE: tracce e span, costo per run, retry idempotenti, budget ...

27 September 2026

EU AI Act per chi monta agenti in PMI nel 2026: sei ad alto rischio o stai solo automatizzando l'inbox?

Guida operativa all'EU AI Act per PMI che montano agenti nel 2026: albero decisionale alto rischio sì/no, dossier min...

22 September 2026

Mettere ChatGPT nel CRM è un data leak: cosa dice il GDPR (e l'AI Act) se i prompt contengono clienti italiani

Il commerciale incolla l'opportunity su ChatGPT per farsi scrivere una mail. In quel gesto ci sono dati di clienti it...

21 September 2026

Ollama in produzione è una trappola: quando serve vLLM (e come scegliere la GPU usata senza bruciare il budget)

Ollama è perfetto per sviluppare e per un utente. Con 15 dipendenti in contemporanea collassa: code, timeout, latenza...

Antonio Trento — System Architect & AI Integrator

Questo è il tuo problema?

Progetto e costruisco dati, backend, interfaccia e agenti AI end-to-end. Niente slide: sistemi che girano e restano tuoi.