Un Large Language Model (LMM) è un modello linguistico costituito da una rete neurale con molti parametri, addestrata su grandi quantità di testo non etichettato utilizzando il SSL (self-supervised learning).
Rappresentano uno degli ambiti della ricerca sull’elaborazione del linguaggio naturale. La loro funzione di base è di prevedere la parola successiva in una sequenza, sebbene questi modelli abbiano sorpreso gli esperti imparando nuove abilità.
Al momento non esiste una definizione formale di LMM. Si ricorre a questa definizione quando si ha a che fare con modelli di deep learning con un numero di parametri dell’ordine di miliardi o più, raccolti in un certo periodo di tempo. In generale gli LLM sono modelli generici, che possono svolgere diversi compiti.
Le principali applicazioni dei Large Language Model sono: i motori di ricerca, l’elaborazione del linguaggio naturale, la sanità, la robotica e la generazione di codice. Tra le principali problematiche degli LLM troviamo la loro costituzione e il loro mantenimento, che possono essere difficili e costosi. Anche la loro implementazione, data la grandezza, richiede competenze tecniche elevate. Infine vi sono dei fenomeni, come le cosiddette “allucinazioni”, che sono ancora in fase emergente e solo parzialmente studiate.
I LLM sono diventati particolarmente famosi con il lancio della beta pubblica di ChatGPT, un’IA chatbot sviluppata da OpenAI e rilasciata pubblicamente nel novembre 2022. ChatGPT si basa sulle famiglie di large language model proprietari GPT-3.5 e GPT-4, opportunatamente revisionate con tecniche di apprendimento supervisionato e rinforzo.