Sumplete - Progettato dalla AI

sumplete

Sumplete è stato progettato e realizzato completamente da chatGPT.

E' stato chiesto prima di consigliare un nuovo rompicapo da giocare per chi apprezza il Sudoku.
Dopo aver ottenuto un buon elenco di risultati, già tutti noti, ci si è chiesto se ChatGPT potesse davvero inventare un proprio rompicapo. Al quarto tentativo è venuto fuori questo "Sum Delete puzzle" che sembrava interessate. Ma è in grado di crearne una versione giocabile ?
30 secondi dopo c'era già una versione completamente giocabile del puzzle nel browser. Alla fine è stato chiesto perfino di migliorare il design aggiungendo alcuni CSS e di inventarsi un nome.

Il processo completo


Le Proprietà Emergenti della AI

categorie

137 emergent abilities of large language models


Un'abilità è considerata "emergente" se non è presente nei modelli più piccoli ma lo è in quelli più grandi. I modelli linguistici odierni sono stati dimensionati principalmente in base a tre fattori: quantità di calcolo, numero di parametri e dimensione del set di dati di addestramento.
In generale, si può considerare l'emergere di nuove proprietà come una funzione di molte variabili correlate. La scala in cui si osserva per la prima volta l'emergere di un'abilità dipende da una serie di fattori e non è una proprietà immutabile. In figura si vede come le prestazioni esplodano oltre un certo ordine di grandezza dei parametri.

Ecco una breve lista di oltre 200 proprietà emergenti dei modelli:

- La capacità di eseguire un compito tramite brevi serie di prompt legati (few-shots) è emergente quando un modello ha prestazioni casuali fino a una certa scala, dopodiché le prestazioni aumentano fino a diventare ben superiori.
- L'aumento di parametri aumenta le prestazioni della capacità di risolvere domande basate sulla conoscenza che abbraccia una vasta gamma di argomenti.
- Le prestazioni di Word in Context (WiC), che sono una soglia di comprensione semantica, sembrano non molto influenzate dal numero dei parametri, anche fino a 540B+.
- I compiti di ragionamento, in particolare quelli che prevedono più passaggi, sono stati una sfida per i modelli linguistici e per i modelli NLP in generale. Una recente strategia chiamata "chain-of-thought prompting" permette ai modelli linguistici di risolvere tali problemi guidandoli a produrre una sequenza di passaggi intermedi prima di fornire la risposta finale soprattutto quando viene scalato a 100B+ parametri.

Altre proprietà sono: Ragionamento a più Fasi, Seguire Istruzioni, Esecuzione di Programmi, Calibrazione dei Modelli.

The Unpredictable Abilities Emerging From Large AI Models
137 emergent abilities of large language models
209 Emergent Abilities of large language models.pdf


Death Trap Dungeon Design

categorie



Seance: Deathtrap Dungeon Design: la playlist.

Ryan (The Weekly Scroll, The Adventure Archive) e Sersa Victory (Trident Gamebooks, Storytelling Collective) costruiscono in streaming un deeath trap dungeon ispirato a Tomb of Horrors. Ogni episodio mette in luce un elemento diverso della progettazione di un dungeon, approfondendo la teoria alla base di mostri, trappole, enigmi, tesori, mappe, scelte difficili e altro ancora. I conduttori condivideranno anche consigli e tecniche che potrete utilizzare per creare le vostre avventure in un dungeon mortale.

[via]

Simple LLaMA Finetuner

categorie

Simple LLaMA Finetuner

Simple LLaMA Finetuner è un'interfaccia facile da usare per facilitare la messa a punto del modello linguistico LLaMA-7B utilizzando il metodo LoRA tramite la libreria PEFT (State-of-the-art Parameter-Efficient Fine-Tuning) su GPU NVIDIA di qualità.

Con un set di dati di piccole dimensioni e una lunghezza dei campioni di 256, è possibile eseguire questa operazione anche su una normale istanza di Colab Tesla T4.

Grazie a questa intuitiva interfaccia utente, è possibile gestire facilmente il dataset, personalizzare i parametri, addestrare e valutare le capacità di inferenza del modello LL.

Simple LLaMA Finetuner

some highlights of llama.cpp repo

Image Credit: Tydence Davis