Gesproken samenvatting — druk op afspelen om mee te lezen: de gesproken regel blijft bovenaan.
De 100% interpreteerbare next-token generator
Stuur een Bericht
Lang geleden speelden mijn vrienden en ik dit spel waarbij je je telefoon pakte en een bericht naar een vriend schreef met alleen de aanbevolen volgende woorden. Misschien heb je dit ook gedaan.
Hier is een simulator die "getraind" is op wat inhoud. Probeer het!
hey weet iemand hoe je de build kunt repareren
ik denk |
dat we ik
↻ opnieuw beginnen
We spraken hierover alsof het een "Mij-bot" was. We wisten dat het woorden aanbeval op basis van onze individuele gebruikspatronen, en we konden onze stemmen in onze gepersonaliseerde aanbevelingen zien.
Op dat moment waren we blij om het als technische magie af te doen. Ik denk niet dat we realiseerden hoe eenvoudig het algoritme zou kunnen zijn.
Lees verder als je er een met mij wilt bouwen :)
Je Model "Trainen"
Laten we trainen op een handvol berichten. Het enige wat we hoeven te doen is de verbindingen tussen woorden tellen. Laten we dit bericht voor bericht doen.
\+ Voeg bericht 1 toe
De Transitiematrix
Voeg hierboven berichten toe om de matrix te beginnen bouwen.
Deze voltooide kaart van verbindingen tussen woorden wordt een frequentietabel genoemd. Normaliseer elke rij en je krijgt een waarschijnlijkheidsverdeling van wat er volgt.
Het kiezen van een volgende woord op basis van wat je tot nu toe hebt, wordt sampling genoemd. We gebruiken dezelfde term voor dit proces met moderne language models zoals Claude.
Doe Wat Sampling
Gebruik dezelfde matrix op basis van 5 berichten en speel ons spel met meer inzicht. We laten je de waarschijnlijkheden zien.
↻ opnieuw beginnen
De gemarkeerde rij is je huidige context. Kies een woord uit de beschikbare opties om door te gaan.
100 Jaar Oude Technologie
"Is dit echte technologie? " Goed vraag, lezer.
Markov publiceerde dit idee in 1906. Een eeuw later in 2010 waren n-gram modellen zoals deze next-word prediction op je telefoon aan het aansturen (SwiftKey, daarna Apple's QuickType). Rond 2015 begonnen neurale netwerken — eerst RNN's, daarna transformers in 2017 — de table lookup-benadering te vervangen door een geleerde functie, en de rest is... nou ja, waar we nu aan werken.