Top2000.ai: een kleine studie in AI die alles op je eigen machine houdt

De Top 2000 is het vehikel, niet het onderwerp. De data is openbaar, in Nederland bekend en groot genoeg om interessant te zijn: 54.000 noteringen, 4.925 nummers en 27 edities van 1999 tot 2025.

Je kunt twee soorten vragen stellen. Vragen met een exact antwoord, zoals hoe vaak een nummer in de lijst stond of welke artiest in 2024 de meeste noteringen had. En vragen over betekenis, zoals welk nummer gaat over een bokser die ten onrechte werd veroordeeld.

Het echte onderwerp is de infrastructuur eronder. Elke keuze staat opgeschreven met de reden erbij, en waar een keuze uit een meting kwam, staat die meting er ook bij. Voor mij was het ook een studie in het toepassen van retrieval-augmented generation (RAG) met uitsluitend lokale modellen.

Bij exacte vragen doet het taalmodel maar één ding: het zet de vraag om in één databasequery. Dat heet text-to-SQL. De database telt en sorteert. Het model ziet daarna alleen de rijen die terugkomen en schrijft daar een zin omheen. Een getal dat niet in die rijen staat, mag niet in het antwoord.

Een router bepaalt welk pad een vraag neemt. Die gebruikt vastgelegde regels en geen model, dus dezelfde vraag neemt altijd hetzelfde pad en elke beslissing is met de hand te controleren. Bij twijfel kiest hij de database. Een fout databaseantwoord is een lege tabel, en dat is zichtbaar fout. Een fout gegenereerd antwoord leest prettig en is alsnog fout.

Vragen over betekenis gaan via het RAG-pad. De applicatie doorzoekt een lokale index van Wikipedia-tekst en het model antwoordt op basis van de passages die het vindt. Is de beste match te zwak, dan wordt er helemaal geen antwoord gegenereerd. Die controle zit buiten het model, want een klein model moet niet zelf oordelen over zijn eigen context.

Terwijl de applicatie draait, gaat er geen enkel verzoek naar een extern model of een externe dienst. Het taalmodel en het embeddingmodel draaien allebei lokaal via Ollama. De data is één bestand op schijf, read-only geopend. De interface laadt geen externe scripts, fonts of analytics, en vragen worden niet opgeslagen.

Je hoeft me niet op mijn woord te geloven. De code is open en in het pad dat draait staat geen enkel extern adres.

Ik heb Claude wél gebruikt om het te bouwen. Claude schreef samen met mij scripts en pipelines, en zit nooit in het pad dat een vraag beantwoordt. Die grens staat in de repository en geldt als werkafspraak: Claude bouwt, Ollama draait. Het betekent ook dat elke evaluatie tegen het lokale model draait, nooit tegen het sterkere model dat meehielp met bouwen.

Bij elk antwoord zie je hoeveel stroom het kostte, gemeten op de machine terwijl het model draaide en omgerekend naar CO2 met de Nederlandse stroommix. De interface vergelijkt het totaal met één wasbeurt op 40 graden in de wasmachine. De machine trekt ongeveer 3 watt in rust en 35 tot 36 watt tijdens het genereren.