LocalAI 4.2.4: lokale AI op je eigen pc

LocalAI v4.2.4: kleine update, grote rust in het systeem

localai heeft versie v4.2.4 gekregen. Deze update haalt wat scherpe randjes weg en voegt ook een paar dingen toe die thuis handig zijn om te testen, zoals meer info over VRAM en een nieuwe realtime audio-optie. De release staat hier: https://github.com/mudler/LocalAI/releases/tag/v4.2.4

Deze versie draait vooral om vier fixes en twee nieuwe functies. Dat klinkt simpel, en dat is het ook: minder gedoe, betere herkenning in een paar situaties, en iets meer inzicht in je GPU-geheugen.

Wat je als gebruiker kunt merken:

• routing werkt netter als een node niet gezond is
• een proxy met een weggehaalde prefix wordt beter begrepen
• een opgeslagen takenlijst in agent_jobs.json krijgt minder kans op een leesfout
• tool_choice in chatverzoeken wordt beter gelezen
• VRAM-info uit vulkaninfo wordt nu ook opgepakt
• er is een Liquid Audio s2s model en een assistant mode op de talk page

3 dingen die opvallen

1) VRAM-info uit vulkaninfo

VRAM is simpel gezegd het geheugen van je grafische kaart. Als localai daar beter naar kijkt, krijg je een duidelijker beeld van wat je GPU aan kan.

Dat is handig als je thuis wilt snappen waarom iets traag gaat of niet lekker start. Je hoeft dan minder te gokken. Je ziet niet meteen een heel nieuw scherm, maar onder de motorkap krijgt LocalAI meer bruikbare info uit je systeem.

2) tool_choice in chat

tool_choice

is een keuze in chatverzoeken die zegt welk hulpmiddel gebruikt moet worden. LocalAI leest die keuze nu beter in

/v1/chat/completions

.

Voor iemand thuis betekent dit vooral: minder kans dat een chatverzoek verkeerd wordt begrepen als je met tools werkt. Je merkt dit vooral als je iets test dat een tool moet kiezen, bijvoorbeeld in een lokale setup met chat en helpers.

3) De talk page krijgt een assistant mode

Er is nu ook een Liquid Audio s2s model en een assistant mode op de talk page. S2S staat hier voor speech-to-speech: geluid erin, geluid eruit.

Dat is leuk als je wilt proefspelen met realtime audio. Je kunt dan kijken hoe zo’n gesprek in de browser of op een praatpagina voelt. Het blijft goed om klein te beginnen: eerst kijken of de pagina opent en of je de nieuwe modus ziet, pas daarna verder testen.

Wat kun je ermee?

Deze update is niet gemaakt voor een grote show. Het is meer een rustige poetsbeurt die je setup stabieler maakt.

Een paar dingen zijn echt praktisch:

• een proxy-setup werkt netter als de prefix wordt gestript
• een distributed setup krijgt schonere routing
• een agentpool heeft minder kans op een fout bij het wegschrijven en teruglezen van agent_jobs.json
• chatverzoeken met tool-keuze worden beter verwerkt

Als je LocalAI thuis test in een browser of op je eigen pc, dan voel je dit vooral als minder rare fouten en minder “waarom doet hij dit nou?”-momenten 😄

Zo probeer je het zelf

Je hoeft niet meteen alles te testen. Kies gewoon één ding dat past bij jouw setup.

Mini-stappenplan

1. Open de releasepagina van v4.2.4.
2. Kijk welke wijziging past bij jouw gebruik.
3. Test één functie tegelijk.
4. Let op of de fout weg is die je eerder zag.
5. Noteer wat anders voelt dan in v4.2.3.

Een simpele test kan al genoeg zijn. Bijvoorbeeld:

• gebruik je een proxy? Kijk of de prefix goed blijft werken
• werk je met chat en tools? test dan een verzoek met tool_choice
• heb je een GPU met Vulkan? Kijk of de VRAM-info nu verschijnt
• speel je met audio? Zoek de talk page en probeer de assistant mode

Dit heb je nodig

Voor een thuistest heb je meestal maar weinig nodig:

• een computer of laptop
• een werkende LocalAI-opzet
• een browser
• voor de VRAM-fix: een systeem met Vulkan via vulkaninfo
• voor de audio-functie: een manier om de talk page te openen en te gebruiken

Je hoeft niet alles tegelijk te hebben. Kies gewoon de wijziging die bij jouw situatie past.

Handige checks vóór je begint

Hier is een klein lijstje dat vaak helpt:

Slimme tips voor thuis

Begin klein. Als je alles tegelijk verandert, weet je niet meer wat het verschil maakte.

Een paar simpele tips:

• test eerst op één machine
• gebruik een bekende prompt of een bekende chatvraag
• verander maar één ding per keer
• maak een korte notitie van wat je ziet op het scherm
• houd de oude versie en de nieuwe versie niet door elkaar

Als je een proxy gebruikt, let dan goed op de route in de browser. De fix voor X-Forwarded-Prefix helpt juist als de proxy zelf het prefix-gedeelte weghaalt. Dan kan LocalAI dat toch weer goed lezen.

Kleine misser die snel gebeurt

de grootste valkuil is denken dat deze update alles zichtbaar verandert.

Soms zie je bijna niks nieuws op het scherm. Dat betekent niet dat de update niks doet. Het kan ook zijn dat de verbetering juist in de achtergrond zit, zoals:

• een route die klopt
• een bestand dat netjes wordt gelezen
• een chatverzoek dat beter wordt begrepen
• een gezonde node die wel goed wordt meegenomen

Nog een misser: meteen meerdere dingen tegelijk testen.Dan lijkt alles op elkaar. Kies liever één test, bijvoorbeeld alleen de chat-tool-keuze of alleen de VRAM-informatie.

Dit haakt er best mooi op in: LocalAI 4.2.2: lokale AI op je eigen pc.

Handige link

Wil je de oorspronkelijke pagina of documentatie zelf zien? Kijk dan even naar LocalAI v4.2.4.

Bevers gedachte

Dit is zo’n versie waar je als gebruiker blij van wordt zonder dat het schreeuwerig is. Geen grote poeha, wel nette verbeteringen die in het echte gebruik verschil kunnen maken.

Voor thuis zou ik beginnen met de chat-fix of de VRAM-check. Die zijn het makkelijkst om snel te snappen. En als je met audio speelt,is de nieuwe assistant mode op de talk page een leuke extra om mee te prutsen.

Kleine update,stevige tanden. Dat is een prima beverdeal 🦫