LocalAI 4.2.2: lokale AI op je eigen pc

LocalAI 4.2.2: kleine foutjes weg, paar slimme updates erbij

LocalAI heeft versie 4.2.2 gekregen. De release gaat vooral over foutjes die zijn opgelost, een paar updates in de bouwketen, en één duidelijke extra stap voor llama-cpp.

Deze update is geen grote ommezwaai. Wel zijn er twee bugs gefixt die voor gedoe konden zorgen: Vulkan VRAM uit tekst lezen, en een

prompt

-alias bij

/api/embed

voor Ollama-gelijk gedrag. Ook zijn er veel afhankelijkheden bijgewerkt.

Voor thuis is dit vooral handig als je LocalAI al gebruikt en alles gewoon netjes wilt laten lopen.Een update als deze is vaak zo’n “minder gepruts, meer werken”-moment.

3 dingen die opvallen

1. Vulkan VRAM wordt beter uit tekst gehaald

Dat helpt bij het goed lezen van het geheugen van je GPU als die info als tekst binnenkomt.

2. prompt werkt nu ook bij /api/embed voor Ollama-pariteit

Heel simpel: die API accepteert nu ook die alias. Dat kan schelen als je iets gebruikt dat op Ollama lijkt of daarop aansluit.

3. llama-cpp is bijgewerkt

De release noemt een bump naar

1ec7ba0c

, aanpassing van de gRPC-server, en nieuwe spec-decoding-opties. Dat is vooral voor mensen die met die backend werken.

Wat kun je er vandaag mee merken?

Als je LocalAI op je pc, laptop of server draait, zie je vooral twee soorten winst:

• minder kans op fouten rond GPU-geheugeninfo;
• iets meer kans dat een bestaande oproep gewoon werkt zoals je verwacht, zeker bij /api/embed.

Voor iemand die thuis test, zit de winst dus niet in een nieuwe knop in beeld. Het zit meer in rust: dingen reageren beter en sluiten vaker aan op wat je al probeerde te sturen.

Zelf proberen: zo pak je het klein aan

Heb je LocalAI al draaien? dan kun je het rustig testen in kleine stapjes.

Mini-checklist

• Kijk welke versie je nu hebt.
• Werk LocalAI bij naar v4.2.2.
• Test één gewone functie die je vaak gebruikt.
• Test daarna /api/embed als je daarmee werkt.
• Let op of fouten rond GPU-info of embed-verzoeken wegblijven.

Als je nog geen vaste test hebt, begin simpel: stuur dezelfde aanvraag die eerder misging en kijk of die nu goed terugkomt. dat is vaak de snelste manier om verschil te zien.

Dit heb je nodig

Voor deze release heb je geen speciale nieuwe set-up nodig op basis van de bron. Je hebt vooral nodig:

• een werkende LocalAI-installatie;
• een manier om te updaten;
• iets om te testen, zoals een browser, terminal of je eigen app.

De release noemt ook afhankelijkheidsupdates, zoals nieuwe versies van Node en verschillende packages. Dat merk jij niet altijd direct op het scherm, maar het helpt vaak wel bij onderhoud en stabiliteit.

Bij /api/embed is er een kleine maar handige wijziging

De bron zegt dat

prompt

nu wordt geaccepteerd als alias op

/api/embed

, zodat het meer lijkt op Ollama.

Dat betekent in gewone taal: als een tool of script niet precies hetzelfde woord gebruikt als LocalAI verwachtte, kan het nu alsnog goed gaan. Dat is fijn, want veel gedoe zit juist in zo’n klein woordje.

Wat zie je dan?

Meestal zie je dit niet als een mooie nieuwe schermknop. Je merkt het eerder zo:

• een verzoek dat eerder fout ging, gaat nu wel goed;
• een tool hoeft minder vaak aangepast te worden;
• je krijgt minder gedoe bij testen met bestaande voorbeelden.

Slimme tips voor thuis

Een update is het handigst als je hem rustig test. Zo voorkom je zoekwerk als iets anders uitpakt dan je denkt.

• Test eerst op een kopie of testomgeving als je die hebt.
• Bewaar een voorbeeld van je oude verzoeken.
• Wijzig maar één ding tegelijk.
• Check na de update of je vaste functies nog werken.
• Noteer wat anders voelt,zodat je het later kunt vergelijken.

Dat klinkt simpel, en dat is het ook.Juist bij een kleine release zie je soms alleen verschil als je hetzelfde voor en na probeert.

Handige links

De officiële release staat hier: https://github.com/mudler/LocalAI/releases/tag/v4.2.2

De changelog vergelijkt ook met de vorige versie: https://github.com/mudler/LocalAI/compare/v4.2.1…v4.2.2

Nog even dit

Er staat in de bron ook een lijst met afhankelijkheidsupdates. Die zijn vooral onderhoud. Voor de meeste thuisgebruikers is dat minder spannend dan de bug fixes, maar het hoort wel bij een nette release.

Er staat ook een wijziging bij CI en bij llama-cpp. CI is de bouw- en teststap van het project. Dat zie je thuis meestal niet direct, maar het helpt wel om de release stevig te maken.

Dit haakt er best mooi op in: LocalAI 4.2.3: lokale AI op je eigen pc.

Handige link

Als je zelf verder wilt testen, dan is LocalAI v4.2.2 een nette volgende stap.

Bevers gedachte

LocalAI 4.2.2 voelt als een nette opruimronde. Geen grote show, wel echte kleine verbeteringen die nuttig zijn als je het gewoon werkend wilt hebben.En dat is soms precies de update die het fijnst is 🦫