LocalAI 4.1.3: lokale AI op je eigen pc

LocalAI 4.1.3: kleine fixes die het gebruik net wat gladder maken

LocalAI heeft versie 4.1.3 uit. Deze update richt zich op foutjes die je in de praktijk kunt merken, zoals inloggen met oude api keys, antwoorden met Anthropic en betere detectie op MacOS en Thor. Voor thuisgebruik is dit vooral fijn als je LocalAI al draait en wilt dat het net wat soepeler werkt.

Eerst even kort

De release is geen grote omgooi,maar wel een nuttige onderhoudsronde. Er zijn drie bug fixes en een paar bijwerkingen van updates in andere onderdelen.

Wat opvalt:

• inloggen werkt weer met legacy api keys
• Anthropic geeft geen lege tokens meer en SSE tool calls zijn gefixt
• GPU-detectie is beter op MacOS en Thor

Ook zijn er dependencies bijgewerkt,en een paar onderdelen zoals llama.cpp, acestep.cpp en stable-diffusion.cpp zijn naar een nieuwe versie gezet.

Wat is hier handig aan?

Als je LocalAI thuis gebruikt, wil je vooral dat het gewoon blijft werken.Geen gedoe met vreemde foutjes, geen rare lege stukjes tekst en minder kans dat hardware niet goed wordt herkend.

Deze versie helpt vooral op drie plekken:

SSE is een manier om tekst in kleine stukjes live binnen te krijgen. Handig als je ziet hoe een antwoord langzaam opbouwt. Als daar lege tokens tussendoor komen, oogt het rommelig. Dat is nu aangepast.

Zo test je het zelf

Je hoeft hier geen ingewikkelde setup voor te hebben. Als je LocalAI al gebruikt, kun je klein beginnen.

1. Check je versie

Kijk eerst welke versie je draait. Doe dat in je omgeving of in de plek waar je LocalAI beheert. Zie je nog 4.1.2 of ouder, dan is deze update relevant voor je.

2. Test inloggen

Gebruik je nog oude api keys? Probeer dan een normale login of request zoals je dat altijd doet. De fix is juist gemaakt voor legacy api keys.

3. Test een Anthropic-aanvraag

Als je Anthropic gebruikt, kijk dan of:

• er geen lege tokens meer tussendoor komen
• tool calls via SSE netjes lopen

Je ziet dit meestal in de output: minder lege stukjes en een rustiger stroom van tekst.

4. Check je GPU-herkenning

Gebruik je een Mac of een systeem met Thor, dan is deze update vooral handig. Kijk of LocalAI je GPU nu beter ziet dan eerst. als je eerder een verkeerde of geen detectie had, is dit het eerste om opnieuw te testen.

Een simpele test is dus:

1. update naar 4.1.3
2. start LocalAI opnieuw
3. draai een korte prompt
4. kijk of inloggen, tekststroom en GPU-detectie goed gaan

Dit verandert er onder de motorkap

Er zijn ook dependency-updates in deze versie. Dat zijn updates van losse bouwstenen waar LocalAI op leunt. Voor de meeste thuisgebruikers is dat niet iets wat je direct op het scherm ziet.

Wel goed om te weten:

• google.golang.org/grpc is van 1.79.3 naar 1.80.0 gezet
• github.com/jaypipes/ghw is van 0.23.0 naar 0.24.0 gezet
• github.com/aws/aws-sdk-go-v2/config is van 1.32.12 naar 1.32.14 gezet
• go.opentelemetry.io/otel/exporters/prometheus is van 0.64.0 naar 0.65.0 gezet

Ook zijn deze onderdelen bijgewerkt:

• ggml-org/llama.cpp
• ace-step/acestep.cpp
• leejet/stable-diffusion.cpp

Dat betekent: niet iets waar je als gebruiker meteen een knop van krijgt, maar wel onderhoud dat de basis vers houdt.

Slimme tips voor thuis

als je LocalAI thuis test, houd het klein. Dan zie je sneller of iets beter werkt.

Handig mini-lijstje

• test eerst één bekende prompt
• gebruik één tool call, niet meteen veel tegelijk
• kijk of de tekst netjes binnenkomt
• let op foutmeldingen bij aanmelden
• check na de update of je oude api key nog werkt

Waar je op kunt letten

Als het goed gaat, zie je:

• een normale login
• geen lege stukjes in de antwoordstroom
• minder gedoe bij tool calls
• betere herkenning van GPU-hardware op MacOS en Thor

Als iets niet goed gaat, is het slim om eerst te kijken of het probleem al bestond vóór deze update. Dan weet je sneller of 4.1.3 helpt of niet.

Kleine misser die makkelijk kan gebeuren

De grootste valkuil is dat je denkt: “het is maar een kleine update, dus ik hoef niks te testen.” Juist een fix-release kan een oud probleem oplossen dat je al tijden irriteert.

Een tweede misser is te snel aannemen dat elk probleem door LocalAI zelf komt. Soms zit het in je key, je hardware of de combinatie met een andere tool.Deze release noemt alleen wat hierboven staat,dus meer moet je er niet in lezen.

Gebruik deze update dus vooral zo:

• eerst een back-up van je huidige setup als je dat normaal ook doet
• daarna update
• daarna één simpele test
• pas daarna je normale werk

Dit haakt er best mooi op in: LocalAI 4.1.1: lokale AI op je eigen pc.

Bevers gedachte

Dit is zo’n release waar je niet van roept: wow, wat groot. Maar wel eentje die stilletjes fijn is. Een login die weer werkt, minder lege tokens en betere GPU-detectie maken het dagelijks gebruik net wat netter.

Voor een thuisgebruiker is dat precies het soort update dat handig voelt: geen show,wel minder gepruts.en dat is ook wat waard 🦫

Meer lezen kan op de releasepagina: https://github.com/mudler/LocalAI/releases/tag/v4.1.3