Lokal AI: Ny modell kör 30 gånger snabbare utan molnet
Brittiska FLock.io lanserar en AI-modell som körs helt lokalt på enheter – utan att skicka data till molnet. Modellen klarar 31 millisekunder per beslut och träffar rätt i nästan 9 av 10 fall.
THIS/THAT Model bygger på Alibabas Qwen3.5-2B och är designad för snabba ja/nej-beslut. Till skillnad från chattbottar som ChatGPT genererar den inga långa texter – bara klassificeringar.
Resultatet: 30 till 100 gånger snabbare svar än molnbaserade språkmodeller. Ingen nätverkslatens. Ingen data lämnar enheten.
Vad betyder det för svenska företag?
För IT-ansvariga som hanterar GDPR-känslig data öppnar lokal AI nya möjligheter. Klassificering av dokument, e-post och supportärenden kan ske utan att information skickas till tredjepartstjänster.
Modellen uppnådde 87,8 procent träffsäkerhet på 1 710 komplexa beslutsfrågor i interna tester. Den slog större molnmodeller trots att den bara har 2 miljarder parametrar – uppskattningsvis 0,04 procent av storleken på Claude Opus 5.
Tre veckor efter lansering har THIS/THAT redan behandlat 2,5 miljoner beslut.
Lägre kostnader, färre risker
Molnbaserade LLM-tjänster kostar pengar per API-anrop och kräver ständig uppkoppling. En lokal modell eliminerar båda problemen. Den fungerar även vid nätverksavbrott.
FLock.io har släppt modellen som öppen källkod. Företag kan ladda ner och köra den på egen hårdvara utan licensavgifter.
Källa: Hackread