Het opensource framework voor machine learning van Google, Mediapipe, heeft onlangs een nieuwe set tools voor ontwikkelaars gelanceerd. Met dat set gereedschap zijn developers voortaan in staat grote taalmodellen (of: large language models, in het Engels) lokaal te laten draaien op apparaten.
Lees verder na de advertentie.
Nieuwe api van Google
Vooralsnog betreft dit een experimentele api (application planning interface). Het gereedschap is bedoeld om de uitdagingen van de beperkingen met betrekking tot geheugen en berekeningen te overkomen, die gepaard gaan met grote taalmodellen. Google legt daar alles over uit op zijn eigen blog.
In die blogpost vertelt Google onder meer dat Tensorflow Lite en Mediapipe zogenaamde on-device machine learning voor webontwikkelaars aanbieden sinds 2017. Mediapipe alleen ondersteunt de complete machine learning-pijplijn aan sinds 2019. De nieuwe api werkt op het web, Android, iOS.
Daarnaast werkt die met vier openbaar beschikbare taalmodellen, namelijk Gemini, Phi 2, Falcon en Stable LM. Android-gebruikers kunnen de grote taalmodellen van de Mediapipe-api gebruiken voor experimentele en onderzoeksdoeleinden. Productieapplicaties met grote taalmodellen op Android kunnen Gemini-api of Gemini Nano gebruiken.
Versimpelde integratie
De nieuwe set tools versimpelen de integratie voor webontwikkelaars, waardoor ze hun prototypes kunnen uitproberen en openbaar kunnen testen op een beschikbaar apparaat dat een groot taalmodel ondersteunt. Binnen het gereedschap zitten nog meer opties, zoals het kunnen meten van de snelheid en de prestaties van de modellen.
Verder is het mogelijk de api via een webdemo uit te proberen, of door zelf een voorbeeld te produceren middels de beschikbare software development kits (afgekort tot sdk) die beschikbaar zijn voor het web, Android en iOS. In de toekomst zal het Mediapipe-taalmodel meer platformen, modellen, conversietools en lokale componenten ondersteunen. Dat moet later dit jaar allemaal gaan gebeuren.
Maak jij momenteel gebruik van tools die hevig leunen op kunstmatige intelligentie? Laat het ons weten in de comments, en vertel ook welke!
Reacties
Inloggen of registreren
om een reactie achter te laten