Local-first
Inferenz, die in 125 Millisekunden antworten muss, kann nicht auf ein Netz warten.
Local-first ist hier eine Bedingung, keine Vorliebe. Ein Prothesengriff muss stehen, bevor
die Hand am Gegenstand ankommt — das schließt den Weg zu einem gemieteten Endpunkt aus.
Eine Übersetzungspipeline, die ein ganzes Buch liest, hat wiederum keinen Grund, dieses
Buch an Dritte zu schicken. Zwei verschiedene Probleme, dieselbe Antwort: Das Modell läuft
auf dem Gerät vor einem.
Was daraus folgt: Trainiert wird auf eigener Hardware, ausgeliefert wird in Formaten, die
ohne Anbieter laufen, und die Zahlen dazu werden auf denselben Geräten gemessen, auf denen
die Modelle später arbeiten.