Carton

Carton är ett nytt verktyg som gör det möjligt att köra maskininlärningsmodeller från vilket programmeringsspråk som helst. Detta sker genom att separera koden som används för att köra modellerna från den specifika ML-ramverket, vilket gör det enklare att hålla sig uppdaterad med den senaste tekniken.

Carton är ett verktyg för paketering av maskininlärningsmodeller som syftar till att avskilja ML-inferenskod från specifika ramverk. Det är implementerat i optimerad async Rust-kod och har låg overhead, med preliminära benchmarkresultat som visar mindre än 100 mikrosekunder overhead per inferensanrop.

Carton stöder för närvarande plattformar som x86_64 Linux och macOS, aarch64 Linux, aarch64 macOS och WebAssembly.

En ”carton” hänvisar till utdata av paketeringssteget, som är en zip-fil som innehåller den ursprungliga modellen och metadata utan att modifiera den ursprungliga modellen.

Till skillnad från ONNX, som omvandlar modeller, omsluter Carton dem, vilket möjliggör enkel användning av anpassade operationer, TensorRT och mer utan ändringar. Men Carton planerar att stödja ONNX-modeller i framtiden för att möjliggöra ytterligare användningsområden, som att köra modeller i webbläsaren med WASM.

Leave a Reply

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *