freellmpool: en lokal MCP-gateway som aggregerar gratis LLM-slutpunkter
freellmpool, utvecklad av 0xzr, är en öppen källkods Model Context Protocol (MCP) server och API-gateway som aggregerar gratisnivåer av dussintals stora språkmodeller till en enda lokal slutpunkt. Verktyget samlar flera värdleverantörer, exponerar ett OpenAI-kompatibelt gränssnitt och erbjuder routing, användningsspårning och nyckellösa snabbstartvägar för omedelbar testning. Riktad mot utvecklare och AI-kodande användare, minskar det ansträngningen att jonglera med många leverantörers SDK:er och nycklar under agentutveckling.
Aggregater många värdmodeller och exponerar MCP-inbyggda verktyg för agenter
freellmpool fungerar som en MCP-server som katalogiserar över 24 leverantörer och mer än 400 chattmodeller samtidigt som den exponerar specialiserade verktyg som 'ask', 'battle' och 'recipe' för AI-klienter. Verktyget inkluderar shims för Codex-stil och Anthropic-stil meddelanden och listar kompatibilitet med MCP-kompatibla klienter, till exempel Claude Desktop och Cursor.
- Leverantörskatalog: 24+ leverantörer
- Modellkatalog: 400+ chattmodeller
- Agentmål: kodande agenter som Claude Code, Cursor
Routing och cooldown-logik bevarar begärningsflödet men beror på extern tillgänglighet
Automatisk failover och routing omdirigerar begärningar när en leverantör returnerar rate-limit fel eller går offline, och verktyget tillämpar en smart cooldown som bänkar leverantörer som når gränser för att undvika upprepade 429-fel. Användningsspårning övervakar konsumtion per dag så att belastningen fördelas; kontinuitet förbättras därför relativt till enskilda leverantörsinställningar, medan faktisk driftstid och genomströmning förblir kopplade till de samlade gratistjänsterna.
Låg installationsintegration för experiment, med praktiska gränser för långvariga arbetsbelastningar
Installation och integration syftar till snabb experimentering: verktyget installeras via Python (pip), stödjer CLI-användning över skrivbordsplattformar och tillhandahåller en OpenAI/Anthropic-kompatibel proxy så att befintlig programvara accepterar den lokala slutpunkten utan kodändringar. Nyckellös snabbstart ger omedelbar åtkomst till vissa leverantörer, och användare kan lägga till sina egna nycklar för högre kvoter. Eftersom det aggregerar gratistjänster passar verktyget för prototyper och agenttestning snarare än garanterade, högvolymproduktionskörningar.
Praktiskt val för experimentering, mindre lämpligt för garanterad produktionskapacitet
freellmpool är ett praktiskt alternativ för utvecklare och AI-kodande användare som behöver snabb åtkomst till många värdmodeller genom en enda lokal slutpunkt; modellens beteende och tillgänglighet återspeglar upstream-leverantörer, så förvänta dig variation kopplad till dessa gratisnivåer. Behandla utdata som upstream-modellsvar och komplettera med leverantörnycklar om hållbar kapacitet eller striktare drifttidsgarantier krävs.
