Liquid AI, 50 ms altı yanıt vaat eden RIPL çıkarım motorunu duyurdu

Ne duyuruldu?

Liquid AI, Real-time Inference Pipeline (RIPL) adını verdiği çıkarım motorunu tanıttı. Motor, şirketin LFM2.5 ailesindeki 230 milyon ile 2,6 milyar parametre arasındaki modelleri canlı istek akışında çalıştırıyor. Liquid AI, uçtan uca yanıt süresinin 50 milisaniyenin altında kaldığını savunuyor.

Hangi sorunu hedefliyor?

Yaygın çıkarım altyapıları büyük gruplar ve uzun ajan görevleri için tasarlanıyor; burada saniyeler mertebesindeki gecikme kabul edilebiliyor. Arama sıralaması, dolandırıcılık kontrolü ve ödeme onayı gibi işler ise milisaniye düzeyinde yanıt istiyor. Liquid AI, bu nedenle ekiplerin klasik modellere yöneldiğini, RIPL'in bu ödünleşimi kaldırmayı amaçladığını söylüyor.

Performans iddiaları

Şirketin tek bir NVIDIA B200 üzerinde yaptığı testlere göre:

• 1B sınıfı, 32 giriş → 32 çıkış: 34,6 ms (LFM2.5-1.2B) ile 498 ms (Qwen3.5-0.8B) arasında 14,4 kat fark.
• 1B sınıfı, 256 giriş → 128 çıkış: 155,8 ms ile 4.431 ms arasında 28,4 kat fark.
• 2B sınıfı, uzun isteklerde fark 5,6 kata kadar iniyor; 50 ms hedefi bu senaryoda tutmuyor.

Tüm rakamlar Liquid AI'nın kendi ölçümlerine ait. Karşılaştırmada LFM2.5 modelleri RIPL üzerinde, diğer modeller ise vLLM üzerinde çalıştırıldı.

Dağıtım

RIPL, NVIDIA H100, H200, B200 ve RTX PRO 6000 GPU'ları üzerinde kurumsal dağıtımlar için sunuluyor. Liquid AI, motorun iç işleyişini paylaşmıyor; aynı LFM2.5-350M modelinin vLLM ve RIPL üzerindeki karşılaştırması, kazanımın bir kısmının modelden değil motordan geldiğini gösteriyor.