LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference

Liu, Yuhan, Cheng, Yihua, Yao, Jiayi · arXiv · 2025