cs.LG cs.CL
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
Di Liu Meng Chen Baotong Lu Huiqiang Jiang Zhenhua Han Qianxi Zhang Qi Chen Chengruidong Zhang Bailu Ding Kai Zhang Chen Chen Fan Yang Yuqing Yang Lili Qiu