👋 About

肖永杲

📧yonggaoxiao@bupt.edu.cn

🐱https://github.com/gaooooosh/Gaooooosh/

🔬 Research Focus

研究聚焦于面向超长上下文的高效大语言模型架构，重点关注长上下文建模与稳定性。当前工作研究沿序列长度维度混合线性注意力与滑动窗口注意力，以降低计算与显存开销，并在不增参、免训练的推理时改造下缓解随上下文增长而产生的性能退化。

**Linear Attention  Efficient Transformers  Long-Context**

💥 Recent Activity