Projelerim
RDP LoRA: Geometry-Driven Adaptation
LLM hidden-state akışını yüksek boyutlu bir trajectory olarak modelleyip LoRA için kritik katmanları RDP ile seçen araştırma projesi.
RDP LoRA, Ramer-Douglas-Peucker algoritmasını temsil akışındaki global yapısal kırılmaları bulmak için kullanır; bu kırılmalar hangi katmanların adapte edileceğine doğrudan karar sinyali olur.
Qwen3-8B-Base üzerinde MMLU-Math deneylerinde 13 RDP seçili katman ile 81.67% sonuç elde ederek full 36-layer adaptation ve random 13-layer seçimi aşar.