Ist ein ganztägiger Kontext besser als ein zehnminütiger Kontext? Flash Attention und die Frage nach der Sequenzlänge
Flash Attention macht einen Handelskontext mit 23.400 Schritten rechenfrei – Kacheln, Online-Softmax und eine IO-Grenze von N^2 d^2 / M. Ob dieser längere Kontext das Modell besser macht, ist eine separate Frage und muss gemessen und nicht behauptet werden.