¿Un contexto de día completo supera a uno de diez minutos? Atención flash y la pregunta sobre la longitud de la secuencia
Flash Attention hace que un contexto comercial de 23,400 pasos sea computacionalmente libre: mosaico, softmax en línea y un límite de IO de N^2 d^2 / M. Si ese contexto más largo mejora el modelo es una cuestión aparte, y debe medirse, no afirmarse.