Un contexte d’une journée complète bat-il un contexte de dix minutes ? Attention flash et question de longueur de séquence
Flash Attention crée un contexte de trading de 23 400 étapes sans calcul : mosaïque, softmax en ligne et limite d'E/S de N^2 d^2 / M. La question de savoir si ce contexte plus long améliore le modèle est une question distincte, et elle doit être mesurée et non affirmée.