Um contexto de dia inteiro supera um contexto de dez minutos? Atenção Flash e a questão do comprimento da sequência
Flash Attention torna um contexto de negociação de 23.400 etapas computacionalmente livre - lado a lado, softmax online e um limite IO de N ^ 2 d ^ 2 / M. Se esse contexto mais longo torna o modelo melhor é uma questão separada e deve ser medida, não afirmada.