Контекст на целый день лучше десятиминутного? Вспышка внимания и вопрос о длине последовательности
Flash Attention делает торговый контекст из 23 400 шагов вычислительно свободным — тайлинг, онлайн-софтмакс и граница ввода-вывода N^2 d^2 / M. Делает ли этот более длинный контекст модель лучше — это отдельный вопрос, и его нужно измерять, а не утверждать.