Толук күндүк контекст он мүнөттү жеңеби? Көңүл буруу жана ырааттуулук боюнча суроо
Flash Attention 23 400 кадамдык соода контекстти эсептөө үчүн акысыз кылат — плиткаларды коюу, онлайн softmax жана IO менен N^2 d^2 / M менен чектелди. Бул узун контекст моделди жакшыртабы, бул өзүнчө суроо жана аны ырастоо эмес, өлчөө керек.