Kronos: шам графиктерин трансформер тилинде сүйлөшүүгө үйрөткөн негиз модели

Kronos сереби - OHLCV шамдарын болжоо үчүн негиз модели. BSQ токенизатору, иерархиялык декодер, эки баскычтуу сэмплинг, Qlib окутуу түтүгү. Модель биржанын 'тилин' кантип үйрөнөт.

Kronos — candlestick tokenization

Эгер рынок ызы-чуу болсо, кийинки шамды болжоого аракет кылуу радио статикасын чечмелегенге окшош. Kronos авторлору түп-тамырынан жаңы ыкманы сунуштайт: биржа шамдарын дискреттик токендерге айландыруу (тилдеги сөздөрдөй) жана трансформерди "кийинки сөздү" — башкача айтканда кийинки шамды — болжоого үйрөтүү.

Бул "бардык учурлар үчүн" деген универсалдуу убакыт катарынын трансформери эмес, календардык белгилери бар көп өлчөмдүү K-сызыктар (OHLCV) үчүн адистештирилген модель. shiyu-coder/Kronos репозиторийи MIT лицензиясы менен ачык, салмактар Hugging Face платформасында жайгашкан, ал эми макала AAAI 2026ко кабыл алынган.

Негизги идея: шамдар = тил

ChatGPT тексттеги кийинки сөздү болжоону үйрөнгөндөй эле, Kronos баа катарындагы кийинки шамды болжоону үйрөнөт. Бирок адегенде негизги көйгөйдү чечүү керек: шам — бул үзгүлтүксүз вектор (ачылуу, эң жогорку, эң төмөнкү, жабылуу, көлөм), ал эми трансформерлер дискреттик токендер менен иштейт.

Чечим — эки деңгээлдүү архитектура:

  1. Токенизатор (BSQ) — үзгүлтүксүз шамды дискреттик кодго кысат
  2. Декодер (трансформер) — кийинки кодду авторегрессивдүү түрдө болжойт

BSQ токенизатору: шамды эки санга кантип кысууга болот

BSQ tokenizer Kronos

Негизги модуль — Binary Spherical Quantizer (BSQ):

  • Үзгүлтүксүз шам вектору сферага проекцияланат (F.normalize)
  • Андан кийин ал бинардык кодго кванттоого дуушар болот
  • Код эки деңгээлге бөлүнөт: болжолдуу (S1) жана майда-чүйдөсүнө чейинки (S2)

Бул — сөздүктү факторизациялоо: S1 × S2 өлчөмүндөгү зор сөздүктүн ордуна модель эки кичине эмбеддинг таблицасын колдонот — бул алда канча натыйжалуу.

Иерархиялык декодер: адегенде сценарий, андан кийин майда-чүйдөсү

Кош баш (DualHead) ырааттуу түрдө иштейт:

  1. Адегенде модель S1ди болжойт — "болжолдуу сценарий" (өсөбү? түшөбү? болжол менен канчага?)
  2. Андан соң S1 бекитилген бойдон S2ни тактайт — майда-чүйдөсү (так баалар, көлөм)

Шилтемелер

Жыйынтык

Kronos "убакыт катарлары үчүн дагы бир трансформер" эмес, ал — биримдүү түтүк: кодбук көзөмөлү бар BSQ токенизатору, эки дискреттөө деңгээли бар иерархиялык тил модели, эки баскычтуу сэмплинги бар авторегрессия, локалдык терезелик нормалдаштыруу. Бул "шамдар = тил" идеясынын ачык ишке ашырылышы.