OneTick: биржалар спуферлерді ұстап, хедж-қорлар альфа іздейтін платформа
OneTick архитектурасы - тик-деректерге арналған кәсіпорын деңгейіндегі уақыт қатары қозғалтқышы. Event Processors арқылы DAG сұраныстары, бірыңғайландырылған нақты уақыттағы және тарихи деректер, нарықты бақылау (MiFID II, MAR, SEC), TCA, квант-зерттеу және kdb+ салыстыруы.
Bloomberg — терминал қажет ететін аналитиктерге арналған. TradingView — графиктер қажет ететін бөлшек сауда трейдерлеріне арналған. Бірақ бір биржада трейдердің басқа биржадағы бағаны жылжыту үшін жалған бұйрықтар қоятынын нақты уақытта анықтау керек болғанда — оған OneTick керек.
OneTick — арнайы қаржы нарықтарына арналған кәсіпорын деңгейіндегі уақыт қатары дерекқоры және ағындық аналитика қозғалтқышы. Бұл TimescaleDB немесе InfluxDB сияқты жалпы мақсаттағы TSDB емес. Бұл ClickHouse сияқты жай ғана жылдам бағаналы қойма да емес. Бұл қаржы деректерін түсінетін платформа: сауда/баға арақатынастары, бұйрық кітабының тереңдігі, корпоративтік әрекеттер және нарықаралық корреляциялар. Оның клиенттеріне биржалар, инвестициялық банктер, хедж-қорлар, маркет-мейкерлер және брокерлер жатады.
OneTick-тің үш тірегі
Платформа бір қозғалтқышпен түбегейлі әртүрлі үш мәселені шешеді:
| Тірек | Кім пайдаланады | Неге |
|---|---|---|
| Нарықты бақылау (Market Surveillance) | Биржалар, реттеушілер, комплаенс бөлімдері | Манипуляцияны анықтау, MiFID II / MAR / SEC / FINRA сәйкестігі |
| Квант-зерттеу (Quant Research) | Хедж-қорлар, prop desk-тер | Альфа генерациясы, стратегияны бэктестингтеу, микроқұрылымды талдау |
| Сауда аналитикасы (Trading Analytics) | Sell-side desk-тер, брокерлер | TCA, ең жақсы орындалуды бақылау, өтімділікті бақылау |
Негізгі идея: үш жұмыс жүктемесі де тарихи және нақты уақыттағы деректерді өңдейтін бір қозғалтқышта жұмыс істейді. Бөлек ағындық жүйе мен бөлек бэктестинг жүйесі қажет емес — бұл бір ғана платформа.
Архитектура: сұраныс тілі ретінде бағытталған циклсіз граф (DAG)
OneTick-тің негізгі архитектуралық шешімі: сұраныстар SQL тілінде құрылмайды (дегенмен SQL да қолдау табады), керісінше Event Processors (EP) элементтерінің бағытталған циклсіз графы (DAG) түрінде құрылады.
Event Processor дегеніміз не
Event Processor — есептеудің атомдық бірлігі. Әрбір EP бір ғана операция орындайды: сүзу, агрегация, қосылу (join), туынды өрістерді есептеу, VWAP есептеу немесе бұйрық кітабын қалпына келтіру. Деректер (тиктер) EP тізбегі арқылы көздерден қабылдағыштарға дейін ағады.
Ұқсастық: зауыттағы конвейер желісі. Тик (уақыт белгісі бар жазба) графқа сол жақтан кіреді, өңдеушілер тізбегінен өтеді, ал шығыс — дайын нәтиже: дабыл, агрегатталған метрика немесе сигнал.
Неге SQL емес, DAG
| Аспект | SQL тәсілі | DAG (Event Processors) |
|---|---|---|
| Ағынды өңдеу | Бөлек фреймворк керек (Flink, Spark) | Тумасынан қолдау бар — бір граф ағындарда да, тарихта да жұмыс істейді |
| Күрделі құбырлар | Кірмелі ішкі сұраныстар, CTE, терезе функциялары | Түйіндердің көрнекі композициясы — әрбір түйін оқшауланған күйде түсінікті |
| Қайта пайдалану | SQL блоктарын көшіру-қою | EP-лер әртүрлі графтарға қосылатын қайта пайдаланылатын компоненттер |
| Жөндеу | EXPLAIN ANALYZE + болжау | Деректерді графтың кез келген түйінінен алуға болады |
| Параллелизм | ДБЖЖ оптимизаторы шешеді | Символдар, күндер, CPU өзектері бойынша нақты параллелдендіру |
Графтарды кірістірілген дизайнер ("paint-a-canvas") арқылы көрнекі түрде немесе Python API арқылы бағдарламалық түрде құруға болады.
Өнімділік
OneTick мәлімдейтін көрсеткіштер (және оны индустрия растайды):
| Метрика | Мән |
|---|---|
| Тиктерді жинау | тәулігіне >1 триллион тик |
| Жаппай өңдеу | >10 миллион тик/сек/өзек |
| Уақыт белгісінің дәлдігі | Миллисекундтан кіші |
| Тарихи тереңдік | 1970 жылдан бастап деректер (TickData арқылы) |
| Актив кластары | Акциялар, фьючерстер, опциондар, тұрақты табыс, крипто |
Салыстыру үшін: бір өтімді акция (AAPL) үшін типтік L2 таспасы шыңдық сағаттарда шамамен 100 мың хабарлама/сек генерациялайды. Бүкіл АҚШ акциялар нарығы үшін — күніне жүздеген миллион хабарлама. OneTick осының барлығын резервпен өңдеуге арналған.
Нарықты бақылау: OneTick индустрия стандарты болатын сала
Нарықты бақылау — OneTick-тің ең күшті қолдану жағдайы. Платформаны сауда белсенділігін бақылау үшін биржалардың өздері пайдаланады.
Қандай манипуляциялар анықталады
| Манипуляция | Не болады | Қалай анықталады |
|---|---|---|
| Спуфинг (Spoofing) | Трейдер бағаны жылжыту үшін ірі бұйрық қояды, содан кейін орындалғанға дейін оны бас тартады | Қойылған/бас тартылған бұйрықтар қатынасын талдау, бас тарту жылдамдығы |
| Лейеринг (Layering) | Сұраныс/ұсыныс иллюзиясын жасау үшін бірнеше баға деңгейінде көптеген бұйрықтар | Бұйрық кітабындағы "баспалдақ" үлгісі + қарсы жақтағы орындалулармен корреляция |
| Wash Trading | Трейдер жасанды көлем құру үшін өзімен сауда жасайды | Шоттарды кросс-салыстыру, уақытты талдау, IP мекенжайлары |
| Front-Running | Брокер клиенттің ірі бұйрығынан бұрын сауда жасайды | Меншікті мәмілелер мен клиент ағындары арасындағы уақыттық корреляциялар |
| Marking the Close | Жабылу бағасын манипуляциялау үшін сессия соңында әдейі жасалған мәмілелер | Соңғы минуттардағы белсенділікті күн ішіндегі орташамен салыстыру |
| Quote Stuffing | Бәсекелестерді баяулату үшін бұйрықтарды жаппай генерациялау/бас тарту | Хабарламалардың аномальды жиілігі, бұйрық-мәміле қатынасы |
| Insider Trading | Жария емес ақпаратқа негізделген сауда | Әдеттен тыс үлгілердің корпоративтік оқиғалармен корреляциясы |
Нарықаралық және активаралық мониторинг
Ең күрделі жағдай: нарықтар арасындағы манипуляция. Трейдер бір биржадағы фьючерс бағасын жылжытады, ал сол уақытта басқа биржадағы байланысты опционнан пайда табады. Немесе LSE-дегі негізгі акциямен не болатынын біле тұра, NYSE-де ADR саудалайды.
OneTick бірнеше алаңдардың деректерін бір ағынға біріктіреді және аспаптар арасындағы құрылымдық байланыстар айқын болмаса да, нарықаралық үлгілерді іздейді.
Реттеушілік қамту
| Реттеуші / стандарт | Юрисдикция |
|---|---|
| MiFID II / MAR | Еуропа |
| SEC / FINRA | АҚШ |
| ASIC | Австралия |
| IIROC | Канада |
Дабылдарды бағалауға арналған "ақ жәшік" AI
Бақылаудың классикалық мәселесі — жалған позитивтер. Күніне 10 мың дабыл болғанда, 5 адамнан тұратын комплаенс тобының әрқайсысын қарауға мүмкіндігі жоқ. OneTick "ақ жәшік" ML қолданады: модельдер нақты манипуляция ықтималдығын бағалайды және сонымен қатар себебін көрсетеді — жоғары ұпайға дәл қандай факторлар әкелгенін. Бұл қара жәшік емес, түсіндірілетін модель, бұл реттеушілер үшін өте маңызды.
Квант-зерттеу: тиктерден альфаға дейін
Хедж-қорлар мен квант-desk-тер үшін OneTick жай ғана дерек қоймасы емес. Бұл деректер мен аналитика бір жерде өмір сүретін зерттеу ортасы.
Не істеуге болады
-
Нарық микроқұрылымын талдау. Өткендегі кез келген сәтте бұйрық кітабын қалпына келтіру, өтімділік тереңдігін, спрэдтерді және бұйрық ағынының теңгерімсіздігін талдау.
-
Стратегияны бэктестингтеу. Тарихи тик деректерінде уақыт нүктесіндегі дәлдікпен сауда стратегияларын іске қосу. Look-ahead ауытқуы жоқ — деректер нақты уақытта қолжетімді болған тәртіппен қатаң қайтарылады.
-
Сигнал генерациясы. Гипотезаларды тексеру: "Егер bid-ask спрэді өсіп жатқан көлеммен 3σ-ға кеңейсе — бұл кері бұрылыстың болжаушысы ма?" Ондаған жылдық деректер бойынша, барлық аспаптар бойынша.
-
Тик деректеріндегі ML. MDRE (Market Data Research Environment) — деректер ғылымына арналған Python/Pandas тәрізді API. Гиперпараметрлерді баптау, кросс-валидация, модельді іске қосу — тікелей тик деректерінде, бөлек жүйеге экспорттаусыз.
Қол жеткізу тәсілдері
| Интерфейс | Кімге арналған |
|---|---|
| Python / Pandas API | Деректер ғалымдары, ML инженерлері |
| SQL | Реляциялық дерекқорлармен таныс аналитиктер |
| DAG Designer | Көрнекі сұраныс құру |
| Меншікті граф тілі | Тәжірибелі OneTick пайдаланушылары |
Сауда аналитикасы: TCA және ең жақсы орындалу
MiFID II-ден кейін ең жақсы орындалу (best execution) ұсыныс емес — бұл заңды талап. Брокерлер клиент мәмілелерін қолжетімді ең жақсы баға бойынша орындағанын дәлелдеуге тиіс.
Транзакция шығынын талдау (TCA)
OneTick орындалу бағаларын эталондармен салыстыруға мүмкіндік береді:
| Эталон | Не өлшейді |
|---|---|
| VWAP | Кезең ішіндегі көлеммен өлшенген орташа баға |
| Arrival Price | Бұйрық қабылданған сәттегі баға |
| Implementation Shortfall | Сауда жасау туралы шешім мен нақты орындалу арасындағы айырмашылық |
| Spread Cost | Bid-ask спрэдіндегі шығындар |
Нақты уақыттағы өтімділік мониторингі
FX desk-тер мен алго-трейдерлер үшін: OneTick ағымдағы спрэдтер мен көлемдерді тарихи орташамен салыстырады. Егер EUR/USD спрэді айлық орташадан 2σ-ға кеңейсе — бұл аномалия, және алгоритм орындалуды баяулатуы немесе балама алаңға ауысуы мүмкін.
Орналастыру: on-prem және cloud
| Модель | Сипаттама |
|---|---|
| On-Premises | Толық бақылау, деректер периметрден ешқашан шықпайды. Деректер резиденттігіне қатаң талаптары бар банктерге арналған |
| OneTick Cloud | Толық басқарылатын қызмет. Инфрақұрылымды басқарусыз масштабтау |
| Гибрид | Бұлттағы тарихи деректер, сауда қозғалтқышының жанындағы on-prem нақты уақыт |
Балама шешімдермен салыстыру
| Мүмкіндік | OneTick | kdb+ (KX) | QuestDB | TimescaleDB |
|---|---|---|---|---|
| Мамандану | Қаржы — дереу дайын | Қаржы — әзірлеу арқылы | Жалпы TSDB | Жалпы TSDB |
| Сұраныс тілі | DAG + SQL + Python | q (векторлық, оқу қисығы тік) | SQL | SQL |
| Ағын + тарих | ✅ Бірыңғай қозғалтқыш | ✅ (kdb Insights) | ⚠️ Шектеулі | ⚠️ Кеңейтулер арқылы |
| Surveillance | ✅ Дайын модельдер | ❌ Өзің құруың керек | ❌ | ❌ |
| TCA | ✅ | ❌ Өзің құруың керек | ❌ | ❌ |
| Ingestion | >10 млн тик/сек/өзек | ~10 млн+ тик/сек/өзек | ~3 млн+ жол/сек | ~1 млн+ жол/сек |
| Әзірлеуші шығыны | Төмен (дайын EP-лер) | Жоғары (q мамандары) | Төмен (SQL) | Төмен (PostgreSQL) |
| Ашық код | ❌ Enterprise | ❌ Enterprise | ✅ Apache 2.0 | ✅ Apache 2.0 |
| Cloud | ✅ OneTick Cloud | ✅ kdb Insights | ✅ QuestDB Cloud | ✅ Timescale Cloud |
OneTick-ті қашан таңдау керек
- Сіз биржа немесе реттеуші болсаңыз және дайын анықтау модельдері бар surveillance қажет болса.
- Сіз sell-side desk болсаңыз және реттеушілер TCA мен best execution есептерін талап етсе.
- Сіз квант-қор болсаңыз және тарихи зерттеу мен тірі мониторинг бір құрал болатын платформа қажет болса.
OneTick қашан артық болады
- Сіз бөлшек сауда трейдері немесе шағын крипто топ болсаңыз. OneTick — кәсіпорын деңгейіндегі баға белгіленуі бар кәсіпорын өнімі.
- Аналитикасыз тек дерекқор керек болса. QuestDB немесе TimescaleDB орынды болар еді.
- Деректеріңіз қаржы тиктері емес болса. IoT, мониторинг, лог-тар — бұл басқа ниша, және онда OneTick артық.
Экожүйе: OneTick + TickData
OneTick тарихи тик деректерінің ірі провайдерлерінің бірі — TickData — платформасымен тығыз біріктірілген. Қамту:
- АҚШ акциялары — 1970 жылдан
- Жаһандық биржалар — 80+ алаң
- Барлық актив кластары — акциялар, фьючерстер, опциондар, тұрақты табыс, FX
- Крипто — спот және туынды құралдар
Квант-зерттеу үшін бұл шешуші: тарих неғұрлым терең болса, бэктест соғұрлым сенімді болады. 1970 жылдан бастап деректер 1987, 2000, 2008 және COVID-2020 дағдарыстарын қоса алғанда, ондаған нарықтық режимдерде стратегияларды тексеруге мүмкіндік береді.
Сілтемелер
- 🌐 OneTick: onetick.com
- 🌐 OneTick Use Cases: onetick.com/use-cases
- 📊 TickData: tickdata.com
- 🌐 kdb+ (KX): kx.com
- 🌐 QuestDB: questdb.io
- 🌐 TimescaleDB: timescale.com
Қорытынды
OneTick "жай ғана тағы бір уақыт қатары дерекқоры" емес. Бұл бір қозғалтқышпен үш маңызды қажеттілікті шешетін қаржы деректеріне арналған вертикалды біріктірілген платформа: биржалар мен комплаенс үшін surveillance, хедж-қорлар үшін квант-зерттеу және sell-side үшін TCA/best execution. Event Processors негізінде құрылған DAG архитектурасы — бірдей деректерді нақты уақытта да, терең тарихта да талдау қажет әлем үшін талғампаз шешім.
Таңдау кезіндегі негізгі қателік: OneTick-ті QuestDB немесе TimescaleDB-мен "дерекқор мен дерекқорды" салыстыратындай салыстырмаңыз. OneTick — дерекқор + аналитика қозғалтқышы + дайын бизнес қосымшалары (surveillance модельдері, TCA эталондары, комплаенс есептері). Егер сізге тек жылдам тик ingestion керек болса — QuestDB алыңыз. Егер деректерді жинаудан бастап реттеушілік есептілікке дейінгі толық циклді керек болса — OneTick тек kdb+-пен бәсекелеседі және кіру тосқауылының төмендігі (q тілін үйренудің қажеті жоқ) мен дайын бизнес модульдері арқасында жеңіп шығады.
Өз инфрақұрылымын құрып жатқан алготрейдинг топтары үшін OneTick — эталон нүктесі: тәулігіне триллион тикті өңдей отырып, аналитикке бір жол код жазбай-ақ сұранысты көрнекі түрде құруға мүмкіндік беретін платформа қалай жобалануы керектігінің үлгісі.
