정직한 부정적 결과: 수만 번의 백테스트, 메이저 다섯 개, 견고한 엣지는 없다

"환상 없는 백테스트" 시리즈의 일부입니다.

우리가 원하지 않았던 결과

이 시리즈는 거짓말을 잡아내는 도구들을 만드는 데 여러 편의 글을 썼습니다: 한 바(bar)의 누출로 샤프 15를 제조하는 미래 참조 편향, 서치의 승자의 값을 매기는 디플레이티드 샤프 비율, 서치 그 자체의 값을 매기는 백테스트 과적합 확률. 그 글들 하나하나는 어떤 의미에서 리허설이었습니다. 이 글이 본공연입니다: 우리가 실제로 거래하고 싶었던 진짜 전략 패밀리에 장치 전체를 겨누고, 그것이 내리도록 만들어진 판정을 내리게 합니다 — 그 판정이 아니오일 때조차 말입니다.

정직한 결말을 먼저 제시합니다. 우리는 메이저 코인 다섯 개에 걸쳐, 듀얼 및 트리플 타임프레임 구성으로, 견고한 엣지를 찾아 수만 번의 백테스트를 돌렸습니다. 찾지 못했습니다. "작은 엣지를 찾아서 포지션을 줄였다"가 아닙니다. 우리는 이 기계장치와의 접촉에서 살아남는 것을 아무것도 찾지 못했습니다 — 종목 전반에서 동시에 수익을 내면서 다중 검정 보정 아래에서도 방어 가능한 구성은 하나도 없었습니다. 그것은 실험의 실패가 아닙니다. 그것이 바로 실험의 성공입니다.

유혹적인 부분은 — 계측이 더 허술한 팀이라면 자본을 배정하게 만들었을 부분은 — 나이브한 판독이 진짜로 좋아 보였다는 것입니다:

저 첫 행을 우리가 처음 읽었던 방식으로 읽어보십시오: 듀얼 타임프레임 그리드에 걸쳐 ETHUSDT에서 튜닝된 이동평균 크로스오버 전략이, 서치 동안 한 번도 보지 못한 데이터에서 +16.35%를 찍고, 우리가 완전히 벽으로 막아둔 두 번째 윈도우에서 양수인 +2.62%를 지켜냈습니다. 거기서 멈추면 — 그리고 출판되는 대부분의 백테스트는 거기서 멈춥니다 — 당신은 그것을 배포합니다. 이 글의 나머지는 우리에게 그러지 말라고 말해준 기계장치이며, 그것이 왜 옳았는지에 대한 이야기입니다.

1막 — 유혹적인 승자

전략 패밀리는 의도적으로 평범합니다: 닫힌 바에서 평가되는 헐 이동평균(Hull moving average) 크로스오버에, 정직한 실행 모델을 더한 것입니다(바 i의 종가에서 결정하고 i+1의 시가에서 체결 — 이 시리즈가 결코 타협하지 않는 한 바 규율입니다). "듀얼 타임프레임"은 시그널이 더 느린 타임프레임의 추세로 게이트된다는 뜻이고; "트리플"은 그보다 더 느린 세 번째 타임프레임을 추가합니다. 각 타임프레임은 자유 파라미터를 추가하며, 자유 파라미터야말로 서치가 겉보기 성과로 변환해내는 바로 그것입니다.

단일 심볼 연구는 ETHUSDT에서 돌아갔습니다. 프로토콜은 이미 좋은 종류였습니다: 롤링 워크포워드 분할(워밍업 윈도우, 여러 개의 인샘플 폴드, 아웃오브샘플 테스트 윈도우)에, 서치가 맨 마지막 순간까지 손대는 것이 금지된 최종 홀드아웃 윈도우를 더한 것입니다. Sobol/QMC 서치가 파라미터 공간을 탐색했고; 생존자는 최고의 워크포워드 점수를 가진 구성이었으며, 그것은 단 한 번 — 정확히 한 번 — 홀드아웃 위로 옮겨졌습니다.

생존자는 엣지처럼 보였습니다:

• 아웃오브샘플 테스트 윈도우에서 +16.35% — 구성을 채점하는 데만 쓰였고 적합하는 데는 결코 쓰이지 않은 데이터입니다.
• 손대지 않은 홀드아웃에서 +2.62% — 두 번째 벽을 넘었습니다.

이것이 연구 과정이 정직한지 연극적인지를 결정하는 순간입니다. 아웃오브샘플 수익은 숫자가 조작되지 않았고 미래 참조 누출이 없다는 좁은 의미에서는 진짜입니다 — 우리가 확인했습니다. 하지만 "진짜 숫자, 누출 없음"은 "진짜 엣지"보다 훨씬 낮은 바입니다. 둘 사이에 이 시리즈 전체의 주제가 놓여 있습니다: 선택입니다. 우리는 전략 하나를 평가해서 그것이 16%를 벌었다는 것을 발견한 것이 아닙니다. 우리는 어마어마한 수의 전략을 평가하고 그중 최선의 것의 16%를 보고한 것입니다. 아웃오브샘플 윈도우는 미래 참조로부터는 깨끗했지만, 선택으로부터는 깨끗하지 않았습니다 — 승자를 고를 때 그것이 거기서 어떤 성과를 냈는지가 부분적으로 반영되었기 때문입니다. 그 두 이야기를 구별할 수 있는 유일한 도구는 우리가 몇 번을 들여다봤는지 아는 도구입니다.

2막 — 디플레이션: ~37,000번의 시행, DSR = 0.00

들여다본 횟수를 세어봅시다. 폴드, 타임프레임 조합, 파라미터 그리드에 걸쳐, 듀얼 타임프레임 서치는 대략 37,000개의 서로 다른 구성을 평가했습니다. 그 하나하나가 전략 공간에서의 추출이며, 서치는 최댓값을 남겼습니다. 완전한 도출은 디플레이티드 샤프 비율 글에 있지만, 여기서 필요한 단 하나의 사실은 허위 전략 정리(False Strategy Theorem)(Bailey & López de Prado)입니다: 진짜 엣지가 0인 전략 N개의 기대 최대 샤프는 N과 함께 커집니다. N ≈ 30,000에서, 순수한 노이즈의 최선은 순전히 선택만으로 0보다 약 표준편차 네 개 위에 자리합니다. 4 시그마는 발견처럼 보입니다. 그것은 서치의 그림자입니다.

그러니 올바른 질문은 "승자의 샤프가 양수인가?"가 아닙니다 — 당연히 양수입니다, 당신이 최댓값을 골랐으니까요. 올바른 질문은 "승자의 샤프가 동전 던지기꾼 37,000명 중 가장 운 좋은 자가 기록할 수준을 넘어서는가?"입니다. 그것이 정확히 DSR이 계산하는 것입니다: 벤치마크를 0에서 시행 횟수가 함의하는 노이즈 천장까지 끌어올리고, 진짜 샤프가 그것을 넘어설 확률을 보고합니다.

ETHUSDT 승자의 아웃오브샘플 트랙은 약 0.19의 일간 샤프에 해당합니다. 그 자체로만 보면, 긴 윈도우에 걸친 일간 SR 0.19는 완벽하게 존중받을 만한 숫자입니다. ~37,000번의 시행에 대해 디플레이트하면, 증발합니다:

$\text{DSR}\big(\hat{SR}=0.19\,\text{daily},\; N\approx 37{,}000\big) = \mathbf{0.00}$

0입니다. "한계적"도 아니고, "0.4, 주시할 것"도 아닙니다. DSR은 말합니다: 우리가 이만큼 열심히 서치했다는 것을 감안하면, 일간 샤프 0.19는 순수한 노이즈의 최선의 추출과 구별 불가능하다고. 아웃오브샘플 +16.35%와 홀드아웃 +2.62%는, 이 검정이 분해할 수 있는 정밀도 안에서, 엣지가 전혀 없이 그저 37,000장의 표가 걸린 복권에 당첨된 전략과 일치합니다.

디플레이션을 과장하고 싶지 않기에 짚어둘 만한 미묘한 점 하나: 파라미터 그리드의 이웃한 점들은 거의 중복이므로, 원시 시행 횟수는 독립적으로 들여다본 횟수를 과다 계산합니다. 우리의 게이트는 유효 시행 수를 사용합니다 — 디플레이트하기 전에 ONC(López de Prado & Lewis)를 통해 수익률 상관관계로 시행을 클러스터링한 것입니다 — 바로 장부 정리상의 이유로 진짜 엣지를 기각하는 일이 없도록 하기 위해서입니다. 그 보정을 반영해도, ETHUSDT 승자는 살아남지 못합니다. 결과가 DSR 0.00으로 읽힐 때, 유효-N의 뉘앙스가 그것을 구해주지는 못합니다; 그것은 노이즈 깊숙한 곳에 있습니다.

여기서 끝날 수도 있었습니다. 하나의 심볼, 하나의 서치, 무(無)로 디플레이트. 하지만 단일 심볼에서 DSR이 실패하는 것은 집요한 최적화가가 언제나 비집고 들어가려 할 허점을 남깁니다: 어쩌면 ETHUSDT가 그저 어려운 심볼일 뿐이고, 이 구성은 다른 곳에서는 진짜일지도 모른다. 그 허점을 닫으려면 검정의 축을 바꿔야 합니다.

3막 — 결정적 검정: 견고성은 종목에 걸쳐 있다

단일 심볼 서치는 다른 모든 면에서 완벽하더라도 구조적 약점을 갖습니다: 유일한 아웃오브샘플 축이 시간이라는 것입니다. 그것은 구성이 ETHUSDT의 나중 윈도우에서 버텨냈다는 것은 말해줄 수 있지만 — 그 구성이 시장에 대한 무언가를 배웠는지 아니면 ETHUSDT라는 특정 종목에 대한 무언가를 배웠는지는 말해줄 수 없습니다. 한 종목에 대한 과적합은 그 종목을 결코 떠나지 않는 검정에게는 보이지 않습니다.

그래서 우리는 목적함수를 바꿨습니다. "ETHUSDT 아웃오브샘플에서 최선" 대신, 종목 간 헌트는 제너럴리스트를 요구합니다: 많은 심볼에 걸쳐 동시에 좋은 구성 말입니다. 프로토콜은:

• 유동성 높은 메이저 다섯 개: ETHUSDT, BTCUSDT, SOLUSDT, BNBUSDT, XRPUSDT — 각각 대략 1.18M개의 1분봉, 하나의 공유된 캘린더 윈도우, 하나의 공유된 분할 세트(워밍업 → K개의 인샘플 폴드 → 테스트 → 손대지 않은 홀드아웃).
• 견고한 목적함수: 각 구성을 모든 심볼의 워크포워드 결과로 채점한 다음, 심볼 간 중앙값으로 순위를 매깁니다. 중앙값이 핵심입니다 — 한 코인에서는 눈부시고 네 코인에서는 형편없는 구성은 단 하나의 아웃라이어로 입장권을 살 수 없습니다. 선택되려면 대부분의 심볼에서 최소한 중간은 가야 합니다.
• 게이트를 위한 포트폴리오 수익률 행렬: 시행별 일간 수익률은 다섯 심볼에 걸친 동일 가중 포트폴리오(각각 자본의 1/S)이며, 이것이 DSR과 PBO-CSCV 게이트가 소비하는 T×N 성과 행렬을 만들어줍니다.
• 홀드아웃은 단 한 번만 건드립니다 — 각 모드의 견고한 챔피언만이 건드립니다.

이것은 단일 심볼 검정보다 엄격하게 더 어려운 검정이며, 의도적으로 그렇게 만든 것입니다. 어떤 구성은 한 코인의 고유한 특성을 착취해서 ETHUSDT 서치에서 이길 수 있습니다; 다섯 개 중앙값 서치에서는 그런 식으로 이길 수 없습니다. 이 전략 패밀리에 견고한 엣지가 존재한다면, 이것이 그것을 찾아내는 셋업입니다. 존재하지 않는다면, 이것이 움츠러들지 않고 그렇다고 말해주는 셋업입니다.

4막 — 판정: 두 타임프레임 모두 게이트 탈락

우리는 종목 간 헌트를 두 구성 모두에서 돌리고 각각의 견고한 챔피언을 게이트에 세웠습니다. 게이트는 표준적인 두 가지입니다: DSR ≥ 0.95(유효 시행 수에 대해 디플레이트)와 PBO ≤ 0.2(성과 행렬에 대한 CSCV로부터). 판정 전체를 정직하게 제시합니다:

둘 다 실패, 두 게이트 모두, 두 모드 모두입니다. 각 숫자를 앞선 글들이 확립한 캘리브레이션으로 읽으십시오. 두 게이트는 서로 다른 것을 말하고 있는데, 그 둘이 일치하기 때문입니다:

• DSR 0.24(듀얼), 0.14(트리플). DSR은 진짜 샤프가 서치가 함의하는 노이즈 천장을 넘어설 확률입니다. 우리에게 필요한 것은 0.95입니다. 우리가 얻은 것은 0.24와 0.14 — 몇 개의 구성이 시도되었는지를 감안하고 나면 엣지가 양수이기라도 할 확률이 겨우 4분의 1, 7분의 1이라는 뜻입니다. 세 번째 타임프레임의 추가는 상황을 낫게 하기는커녕 더 나쁘게 만들었습니다: 더 많은 파라미터, 표본에 적합할 더 많은 방법, 일반화되는 것은 더 적음. 이 역전 자체가 과적합의 지문입니다.

• PBO 0.264(듀얼), 0.327(트리플). PBO에 대해 모두가 잘못 읽는 단 하나의 사실을 기억하십시오(전체 논의는 여기): PBO의 null은 1이 아니라 0.5입니다. PBO는 인샘플 승자가 아웃오브샘플에서 하위 절반에 떨어질 확률입니다. 신뢰할 만한 선택은 0 근처에 자리하고; 순수한 동전 던지기는 0.5에 자리합니다. 우리의 0.264와 0.327은 0.5보다 아래입니다 — 선택이 문자 그대로 동전 던지기는 아니고, 시그널의 희미한 속삭임은 있습니다 — 하지만 둘 다, 선택을 신뢰할 만하다고 부르기 위해 우리가 요구하는 0.2를 한참 웃돕니다. 그리고 여기서도 트리플(0.327)이 듀얼(0.264)보다 동전 던지기 선에 더 가깝습니다: 더 많은 복잡성, 더 적은 일반화입니다.

두 도구는 직교합니다 — DSR은 모수적이며 승자의 값을 매기고, PBO는 비모수적이며 절차의 값을 매깁니다 — 그리고 둘은 반대 방향에서 같은 답으로 수렴합니다. 이 표를 어떻게 읽어도 두 전략 중 어느 쪽도 바를 넘지 못합니다. 이 헌트 전체를 시작하게 만든 +16.35%에게는 견고한 종목 간 사촌이 없습니다. 그것은 하나의 코인과 하나의 서치의 속성이었습니다.

5막 — 챔피언을 심볼별로 따라가 보기

집계 게이트는 전략이 실패했다는 사실을 말해주고; 심볼별 분해는 어떻게 실패했는지를 말해줍니다. 그리고 그 "어떻게"가 이 연구 전체에서 가장 교훈적인 부분입니다. 트리플 타임프레임 챔피언 — 다섯 개 중앙값 목적함수가 실제로 왕관을 씌운 구성 — 을 가져다가, 각 심볼의 아웃오브샘플 테스트 윈도우에서 무엇을 했는지 보십시오:

환상 전체가 다섯 줄에 낱낱이 드러나 있습니다. 챔피언은 다섯 심볼 중 정확히 하나 — 화려한 +14.74%의 SOLUSDT — 에서만 수익을 내고, 나머지 넷에서는 손실입니다. 어쩌다 약해진 제너럴리스트가 아닙니다. 포트폴리오의 옷을 입은 SOL 스페셜리스트입니다. 하나의 큰 양수가 모든 일을 하고 있습니다; 중앙값 목적함수는 단 하나의 아웃라이어에 속기를 거부하기 때문에 이 구성을 원래의 ETHUSDT 승자보다 아래로 강등시켰지만, 중앙값으로 선택된 챔피언조차 뜯어보면 거의 전적으로 한 코인에 기대고 있는 것으로 드러납니다.

홀드아웃 — 누구도 그에 맞춰 최적화하는 것이 허용되지 않았던 윈도우 — 은 가능한 가장 깨끗한 시점에서 같은 이야기를 들려줍니다: 메이저 다섯 개에 걸쳐, 챔피언의 홀드아웃 수익률은 5개 심볼 중 1개에서만 양수입니다. 이것이 전략 패밀리의 진짜 엣지였다면, 적어도 희미하게라도 둘 이상의 종목의 손대지 않은 데이터에서 나타났을 것입니다. 하나에서만 나타납니다. 그것은 시장이 아니라 심볼 하나를 학습한 구성의 서명입니다.

이것이 종목 간 축이 단순히 있으면 좋은 것이 아니라 결정적 검정이었던 이유입니다. 단일 심볼 DSR은 이미 ETHUSDT를 0으로 디플레이트했습니다. 하지만 실패를 진단해낸 것은 다섯 개 중앙값 설계였습니다 — 겉보기 엣지가 애초에 종목들에 걸쳐 분포한 적이 없다는 것, 그것이 그 실행에서 서치가 우연히 과적합한 코인이 무엇이든 그 코인의 속성이었다는 것을 보여준 것입니다. ETHUSDT에서는 ETHUSDT의 것이었고; 중앙값 헌트에서는 SOLUSDT의 것으로 옮겨갔습니다. 엣지가 움직였습니다. 진짜 엣지는 그런 식으로 움직이지 않습니다.

왜 부정적 결과가 올바른 결과인가

우리가 무엇을 주장하고 무엇을 주장하지 않는지 명시적으로 해둘 가치가 있습니다. "엣지를 찾지 못했다"는 거짓 겸손이나 무능의 고백으로 잘못 읽히기 쉽기 때문입니다. 둘 다 아닙니다.

우리는 HMA 크로스오버가 결코 작동할 수 없다거나, 이 다섯 코인이 예측 불가능하다거나, 듀얼/트리플 타임프레임 전략이 존재하지 않는다고 주장하는 것이 아닙니다. 우리는 더 좁고 훨씬 강한 것을 주장합니다: 이 전략 패밀리 안에서, 이 데이터에 대해, 이 서치 강도에서, 우리가 시도한 것들의 개수에 대한 보정에서 겉보기 성과가 살아남는 구성은 없다. 엣지처럼 보였던 모든 것이 노이즈의 최선의 신뢰 밴드 안에 있습니다. 그것은 정밀하고, 반증 가능하고, 방어 가능한 진술입니다 — 그리고 출판해야 할 올바른 진술입니다.

이 기계장치가 물리치는 유혹은 어마어마하며, 다른 모든 분야에서 그것에는 이름이 있습니다: **파일 서랍 문제(file-drawer problem)**입니다. 부정적 결과는 묻히고; 긍정적 결과는 논문이 됩니다. 트레이딩에서는 그 유인이 한층 더 날카롭습니다. 디플레이트하지 못한 긍정적 결과는 그저 나쁜 논문이 아니라 — 노이즈에 맞서 배치된 자본이고, 시그널로 착각한 복권을 거래하느라 진짜 수수료를 내는 진짜 돈이기 때문입니다. 미래 참조 편향 글은 누출이 샤프 15를 조작해내는 것을 보였고; DSR 글은 누출이 전혀 없는 순수한 노이즈에서 서치가 샤프 1.63을 조작해내는 것을 보였습니다. 이 글은 그 도구들을 당신 자신이 가장 아끼는 아이디어에 겨누고 정직하라고 요구할 때 어떤 모습이 되는지를 보여줍니다. 이 장치 — DSR, PBO/CSCV, 유효-N 클러스터링, 종목 간 선택 — 는 당신의 전략을 축복하기 위해 존재하는 것이 아닙니다. 노이즈의 최선을 알파로 배포하는 것을 막기 위해 존재하며, 그것이 작동한다는 유일한 증거는 때때로 아니오라고 말한다는 것입니다.

이 장치가 없는 팀이라면 +16.35%를 배포했을 것입니다. 깨끗해 보이는 워크포워드, 양수인 홀드아웃, 탐지 가능한 미래 참조 누출 없음, 그럴듯한 서사까지 갖췄을 것입니다. 그들은 틀렸을 것이고, 실전 P&L이 어긋나기 전까지는 그것을 몰랐을 것입니다 — 부정적이지만 정직한 결과라면 결코 설명할 필요가 없는 백테스트-실전 격차 말입니다. 실전에 나간 적이 없으니까요. 엄밀한 아니오의 가치는 당신이 결코 겪지 않은 드로다운으로 측정됩니다.

출처

이 글의 모든 숫자는 서사가 아니라 코드로 추적됩니다. 종목 간 엣지 헌트 — 다섯 심볼 로드, 공유 분할, 심볼 간 중앙값 목적함수, 게이트에 공급되는 동일 가중 포트폴리오 행렬 — 는 백테스터 저장소의 scripts/edge_hunt_multitf.py(커밋 acd84e8)에 있습니다. 그것이 호출하는 통계 게이트들 — 확률적 샤프와 디플레이티드 샤프, 최소 트랙 레코드 길이, ONC 클러스터링을 통한 유효-N, CSCV를 통한 PBO, 모두 블랙박스 라이브러리가 아니라 1차 문헌을 바탕으로 NumPy/SciPy 위에서 처음부터 구현한 것 — 은 scripts/overfit_gates.py(커밋 7b966e1)에 있으며, 이 스크립트는 순수한 노이즈에 알려진 엣지를 심고 게이트가 그것은 통과시키고 노이즈는 기각하는지 확인하는 셀프 테스트와 함께 제공됩니다. 유혹적인 +16.35%를 만들어낸 단일 심볼 ETHUSDT 연구는 헌트가 읽기 전용으로 임포트하는 이전의 bench_search_multitf 하네스에서 나왔습니다. 여기에 손으로 계산한 수치는 하나도 없습니다; 답이 예든 아니오든 게이트는 동일한 코드 경로입니다.

핵심 요점

1. 우리는 메이저 다섯 개에 걸쳐 듀얼 및 트리플 타임프레임으로 수만 번의 백테스트를 돌렸고, 견고한 엣지를 찾지 못했습니다 — 그리고 그것이 이 기계장치가 만들어내도록 설계된 결과입니다. 엄밀하게 확립된 부정적 결과는 실패가 아니라 발견입니다.
2. 깨끗해 보이는 아웃오브샘플 숫자는 엣지가 아닙니다. ETHUSDT 승자는 미래 참조 누출 없이 아웃오브샘플 +16.35%와 손대지 않은 홀드아웃 +2.62%를 기록했지만 — 그 뒤에 있는 ~37,000번의 시행을 세고 나면 DSR 0.00으로 디플레이트되었습니다. 아웃오브샘플은 미래 참조를 걸러내고; 선택을 걸러내는 것은 오직 디플레이션뿐입니다.
3. 허위 전략 정리가 그 이유입니다. ~30,000번의 시행에서, 순수한 노이즈의 최선은 선택만으로 0보다 약 4 시그마 위에 자리합니다. 일간 샤프 0.19는 정확히 그 복권이 지불하는 액수입니다. 승자는 결코 0이 아니라 노이즈 천장과 비교해야 합니다.
4. 견고성은 시간만이 아니라 종목에 걸쳐 존재합니다. 다섯 심볼 간 중앙값으로 선택하는 것은 단일 코인의 환상을 진단 가능한 것으로 바꿔놓았습니다: 듀얼 DSR 0.24 / PBO 0.264, 트리플 DSR 0.14 / PBO 0.327 — 둘 다 두 게이트 모두에서 실패하며, (파라미터가 더 많은) 트리플이 모든 지표에서 듀얼보다 나쁩니다.
5. 챔피언을 신뢰하기 전에 뜯어보십시오. 트리플 타임프레임 "포트폴리오" 챔피언은 5개 중 1개 심볼에서만 수익을 냈고(SOL +14.74%; ETH −0.39%, BTC −0.38%, BNB −8.58%, XRP −4.13%), 홀드아웃에서 양수인 것도 5개 중 1개뿐이었습니다. 한 종목에서만 살고 다시 서치하면 옮겨 다니는 엣지는 엣지가 아닙니다 — 포트폴리오의 옷을 입은 과적합입니다.
6. 부정적 결과를 출판하십시오. 반과적합 장치 — DSR, PBO/CSCV, 유효-N, 종목 간 선택 — 가 가질 가치가 있는 것은 바로 그것이 때때로 아니오라고 말해주기 때문이며, 규율이란 그것이 그렇게 말할 때 귀를 기울이는 것입니다.

우리가 가장 작동하기를 바랐던 전략은 작동하지 않았습니다. 그것을 잡아내려고 우리가 만든 도구들이, 단 1달러도 위험에 처하기 전에, 네 가지 독립적인 방식으로 그렇다고 말해주었습니다. 그것이 이 시리즈 전체의 요점이고, 이 글이 그 요점이 현금화되는 글입니다: 이 기계장치는 당신에게 아첨하는 날이 아니라 — 당신을 멈춰 세우는 날 제 몫을 해내는 것입니다.