الوحدة 4 من 6 · 5 دقيقة قراءة

الاختبار الرجعي والاختبار المستقبلي

الاختبار الرجعي يُظهر كيف كانت ستؤدي الاستراتيجية في الماضي؛ والاختبار المستقبلي يثبت أداءها على بيانات حية، والنتائج الحية تكون دائمًا تقريبًا أسوأ مما وعد به الاختبار الرجعي.

تعقيد النموذجبسيطالإفراط في المطابقة≈20 معلمات

الإفراط في المطابقةيرتفع أداء الاختبار الرجعي بقوة بينما يتوقف الأداء الفعلي عن التقدم ويبدأ في التراجع.

الاختبار الرجعي+71%

الأداء الفعلي+11%

فجوة الإفراط في المطابقة61 نقاط

اسحب تعقيد النموذج. فكلما ازداد تعقيد النموذج، تتبّع الماضي بمثالية أكبر (منحنى الاختبار الرجعي الأخضر السلس)، لكنه في الحقيقة يحفظ الضوضاء عن ظهر قلب، فيبلغ منحنى الأداء الفعلي الأحمر، الذي يُختبر على بيانات لم يرها من قبل، ذروته مبكرًا ثم ينهار. تلك الفجوة المتسعة هي الإفراط في المطابقة.

اسحب الرسم البياني أعلاه من Simple إلى Overfit: منحنى الاختبار الرجعي الأخضر يتحول إلى خط سلس لا تشوبه شائبة، بينما منحنى الأداء الحي الأحمر يبلغ ذروته مبكرًا ثم ينهار. لهذه الفجوة اسم، الإفراط في المطابقة، والبقاء على الجانب الآمن منها هو ما تتناوله هذه الوحدة فعليًا. قبل أن تخاطر بدولار واحد على قاعدة أو نموذج، عليك اختباره، وهناك طريقتان صادقتان بالضبط للقيام بذلك، إلى جانب قائمة كاملة من طرق خداع النفس. تتناول هذه الوحدة كيفية التمييز بينهما. الاختبار الجيد يمكن أن ينقذك من فكرة سيئة. أما الاختبار المُلفَّق، وغالبًا ما يكون تلفيقه بالصدفة لا عن قصد، فيفعل العكس: يمنحك الثقة لتخسر المال بسرعة. بحلول نهاية هذه الوحدة، ستعرف كيف تُجري اختبارًا رجعيًا يستحق الثقة، وكيف تكتشف الحيل التي تجعل استراتيجية خاسرة تبدو كآلة لصنع المال، ولماذا يكون الرقم الذي يطبعه اختبارك سقفًا لن تصل إليه تمامًا أبدًا في الواقع.

الاختبار الرجعي: إعادة تشغيل الاستراتيجية على الماضي

الاختبار الرجعي يعني تشغيل استراتيجية على بيانات تاريخية لتقدير كيف كان أداؤها. تأخذ قواعدك، وتوجهها نحو بضع سنوات من تاريخ الأسعار، وتدعها «تتداول» ذلك التاريخ لترى كيف يبدو منحنى رأس المال.

وهو أمر ضروري. فالاستراتيجية التي تخسر في الماضي لا تستحق التداول بها بمال حقيقي، لذا فالاختبار الرجعي هو الحد الأدنى الذي يجب تجاوزه أولًا. لكن تجاوز الحد الأدنى ليس كالوصول إلى السقف. من السهل تلفيق اختبار رجعي بحيث يُظهر نتائج ما كانت الاستراتيجية لتحققها أبدًا في الوقت الحقيقي، ومعظم الوقت لا يقوم أحد بتلفيقه عن قصد. الأخطاء تتسلل بصمت.

لذا تعامل مع الاختبار الرجعي الجيد بوصفه إذنًا لمواصلة البحث، لا دليلًا أبدًا على أنك ستجني المال. بقية هذه الوحدة هي قائمة بالطرق التي يكذب بها عليك اختبار رجعي يبدو نظيفًا.

تحيز الاستباق: الغش بجريدة الغد

تحيز الاستباق هو استخدام معلومات في اختبارك لم تكن متاحة فعليًا في لحظة القرار المحاكى. الاختبار «يعرف» شيئًا ما كان المتداول الحقيقي ليعرفه بعد، فيتخذ قرارًا ما كان أي متداول حقيقي ليتخذه.

مثالان كلاسيكيان:

استخدام سعر الإغلاق ليوم ما لتفعيل صفقة تتظاهر بأنك نفّذتها «عند الافتتاح» في صباح اليوم نفسه. في الواقع، أنت لا تعرف سعر الإغلاق إلا بعد انتهاء اليوم.
استخدام بيانات أساسية مُعاد بيانها لم تُنشر إلا بعد أسابيع من التاريخ الذي تختبره.

حتى تسرب صغير جدًا لمعلومات مستقبلية يحوّل استراتيجية عادية إلى وهم من مكاسب سلسة وبلا جهد. يبدو منحنى رأس المال رائعًا لأن الاختبار الرجعي يقرأ بصمت جريدة الغد. إذا بدا اختبار رجعي نظيفًا وسهلًا أكثر مما ينبغي، فتحيز الاستباق هو أول ما يجب الاشتباه فيه.

الإفراط في مطابقة المنحنى، وحل العينة الداخلية والعينة الخارجية

الفخ الكبير الثاني هو الإفراط في مطابقة المنحنى. إذا واصلت ضبط معاملات الاستراتيجية حتى يبدو منحناها التاريخي مثاليًا، فأنت لم تعثر على أفضلية حقيقية. لقد شكّلت الاستراتيجية لتطابق تمامًا تعرجات الماضي، بما في ذلك الضوضاء العشوائية التي لن تتكرر. المنحنى جميل تحديدًا لأنك صغته على تلك الفترة الواحدة من التاريخ.

الدفاع القياسي هو اختبار العينة الداخلية مقابل العينة الخارجية، وهو أبسط مما يبدو:

قسّم تاريخك إلى شريحتين.
العينة الداخلية: اضبط الاستراتيجية على الشريحة الأولى بقدر ما تشاء.
جمّد القواعد. لا مزيد من التعديل.
العينة الخارجية: شغّل تلك القواعد المجمَّدة على الشريحة الثانية، التي لم تر الاستراتيجية بياناتها من قبل.

إذا صمد الأداء على العينة الخارجية، فقد تكون الأفضلية حقيقية. وإذا انهار، فأنت كنت تطابق الضوضاء، ومن الأفضل أن تكتشف ذلك الآن لا بمال حقيقي. قاعدة عملية تستحق أن تحملها معك: الاستراتيجية التي تضم عشرات المعاملات ومنحنى سلسًا بشكل مثير للريبة تُعتبر مذنبة حتى تثبت براءتها.

الاختبار المستقبلي: البروفة الصادقة

الاختبار المستقبلي، ويُسمى أيضًا التداول الورقي، يعني تشغيل الاستراتيجية حيًا على بيانات فورية دون تعريض أي رأس مال حقيقي للخطر. إنه المكمّل الصادق للاختبار الرجعي لسبب واحد: لا يمكنك التطلع إلى المستقبل. تصل البيانات نبضة واحدة في كل مرة، تمامًا كما ستصل في التداول الحقيقي، لذا لا يجد تحيز الاستباق ولا التطفل الصامت على البيانات مكانًا يختبئان فيه.

يتحقق الاختبار المستقبلي أيضًا من الأمور المملة التي يتجاهلها الاختبار الرجعي: أنواع أوامرك، وتوقيتك، وكيف تتصرف عمليات التنفيذ فعليًا عندما يكون السوق متحركًا. افتراضات التنفيذ هذه هي حيث ينهار كثير من الاختبارات الرجعية «المثالية».

اعتبره نقطة التفتيش الأخيرة قبل المال الحقيقي. تخطّيه هو الطريقة التي يتحول بها اختبار رجعي جميل إلى حساب حي قبيح.

لماذا يكون الأداء الحي أسوأ دائمًا من الاختبار الرجعي

إليك النمط المزعج: الفجوة بين النتائج المُختبرة رجعيًا والنتائج الحية حقيقية، وهي متوقعة، وتسير دائمًا تقريبًا في الاتجاه نفسه. الأداء الحي أسوأ. ثلاث قوى تتسبب في ذلك.

القوة	ما هي	لماذا فاتت على الاختبار الرجعي
التكاليف	الرسوم، وفارق العرض والطلب، والتمويل	كثيرًا ما يفترض الاختبار الرجعي الساذج تكاليف صفرية
الانزلاق السعري	الفجوة بين السعر الذي توقعته والسعر الذي حصلت عليه	يزداد في الأسواق السريعة أو الرقيقة التي يعاملها الاختبار الرجعي وكأنها هادئة
تغيّر النظام السوقي	ظروف السوق التي أنتجت بياناتك لم تعد قائمة	لا يمكن للتاريخ أن يحتوي سوقًا لم يحدث بعد

بسبب هذا، أجرِ اختبارًا مستقبليًا لفترة كافية لرؤية عدد كبير من الصفقات وتحول واحد على الأقل في ظروف السوق قبل أن تلتزم برأس مال. عُدّ الصفقات ونطاق الظروف، لا الأيام على التقويم. قد تحتاج استراتيجية سريعة إلى بضعة أسابيع؛ بينما تحتاج استراتيجية أبطأ في كثير من الأحيان إلى أشهر. السؤال ليس أبدًا «كم استمر الاختبار؟» بل «كم نجا؟».

حسابات التكلفة التي تقتل الاختبار الرجعي بصمت

يُظهر اختبار رجعي استراتيجية تحقق +40% سنويًا على حساب قيمته $10,000، بمنحنى سلس رائع، وبتنفيذ 300 صفقة في السنة. افترض الاختبار الرجعي تكاليف صفرية. الآن أضف الواقع.

لنفترض أن كل صفقة كاملة (شراء وبيع) تكلف نحو 0.1% من قيمة التداول في الرسوم والفارق. عبر 300 صفقة، هذا يعني نحو 300 x 0.1% = 30% من إجمالي التداول تلتهمه التكاليف. ثم أضف بضع نقاط أساس من الانزلاق السعري لكل صفقة في اللحظات السريعة، ويزداد الأمر سوءًا.

بعد إعادة الحساب مع احتساب التكاليف، قد يهبط ذلك الاختبار الرجعي بنسبة +40% بشكل واقعي إلى ما يقارب +8% إلى +10% حيًا. استراتيجية بدت متوسطة الأداء فقط يمكن أن تتحول إلى خسارة صافية بمجرد أن تكون التكاليف صادقة. لم يتغير شيء في المنطق. الفرق الوحيد كان احتساب التكاليف التي تجاهلها الاختبار الرجعي. لهذا تطرح التكاليف والانزلاق السعري الواقعيين قبل أن تتحمس، ولهذا يكون الاختبار المستقبلي (حيث التكاليف لا مفر منها) هو ساحة الإثبات الحقيقية.

طريقة أنظف لتقسيم العينة الداخلية والعينة الخارجية

التقسيم الأساسي (الضبط على الشريحة الأولى، والاختبار المجمَّد على الشريحة الثانية) كافٍ لرصد معظم حالات الإفراط في مطابقة المنحنى. إذا أردت أن تكون أكثر صرامة، فحافظ على أن تبقى العينة الخارجية مغلقة فعليًا:

حدد التقسيم قبل أن تنظر إلى أي نتائج، لا بعدها.
اختبر على بيانات العينة الخارجية مرة واحدة. فإذا واصلت التطلع إليها والتعديل وإعادة الاختبار، فإن تلك الشريحة «غير المرئية» تتحول تدريجيًا إلى عينة داخلية أيضًا، وتتسرب الفائدة كلها.
فضّل استراتيجية تبقى جيدة فقط عبر الشريحتين على استراتيجية تبهر في واحدة وتتزعزع في الأخرى. الاتساق عبر بيانات لم ترها الاستراتيجية من قبل هو الإشارة التي تريدها فعلًا.

ما مدى الطول «الكافي» لإجراء الاختبار المستقبلي؟

لا يوجد عدد أيام ثابت، لأن استراتيجيتين يمكن أن تتداولا بسرعتين مختلفتين اختلافًا كبيرًا. المقياس الصادق هو التعرض للتنوع:

عدد كافٍ من الصفقات بحيث لا تستطيع سلسلة حظ أن تجمّل السجل. دزينة من الصفقات لا تكاد تخبرك بشيء؛ وبضع مئات تبدأ بأن تعني شيئًا.
تغيّر واحد على الأقل في الظروف، بحيث تكون قد رأيت الاستراتيجية في سوق متذبذب وفي سوق ذي اتجاه، في الهدوء وفي الفزع، لا في المزاج الواحد الذي صادف أنها انطلقت فيه.

استراتيجية عالية التردد قد تحقق كلا الشرطين خلال أسابيع. استراتيجية تأرجحية بطيئة قد تحتاج إلى أشهر عديدة. إذا لم يشهد اختبارك المستقبلي سوى نوع واحد من الأسواق، فأنت لم تختبرها فعليًا بعد.

اختبار سريع للمعرفة

لماذا يكون الاختبار الرجعي ضروريًا لكنه غير كافٍ وحده؟ يجب أن تنجو الاستراتيجية من الماضي على الأقل لتستحق التداول بها، لذا فالاختبار الرجعي هو الحد الأدنى. لكن الاختبارات الرجعية يسهل تشويهها بتحيز الاستباق، والإفراط في مطابقة المنحنى، والتكاليف المتجاهلة، لذا فاجتياز أحدها لا يثبت أنك ستجني المال حيًا.

ما تحيز الاستباق، في مثال واحد؟ استخدام معلومات في الاختبار لم تكن متاحة في لحظة القرار، كأن تُفعِّل صفقة «عند الافتتاح» باستخدام سعر إغلاق ذلك اليوم، وهو ما كان أي متداول حقيقي ليعرفه بعد.

لماذا تقصر النتائج الحية دائمًا تقريبًا عن الاختبار الرجعي؟ ثلاث قوى يقلل الاختبار الرجعي عادةً من شأنها: التكاليف (الرسوم، والفوارق، والتمويل)، والانزلاق السعري (تنفيذ أسوأ مما هو متوقع)، وتغيّر النظام السوقي (تغيّرت ظروف السوق التي أنتجت بياناتك التاريخية).

المصادر

CFA Institute، «Backtesting and Simulation»، تعريف اختبار استراتيجية على بيانات تاريخية لتقدير أدائها.
arXiv (academic)، «Look-Ahead-Freedom as Temporal Non-Interference»، استخدام معلومات غير متاحة في وقت القرار المحاكى.
Notices of the AMS (academic)، «Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance»، الإفراط في مطابقة المنحنى بوصفه وصفًا للضوضاء بدلًا من العلاقة الأساسية، وإخفاقه في التعميم على بيانات جديدة.
CME Group، «About the Trading Simulator»، الاختبار المستقبلي على بيانات فورية دون رأس مال حقيقي قبل الانتقال للتداول الحي.