Технический анализ (стр. 38 )

СУММАРНЫЕ ПРИБЫЛИ/УБЫТКИ ($) ДЛЯ ТРЕХ ТЕСТОВЫХ

ПЕРИОДОВ: ОПТИМАЛЬНЫЕ НАБОРЫ ПАРАМЕТРОВ

ПО СРАВНЕНИЮ СО СРЕДНИМИ РЕЗУЛЬТАТАМИ

ВСЕХ ПАРАМЕТРОВ И ЛУЧШИМИ И ХУДШИМИ НАБОРАМИ ПАРАМЕТРОВ ДЛЯ ПРЕДЫДУЩИХ ПЕРИОДОВ

Рынок	Наилучший набор	Лучший набор	Средний результат	Наихудший набор
	параметров для данного	параметров в предшеств.	всех наборов	параметров в лредшесгв.
	периода	период	параметров	период
Казначейские облигации	21980	-7410	3950	6410
Немецкая марка	23170	1040	6860	14110
Японская йена	18800	11460	6720	1740
Золото	5250	-110	-1430	120
Серебро	6730	-210	-1280	-940
Топливная нефть	15360	2980	3220	9830
Зерно	4110	-760	-390	-3420
Соевые бобы	4670	-11680	-5330	-510
Скот	5070	1640	140	-310
Сахар	5930	3060 '*пщ>||| ;- »,_	-2800	-7650

ГЛАВА 20. тестирование и оптимизация торговых систем 717

Хотя наихудший в прошлом набор параметров, похоже, оказывается и наихудшим набором параметров в будущем, другие прошлые оценки результативности, как кажется, подразумевают значительно меньшую предсказательную ценность. Средняя (нейтральная) оценка набора па­раметров равна 4,5 (если отбросить наихудшую оценку 9). Посмотрим, как себя вел набор параметров, оптимальный для предшествующего восьмилетнего периода. Как видно из табл. 20.15, в первый тестовый период этот набор сохранил свое первое место, во второй — спустил­ся на седьмое, а в третьем периоде занял второе место. Итого в сред­нем за три тестовых периода этот набор получил оценку 3,3, что все-таки лучше, чем нейтральная оценка 4,5. Однако, набор параметров, который на предшествующем восьмилетнем периоде занял всего лишь четвертое место, на тестовых периодах достиг значительно лучшего результата (2,3). Также заметьте, что наборы параметров, занявшие по­чти полярно противоположные места на предшествующем восьмилет­нем периоде (2 и 8), на трех тестовых периодах дают почти идентич­ные результаты: 4,7 и 5,0.

Чтобы понять, почему наихудшая оценка результативности на пред­шествующем периоде точно предсказывает будущую результативность (набор параметров продолжает давать плохие результаты), в то время как другие оценки результативности, по-видимому, имеют мало пред­сказательного значения, мы исследуем оценку результативности, осно­ванную на значениях параметров. В табл. 20.16 показаны результаты наборов параметров, перечисленные в порядке возрастания значения самого параметра (а не в порядке возрастания результативности за про­шедший восьмилетний период, как это было в табл. 20.15).

Как видно из табл. 20.16, на каждом из тестовых периодов наихуд­шую результативность показал один и тот же набор параметров! Этот набор параметров с постоянной наихудшей результативностью распо­лагается на одном из концов протестированного диапазона наборов па­раметров: N = 20.

Хотя N = 20 — наиболее чувствительное из протестированных зна­чений наборов параметров — постоянно приводит к наихудшей резуль­тативности (когда применяется к портфелю), другие протестированные значения (от N = 30 до N = 100) ведут себя не так стабильно. Обрати­те внимание на то, что набор параметров N = 80 показал невероятно высокий средний ранг 1,3. Однако средние ранги двух соседних зна­чений N (6,7 и 3,3) подразумевают, что звездная результативность зна­чения N = 80, скорее всего, была статистической случайностью. Как уже объяснялось ранее в этой главе, недостаточная устойчивость к из­менению параметра предполагает, что прошлая превосходная резуль­тативность данного параметра, вероятно, отражает лишь своеобразие тестируемых исторических данных, а не ту модель, которая будет по­вторяться в будущем.

718 ЧАСТЬ 4. торговые системы и измерение эффективности торговли

Таблица 20.15.

СИСТЕМА ПРОБОЯ (ПОРТФЕЛЬ):

РАНГИ НАБОРОВ ПАРАМЕТРОВ НА ДВУХГОДИЧНЫХ ТЕСТОВЫХ ПЕРИОДАХ ПО СРАВНЕНИЮ С РАНГАМИ НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Ранг набора Ранг того же параметров на набора	Ранг того же набора	Ранг того же набора	Средний ранг
предшествующем параметров 8-летнем периоде в	параметров в	параметров в
1 1	7	2	3,3
2 5	1	8	4,7
3 3	6	4	4,3
4 2	4	1	2,3
5 4	8	6	6,0
6 6	3	7	5,3
7 7	5	3	5,0
8 8	2	5	5,0
9 9	9	9	9,0

Таблица 20.16

СИСТЕМА ПРОБОЯ (ПОРТФЕЛЬ):

РАНГИ НАБОРОВ ПАРАМЕТРОВ ПО ДВУХГОДИЧНЫМ ТЕСТОВЫМ ПЕРИОДАМ, В ЗАВИСИМОСТИ ОТ ЗНАЧЕНИЙ N

Значение N набора	Ранг набора	Ранг набора	Ранг набора	Средний ранг
параметров	параметров в	параметров в	параметров в
20	9	9	9	9,0
30	8	2	5	5,0
40	7	5	3	5,0
50	6	3	1	3,3
60	4	6	6	5,3
70	5	7	8	6,7
80	1	1	2	1,3
90	2	4	4	3,3
100	3	8	7	6,0

ГЛАВА 20. тестирование и оптимизация торговых систем 719

Будет поучительным рассмотреть наблюдения, связанные с предше­ствующим экспериментом по оптимизации.

•  Оптимизация вообще не имела никакого значения, когда при­
менялась к каждому рынку в отдельности.

•  Однако примененная к портфелю, оптимизация кажется полез­
ной для предсказания того, какой набор параметров с наиболь­
шей вероятностью покажет плохую результативность в будущем.
Тем не менее, оптимизация не может предсказать, какие из на­
боров параметров с наибольшей вероятностью продемонстри­
руют хорошую результативность в будущем.

•  При более близком исследовании выяснилось, что модель по­
стоянно плохой результативности была не столько следствием
степени результативности на предшествующем периоде, сколь­
ко следствием значения параметра. Другими словами, протес­
тированный диапазон наборов параметров начинался со значе­
ния, которое явно было далеко от оптимального для данной си­
стемы: N = 20. Хотя и не показанные в таблицах, более низкие
значения для N продемонстрировали бы дальнейшее падение ре­
зультативности по мере уменьшения значений N.

•  За исключением крайних значений параметров (N = 20 или
ниже в этом примере), явно далеких от оптимального значения,
было мало стабильности в значениях наборов параметров с наи­
лучшей результативностью внутри широкого диапазона наборов
параметров (от N = 30 до N = 100 в этом примере).

Эти наблюдения, которые согласуются с результатами похожих эм­пирических тестов, предпринятых мною в прошлом, предполагают сле­дующие ключевые выводы относительно оптимизации*:

1. От любой системы, повторяю, от любой системы с помощью оп­тимизации можно добиться того, чтобы она была очень прибыль­ной на исторических данных. Если вы когда-нибудь обнаружи­те систему, которая не может быть оптимизирована так, чтобы показывать относительно хорошую прибыль в прошлом, примите мои поздравления: вы только что открыли машину по производ-

Хотя единственный эмпирический эксперимент не может быть использо­ван как основа для широких обобщений, я готов сделать таковые здесь, по­скольку только что описанные результаты абсолютно типичны для многих по­добных тестов, предпринятых мною в прошлом. В этом смысле исследование оптимизации, разобранное в данной главе, не рассматривается в качестве до­казательства нежизнеспособности оптимизации, а скорее, в качестве иллюст­рации этого момента.

720 ЧАСТЬ 4. торговые системы и измерение эффективности торговли

ству денег (поступайте противоположно ее сигналам, если толь­ко транзакционные затраты не чрезмерны). Таким образом, при­ятно смотреть на удивительную результативность оптимизиро­ванной системы в прошлом, однако она имеет мало практичес­кой ценности.

2.  Оптимизация будет всегда, повторяю, всегда преувеличивать по­
тенциальную будущую результативность системы — обычно
весьма сильно. Таким образом, результаты оптимизации никог­
да не должны, повторяю, никогда не должны использоваться для
оценки достоинств системы.

3.  Для многих, если не для большинства систем, оптимизация не
будет улучшать будущую результативность или улучшит ее незна­
чительно.

4.  Если оптимизация и имеет какое-то значение, оно обычно со­
стоит в определении широких границ диапазона, из которых
следует выбирать значения наборов параметров для системы.
Тонкая подстройка оптимизации — это в лучшем случае поте­
ря времени, а в худшем — самообман.

5.  В свете всех предшествующих пунктов искушенные и слож­
ные процедуры оптимизации — пустая трата времени. Наи­
простейшие оптимизационные процедуры будут предоставлять
не меньшее количество значимой информации (предполагая,
что, вообще, может быть извлечена некоторая значимая ин­
формация).

В итоге, в противоположность широко распространенным верованиям, существует некий резонный вопрос: приведет ли оптимизация к суще­ственно лучшим результатам при длительном периоде торговли, чем случайным образом выбранный набор параметров? Чтобы не было ни­каких недоразумений, позвольте мне уточнить: это утверждение не при­звано подразумевать, что у оптимизации вообще нет никакой ценнос­ти. Во-первых, как указано ранее, оптимизация может быть полезна при определении явно неподходящего диапазона параметров, который сле­дует исключить при выборе значений параметра (например, N # 20 в нашем примере системы пробоя). Кроме этого, возможно, что для не­которых систем оптимизация может провести некоторые границы в выборе наборов параметров даже после исключения крайних неопти­мальных диапазонов. Однако я подразумеваю, что степень улучшения, предлагаемая оптимизацией, намного меньше, чем обычно представля­ется, и что трейдеры, вероятно, сберегли бы кучу денег, доказывая в начале любое предположение, которое они делают по поводу оптими­зации, а не принимая эти предположения слепо на веру.

ГЛАВА 20. тестирование и оптимизация торговых систем 721

ТЕСТИРОВАНИЕ ИЛИ ПОДГОНКА?

Вероятно, наиболее существенная ошибка, которую делают пользова­тели фьючерсных торговых систем — это предположение, что резуль­тативность оптимизированного набора параметров во время тестово­го периода представляет собой прогноз потенциальной результативно­сти подобных наборов в будущем. Как было показано в предыдущем разделе, подобные предположения приведут к значительной переоцен­ке истинного потенциала системы. Необходимо понимать, что ценовые колебания на фьючерсном рынке в большой степени случайны. Таким образом, «горькая правда» состоит в том, что вопрос, какой из набо­ров параметров приведет к наилучшему результату в течение любого данного периода — в большой степени дело удачи. Законы вероятно­сти показывают, что если протестировано достаточное количество на­боров параметров, даже в бессмысленной торговой системе обнаружат­ся некоторые наборы с лучшей результативностью в прошлом. Оценка системы, основывающаяся на оптимизированных наборах параметров (т. е. наборах с наилучшей результативностью на рассматриваемом пе­риоде), является подгонкой системы под прошлые результаты, а не те­стированием системы. Если оптимизация не может использоваться для оценки результативности, как же тогда вы оцените систему? Следую­щий раздел описывает два разумных подхода.

Слепое моделирование

При использовании «слепого моделирования» система оптимизируется с использованием данных временного периода, который намеренно исключает последние годы. Результативность системы затем тестирует­ся с использованием полученных наборов параметров на последующих годах. В идеале, этот процесс следует повторить несколько раз.

Заметьте, что мы избегаем подгонки результатов, поскольку наборы параметров, используемые для измерения результативности в любой дан­ный период, выбираются полностью на основе предшествующих, а не те­кущих данных. В некотором смысле такой подход к тестированию воспро­изводит реальную жизнь (т. е. приходится на основании прошлых данных решать, при каком наборе параметров торговать). Оптимизационные те­сты из предыдущего раздела использовали этот тип процедуры, передви­гаясь во времени по двухгодичным интервалам; в частности, результаты системы для периода гг. использовались, чтобы выбрать на­боры параметров с наилучшей результативностью, которые потом тести­ровались для периода гг. Далее результаты системы для пе­риода гг. использовались при выборе наиболее результатив-

722 ЧАСТЬ 4. торговые системы и измерение эффективности торговли