Q&A: Como diminuir os problemas de walk forward no ajuste de robôs traders?

Como diminuir os problemas de walk forward no ajuste de robôs traders? Salientando que todas as operações são intraday, como o fato do período OOS ter sido tão disruptivo ou turbulento, enquanto o período IS com forte alta, pode ter influenciado nos resultados? – Conrado

Olá Conrado, antes de mais nada obrigado por compartilhar sua experiência, que considero bastante interessante pois existem vários pontos relevantes que você levantou.

Vou tentar contribuir com minha visão, embora ela seja bastante particular.

Em primeiro lugar, note que o forward testing também é um backtesting, apenas, como você comentou, com a diferença de ser feito com dados fora da amostra utilizada para treinar sua estratégia. E, na verdade, esse é um sistema muito similar ao de aprendizado de máquina, se você fizer o paralelo de IS/OOS como dataset/testset.

Devo comentar isso não apenas por preciosismo de definições, mas pelo fato de que todo o conjunto da obra, ou seja, todo o backtesting, estará sujeito a enfrentar o mundo real, e o futuro de verdade, que “em tese”, em um mercado perfeito, nenhum trader conhece ainda.

Independentemente desses pontos, note que sua performance não depende apenas do ativo e período escolhido, mas também da(s) estratégia(s) codificadas em seu EA. Ou seja, em tese, diferentes EAs podem gerar diferentes resultados IS/OOS para os mesmos dados de mercado.

Na verdade, um dos pontos relevantes do uso do forward test é que justamente ele irá filtrar resultados bastante diferenciados entre IS/OOS, como acontece no mercado real, quando se faz testes reais a partir de um backtesting. A ideia é justamente identificar aqueles setups que de alguma forma estavam fora da realidade, pelas mais variadas causas, que vão desde falhas/erros dos algoritmos até problemas de sobreajuste, apenas para citar algumas.

Portanto, mais do que avaliar os dados dos períodos IS e OOS (a menos que existam falhas de market data na corretora), penso que o mais relevante seja avaliar a qualidade de sua estratégia, pois será justamente ela que irá aumentar o sucesso e alinhamento do backtesting IS/OOS, tendo em mente que a grande maior parte das estratégias irá “sofrer” quando enfrentar o backtesting na região OOS.

O grande problema que vejo no mercado, a partir dessa análise, é que a maior parte dos traders, desconhecendo a realidade do forward testing, e até mesmo muitos cientistas de dados, vivendo no mundo da teoria e desconhecendo a realidade do testset, como são denominados esses dados na região OOS, forçam um volume tão grande de testes que acabam por sobreajustar o setup para todo o conjunto da obra, resultando em um modelo totalmente artificial, quando enfrenta a realidade futura.

Espero ter ajudado.

Sds.,
Rogério Figurelli