LA GRILLE DE TEST LCT II

CONDITIONS GENERALES DES TESTS

- Chaque programme testé doit être placé en mode de réflexion infini.

- la fonction de réflexion permanente (sur le temps de l'adversaire) doit être désactivée.

- Chacun des 35 tests doit être soumis au programme pendant 10 minutes (600 secondes). A la 601 ème seconde; l'opérateur doit arrêter la réflexion du programme.

- le temps à partir duquel le programme joue le bon coup sans en changer par la suite sera le temps officiellement enregistré. Exemple : le meilleur coup est envisagé au bout de 32 secondes, mais le programme y renonce ensuite à 1 minute pour lui préférer un autre coup au bout de 8 minutes pour le garder à 10 minutes. Ce sera ce dernier coups qui sera considéré ainsi que son temps de 8 minutes.

- la configuration du logiciel se fait avec les options par défaut, on peut améliorer de quelques points en mettant un style agressif .... mais cela ne correspond pas au niveau dans une partie.

Certes, on peut arrêter éventuellement, la réflexion à partir du moment où la fonction d'évaluation est suffisamment élevée pour ne laisser aucun doute quant aux choix du meilleur coup.

Attribution des points

30 points si le coup est trouvé entre 0 et 9 secondes
25 points si le coup est trouvé entre 10 et 29 secondes
20 points si le coup est trouvé entre 30 sec et 1'29
15 points si le coup est trouvé entre 1'30 et 2'59
10 points si le coup est trouvé entre 3 min et 6'29
5 points si le coup est trouvé entre 6'30 et 10

La base de départ est de 1900 Elo. La somme des points obtenus dans les tests sera donc ajoutées à 1900.

Ex : si un programme obtient 105 points en positionnel, 200 en tactique et 70 en finale, il aura un classement de 1900+105+200+70=2275

Le maximum possible est 1900+1050=2950

Remarques générales de M Louguet :

Le LCT II a été conçu pour évaluer les ordinateurs, non des humains. Certains de ces tests proviennent de parties connues et un fort joueur  en reconnaîtra un certain nombre. Deuxièmement, certains tests sont plus faciles à résoudre pour des humains que pour des programmes et vice versa.

Les avantages du LCT II

1) la durée totale des tests reste très raisonnable : environ un après midi. On peut donc évaluer un même logiciel sur plusieurs configurations en un minimum de temps.

2) les tests sont neutres dans l'absolu car provenant de parties "humain contre humain" ou "humain contre ordinateur", et non pas uniquement d'ordinateurs entre eux (sauf test de combinaison 8)

3) La grille accorde une large place aux tests positionnels (40 % du score), ce qui reflète le fait que la plupart des parties d'échecs entre adversaires de même niveau se jouent sur la compréhension stratégique, les coups tactiques étant plutôt là pour délivrer le coup de grâce.

Les limites du LCT II

1) Aucune grille ne peut se substituer à un nombre statistiquement représentatif de parties jouées dans des conditions de tournoi, et le LCT II n'a pas la prétention d'être l'exception. Néanmoins, en l'absence d'informations en quantité suffisante, la grille de tests fournit en peu de temps une évaluation raisonnablement précise de la force de jeu d'un programme sur de nombreuses configurations.

2) Pour garder ce caractère de rapidité d'évaluation, seuls 35 tests ont été retenus. Par conséquent, la plage d'évaluation est forcément limitée pour garder une précision acceptable. Autrement dit, les ordinateurs d'un niveau inférieur à 1900 ne peuvent y figurer. Il faut aussi garder à l'esprit que la précision de la grille décroît lorsqu'on atteint ses limites inférieure et supérieure.

voici la première grille de résultats au LCT II en mars 1995

 

Voici les positions du test LCT II

POSITIONNELS        COMBINAISONS        FINALES

Télécharger LCTII

LCT II epd
Pgn
Fritz

Télécharger un fichier Excel qui permet de rentrer les résultats et de calculer automatiquement les résultats

fichier Excel

Résultats du LCTII sur un PC 2,4 Ghz 96 Mo de hash, des logiciels actuels (2004).

Résultats du BS 2830

Remarques : Les fonctions automatiques de passation de test sur Fritz ne donnent pas les résultats pertinents (et pourtant se trouve souvent sur le net)  pour la grille LCTII. En effet, Fritz n'attend pas les 10 minutes et comptabilise le résultat dès que le bon coup est trouvé

Vous pouvez comparer les résultats entre la passation automatique et la méthode du LCTII (10 minutes). PC utilisé : Pentium 4 2.4 Ghz

LOGICIELS % DE TROUVE ELO SUPPOSE ELO CONSTATE 10 MN  
Chess Tiger 15     2705  
Deep Fritz 7        
Gambit Tiger 2     2665  
Hiarcs 9     2735  
Junior 8        
Shredder 7.04        
Fritz 8