Gestion du "Stacking Effect" en Parapsychologie

Le Test d’Association de Mots Automatisé de Jung (TAMAJ) et les phénomènes de préférence

Une loupe pour le « stacking-effect » ?

Dans notre étude sur le TAMAJ par paires ou en groupe, nous rencontrerons aussi ce phénomène : il est à attendre qu’un ensemble de cibles possibles constitué d’éléments émotionnellement plus pertinents conduise à enregistrer des résultats plus marqués par les préférences et répulsions qu’un ensemble de cibles possibles plus « neutres ».

Pour maîtriser ce phénomène, on peut parsemer, parmi les "coups standards" qui comportent bien entendu une cible, des coups de test du stacking effect, pour lesquels une liste de cibles possibles est affichée alors qu'aucune cible réelle n'est désignée. Ces coups permettraient de déterminer si la variance du choix des réponses est 'normal' ou si certaines cibles possibles sont à marquer d'une préférence ou d'une répulsion. Dans cette dernière éventualité, on appliquera aux autres coups la correction de Gréville...

http://www.williamjames.com/Science/CONTROLS.htm

Multiple responses for a single target cannot be evaluated using statistical tests that assume independence of responses. In psi research this error is known as the stacking effect. It often occurs with informal classroom or media tests of ESP. If there is a sufficient number of responses, the data can be analyzed by the Greville method, which accounts for the stacking effect.

While the stacking effect, however, is a theoretical possibility; empirical tests have shown that for multiple data in typical forced-choice ESP tests, it makes little practical difference whether the results are analyzed by the usual binomial formula, or by the more appropriate Greville method.

The situation is quite different in remote-viewing and other free-response experiments where the number of targets is generally small. It then becomes critical to control for response bias. In remote-viewing experiments, violations of independence have arisen even when a single judge is asked to rank a small number of targets against an equal number of responses. The judge may, under these conditions, be influenced in assigning a rank or rating to a given target by the memory of how he or she assigned ranks or ratings to other targets.

In remote-viewing experiments, violations of independence have arisen even when a single judge is asked to rank a small number of targets against an equal number of responses. The judge may, under these conditions, be influenced in assigning a rank or rating to a given target by the memory of how he or she assigned ranks or ratings to other targets.

The assumptions used in most statistical tests are violated if optional stopping is used. This could occur by limiting the number of experimental trials at the experimenter's option (particularly after recieving feedback as to success rates) or by optionally limiting the number of experimental subjects. The Princeton method of converting free-response information to binary data avoids this criticism.

Statistical tests are not accurate if researchers are free to censor data which does not support their hypotheses. This sometimes occurs by the use of post hoc decisions as to whether a study will be reported as an informal, preliminary demonstration or as part of an experiment. Ideally all formal psi experiments should be registered, in advance, specifying the total number of trials, runs, subjects, etc. Then all data from those experiments should be reported, regardless of the outcome.

All planned statistical tests must be announced in advance to enable the research community to clearly distinguish between the main analysis and post hoc analysis. When multiple analyses are used statistical tests must take into account the increased possibility of a Type I error -- i.e., the greater likelihood that one of the many tests will attain a probability level of less than .05.

University of California statistician Jessica Utts has pointed out that psi researchers often place too great an emphasis on the probability level of experiments.

This is a mistake, as the validity, magnitude, and reliability of a possible psi effect have very little to do with probability levels. When a great many trials are involved (as in the Princeton RNG studies), a very weak effect can yield probability significance levels that are astronomical. This misunderstanding also results in much confusion with regard to replication in psi research. Utts recommends the use of confidence intervals and power analyses in order to determine the sample sizes necessary to attain significant results in particular experimental designs".

Des réponses multiples pour une cible unique ne peuvent être évaluées en utilisant des tests statistiques qui postulent l’indépendance entre les réponses. Dans la recherche parapsychologique, cette erreur est connue sous le terme de « stacking-effect ». Cela survient fréquemment avec les tests ESP effectués collectivement sur des salles de classe ou par l’intermédiaire des médias (radio, télévision).(Voir Kennedy). Quand il y a un nombre suffisant de réponses, les données peuvent être analysées par la méthode de Greville, qui prend en compte ce « stacking-effect ».

Quoique le « stacking-effect » soit une possibilité théorique, des tests empiriques ont montré qu’en ce qui concerne les données multiples recueillies au cours des tests typiques d’ESP en « choix forcé », cela fait peu de différence pratique que les résultats soient analysés par la formule binomiale usuelle ou par la méthode plus appropriée de Greville.

La situation est tout à fait différente dans le cas de « remote-viewing » (« vue à distance ») ou d’autres expériences à « réponse libre » avec un nombre de cibles généralement petit. Il devient alors critique de controler ce type de biais. Dans les expériences de vue à distance, les violations d’indépendance sont apparues même lorsqu’on demande à un juge unique d’ordonner un petit nombre de cibles possibles par rapport à un nombre équivalent de réponses. Le juge, dans ces conditions, peut être influencé pour l’attribution du rang  ou de la note à une cible possible donnée, par le souvenir qu’il a des rangs ou notes déjà attribuées aux autres cibles possibles.

Dans les expériences de "remote viewing" ("vue à distance"), des violations d'indépendance ont surgi alors même qu'on demandait à un juge unique de classer un petit nombre de cibles par rapport à un nombre équivalent de réponses. Le juge est susceptible, dans ces conditions, de se laisser influencer pour assigner un rang ou donner une note à une cible déterminée par le souvenir des rangs ou notes déjà attribués par lui aux autres cibles.

Les présupposés de la plupart des tests statistiques sont violés si un arrêt optionnel est utilisé. Cela pourrait arriver quand on limite le nombre d'essais expérimentaux selon le choix de l'expérimentateur (notamment après avoir atteint une certaine proportion de succès) ou quand on limite de manière optionnelle le nombre des sujets d'expérience. La méthode de Princeton de transformer l'information de réponse-libre en données binaires permet d'échapper à cette critique.

Les tests statistiques ne sont pas corrects si les chercheurs se croient libres de censurer les données qui ne vont pas à l'appui de leurs hypothèses. Ceci arrive parfois quand on fait usage de considérations "post hoc" pour décider si une étude sera publiée comme une démonstration informelle, préliminaire ou comme une partie de l'expérimentation. Dans l'idéal, toute expérience préliminaire devrait être enregistrée à l'avance, en spécifiant le nombre total d'essais, de salves, de sujets, etc. Ensuite toutes les données de ces expériences devraient être publiées, quelqu'en soit le résultat.

Tous les tests statistiques prévus doivent être annoncés d'avance pour permettre à la communauté scientifique de distinguer clairement entre analyse principale et analyse "après coup". Quand on emploie des analyses multiples les tests statistiques doivent prendre en compte une possibilité accrue d'erreur de type I -- c'est à dire, une probabilité plus grande que l'un des nombreux tests utilisés puisse atteindre un niveau de probabilité significatif (inférieur à .05).

La statisticienne de l'Université de Californie Jessica Utts a fait remarquer que les chercheurs psi insistent souvent trop fortement sur le niveau de probabilité des expérimentations.

Ceci est une erreur, en tant que la validité, la magnitude et la fiabilité d'un éventuel effet psi a bien peu à voir avec les niveaux de probabilité. Quand un très grand nombre d'essais est impliqué (comme par exemple dans les études avec Générateur Aléatoire à Princeton), un effet extrêmement faible peut engendrer des niveaux de signification statistique astronomiques. Ce malentendu a aussi pour conséquence beaucoup de confusion concernant la réplicabilité dans la recherche psi. Utts recommande d'utiliser les intervalles de confiance et les analyses de puissance pour déterminer les dimensions d'échantillon nécessaires pour atteindre des résultats significatifs dans des protocoles expérimentaux déterminés"