Abstract: Occasionally it is practicable to use an ESP test in which all the subjects make their calls for the same set of targets instead of for individual sets. When a single set is used for the group, it is necessary to make a statistical correction to compensate for the possibility that the subjects may share the same calling bias and that this may coincide with (or deviate from) the target order and give spuriously high (or low) results (the "stacking effect"). One of the methods of correction was worked out by T. N. E. Greville. Other experimenters have allowed for the stacking effect by merely reducing their critical ratios by 10%, a simplification which lacks theoretical justification. Two other methods pointed out by the authors to evaluate these multiple-calling experiments are the majority vote technique and the use of the "index of preference."-Ed.
|
Résumé: Il est parfois pratique d’utiliser un test ESP dans lequel tous les sujets font leurs réponses pour un même ensemble de cibles au lieu d’ensembles individuels. Quand un ensemble unique est employé pour le groupe, il est nécessaire de faire une correction statistique afin de compenser la possibilité que les sujets puissent partager un même biais de réponse et que ceci puisse coïncider avec (ou dévier de) l'ordre des cible et donner faussement des résultats élevés ou diminués (par un effet d’empilement : « stacking effect »). Un des méthodes de correction a été établie par T. N. E. Greville. D'autres expérimentateurs ont tenu compte de l'effet d'empilement en réduisant simplement leurs raisons critiques de 10%, simplification qui manque de justification théorique. Deux autres méthodes sont proposées par les auteurs pour évaluer ces expériences à réponses-multiples : la technique de vote majoritaire et l'utilisation du l' « index de préférence ».
From time to
time, experiments are carried out which involve what is called the
"stacking effect." In such experiments, it is necessary to compensate
for this effect by making a statistical correction in the evaluation of the
results. It is the purpose of this paper to describe the stacking effect and
to discuss the various methods of correcting for it. |
De
temps en temps, on effectue des expériences qui impliquent ce
qu’on a appelé un « stacking
effect »
(effet d’empilement). Dans de telles expériences, il est
nécessaire de compenser cet effet en faisant une correction statistique
dans l'évaluation des résultats. Le but de cet article
est de décrire ce « stacking effect » et
de discuter les diverses méthodes pour le corriger. |
The most efficient design for an ESP test
is usually one in which each subject has an individual set of targets.
However, there may sometimes be justifiable reasons for adopting the design
of an experiment involving a number of subjects guessing at the same target
order. For instance, in testing a class of young students, the experimenter
may judge that a single target order for all subjects is better
motivationally because the experimenter can provide duplicate record sheets,
and, when the guesses are completed, collect the carbon copies, after which
he can read out the targets so that the subject can make an immediate
check-up. Another situation in which the single target order is likely to be
preferred is when very large numbers of subjects are involved in an
experiment. |
La conception la plus appropriée pour un test ESP est habituellement celle dans laquelle chaque sujet a un ensemble individuel de cibles. Cependant, il peut parfois y avoir des raisons justifiables d'adopter la conception d'une expérience impliquant un certain nombre de sujets devinant une même succession de cibles. Par exemple, en examinant une classe de jeunes étudiants, l'expérimentateur peut juger qu'un seul ordre des cible pour tous les sujets est plus motivant parce que l'expérimentateur peut fournir des feuilles avec double carbone pour noter les résultats, et, quand les tests sont terminés, il rassemble les copies carbones, après quoi il peut donner lecture des cibles de sorte que chaque sujet puisse faire un contrôle immédiat. Une autre situation dans laquelle un ordre unique des cibles sera préféré concerne les expérience impliquant très un grand nombre de sujets. |
In a group ESP
test in which all subjects have the same target order, the problem of
assessing the significance of an observed deviation from mean chance
expectation in the scores is more difficult than in an ESP test situation in
which each subject has a different target order, but the advantages in
economizing on experimental time may be held to outweigh the disadvantages of
increased statistical complexity in evaluation. |
Dans
un test ESP de groupe, dans lequel tous les sujets ont le même
ordre des cibles, le problème d'évaluer la signification
d'une différence observée par rapport à l'espérance
mathématique dans les scores, est plus difficile que dans un
test ESP dans lequel chaque sujet a un ordre différent des cibles,
mais l’avantages en économie de temps expérimental
peut être tenu pour supérieur à l’inconvénient
que représente une complexité statistique accrue. |
The ordinary methods used for evaluating
results from experiments in which there are individual target orders are
relatively easy to carry out, since they depend on the assumption that the
result of one run (of a 25-card ESP deck, for instance) is independent of the
result of another run. This cannot be assumed, however, when a number of runs
of guesses are made for the same target order, for the lack of independence
between the results of the runs made by different subjects might produce a
stacking effect; that is, a spurious appearance of psi-hitting (or of
psi-missing). It might for instance, be the case that an "open"
target order (i.e., one in which the frequency of targets in a 25trial run is
randomly determined) might contain more than five of a target which also
happened to be a favourite guess. Suppose, for example, that the run
contained eight stars and that there was a general tendency for subjects to
guess star more often than the other symbols. This would probably result in more
hits per run than the mean chance expectation of 5, and this spurious excess
over mean chance expectation would, by ordinary methods of calculation,
appear more significant as the number of subjects was increased. A spurious
deficiency of hits could, of course, equally well be obtained if there were a
general tendency among subjects to guess star less frequently than other
symbols. |
Les
méthodes ordinaires employées pour évaluer les
résultats à partir d’expériences dans lesquelles
il y a un ordre individuel des cibles, sont relativement facile à
mettre en oeuvre, puisqu'elles dépendent de l’hypothèse
que le résultat d'une salve (sur un paquet de 25-cartes, par exemple) est indépendant du résultat
d'une autre salve. Ceci ne peut pas être garanti, cependant, quand
un certain nombre de salves de réponses sont faites pour la même
succession de cibles, parce que le manque d'indépendance entre
les résultats des salves dues à différents sujets
pourrait produire un effet
d'empilement; c'est-à-dire, un faux aspect de psi-hitting
(ou de psi-missing). Il se pourrait par exemple, qu’une succession
de cibles « ouvert » (avec remise : c.-à-d.,
un dans lequel la fréquence des cibles dans une salve de 25 essais
est déterminée aléatoirement) pourrait contenir
plus de cinq fois comme cible une carte qui serait également
être une réponse favorite. Supposons, par exemple, que
la salve contienne huit étoiles et qu'il y avait une tendance
générale pour les sujets de choisir « étoile »
comme réponse plus souvent que les autres symboles. Ceci aurait
probablement comme conséquence plus de succès par salve
que l'espérance moyenne qui est de 5 chance sur 25, et cette
surestimation, par les méthodes de calcul ordinaires, semblera
d’autant plus significative que le nombre de sujets augmentera.
Une fausse insuffisance des succès pourrait, naturellement, également
bien être obtenue s'il y avait une tendance générale
parmi les sujets à deviner « étoile »
moins fréquemment que les autres symboles. |
It is not sufficient to avoid this difficulty
by substituting a "closed" deck (with five of each kind of target)
for the open one. Difficulty would then arise from the possibility that there
would be a correspondence between the serial order of the targets and
preferred serial orders in the subjects' guessing. For example, suppose that
the first two cards in the pack happened to be a square and a circle and that
the sequence of square-circle was more commonly chosen for the first two
guesses than any of the 24 other pairs that might be chosen. Again, if such
preferred sequences, here or elsewhere in the deck, coincided with actual
sequences in the target cards, the result would be a spurious tendency for
the subjects to score an excess of hits, which might even be magnified to
produce an illusory appearance of significance if enough subjects agreed in
their preferred orders of guessing. Also, of course, preferences in guessing
sequence may produce an equally illusory appearance of psi-missing. |
Il
n'est pas suffisant d'éviter cette difficulté en substituant un paquet
"fermé" (comportant cinq fois chaque cible) au paquet
« ouvert » (tirage aléatoire avec remise). La difficulté
résulterait alors de la possibilité qu'il y ait une correspondance entre
l'ordre sériel des cibles et des ordres sériels préférés par les sujets
devinant. Par exemple, supposez que les deux premières cartes dans le paquet
se soient avérées être un carré et un cercle et que la séquence carré-cercle
ait été généralement choisie pour les deux premières conjectures que l’une quelconque
des 24 autres paires qui pourraient être choisies. De plus, si de telles
séquences préférés, ici ou ailleurs dans le paquet, coïncidaient avec des
séquences réelles dans les cartes cibles, le résultat présenterait une fausse
tendance à ce que les sujets semblent avoir un excès de tirs au but, qui
pourraient même être magnifiés jusqu’à produire une signification statistique
illusoire si assez de sujets convergeaient quant à leurs ordres préférés de
divination. En outre, naturellement, les préférences pour des séquences de
divination peuvent produire un aspect également illusoire de psi-missing. |
What is needed to avoid this difficulty
is to use a method of evaluating the significance of a set of runs by
different subjects on the same target order which is free from the
possibility that accidental correspondences between target frequencies and
preferred calls or between target sequences and preferred guessing-sequences
can produce spurious indications of psi-hitting (or of psi-missing). |
Pour
éviter cette difficulté on doit employer une méthode d'évaluation de la
signification d'un ensemble de salves par différents sujets sur une même
séquence de cibles qui soit exempte de la possibilité que des correspondances
accidentelles entre fréquence des cibles et réponses préférées ou entre
séquences des cibles et séquences préférées de réponses puissent produire de
fausses indications de Psi-Hitting (ou de Psi-Missing). |
The standard way of doing this is by the
use of the "Greville correction" of variance for multiple calling
developed by T. N. E. Greville and published by him in the Annals of
Mathematical Statistics[2]
(2). Since this publication is not readily available to parapsychologues,
Greville's method was presented in simplified form by J. G. Pratt in the Journal
of Parapsychologie[3]
(3). It is this form that has generally been used in the past by
experimental parapsychologues to deal with the problem of evaluation of
results obtained by multiple calling on one deck. |
La
manière standard d’y parvenir consiste à utiliser la "correction de
Greville" de la variance pour réponses multiples. Cette méthode a été
développée par T. N. E. Greville et publiée dans les Annals of
Mathematical Statistics[4]. Mais comme cette
publication n'est pas aisément disponible aux parapsychologues, la méthode de
Greville a été présentée sous une forme simplifiée par J. G. Pratt dans le
journal de Parapsychologie (3). C'est cette forme qui a été généralement
employée dans le passé par les parapsychologues expérimentaux pour traiter le
problème de l'évaluation des résultats obtenus par les réponses multiples sur
un seul paquet de cibles possibles. |
Greville's method involves tabulating
the calls made on each target by all the subjects. From this tabulation one
can then compute the variance for the calls made on each of the targets. The
computation is somewhat different for the open deck and the closed deck; the
method for each is given in Pratt's article. For the open deck, when the 25
variances of calls for each card in the target run have been calculated,
these are added to obtain the variance for the complete run. The square root
of this variance is then taken as the standard deviation to be used in
calculating the critical ratio. For the closed deck, the variance for the
entire set of 25 targets as the unit must be calculated. Then the
square root of this is taken as the standard deviation to be used. |
La
méthode de Greville implique de tabuler les réponses faites sur chaque cible par
tous les sujets. De cette tabulation on peut alors calculer la variance pour
les réponses faites sur chacune des cibles. Le calcul est quelque peu
différent pour le « paquet ouvert » et le « paquet fermé »; les méthodes respectives
sont données dans l’article de Pratt. Pour le « paquet ouvert »,
quand les 25 variances des appels pour chaque carte dans la succession des
cibles ont été calculées, celles-ci sont ajoutées pour obtenir la variance
globale de la salve complète. La racine carrée de cette variance est alors
prise comme écart type à employer dans le calcul de la « raison
critique ». Pour le paquet fermé, la variance pour l'ensemble entier de
25 cibles comme unité doit être calculé. Alors la racine carrée de ceci est
prise comme écart type à employer. |
This procedure normally gives a higher
variance than the commonly used theoretical variance appropriate for
experiments in which only one run of guesses has been made for each target
order. Therefore it has the effect of reducing the significance of an
observed deviation in either direction. This, of course, is to be expected,
since a likely effect of multiple calling is to magnify accidental
correspondence or lack of correspondence between target and call. |
Ce
procédé donne normalement une variance plus élevée que la variance théorique
généralement utilisé, appropriée pour les expériences dans lesquelles une
seule série de réponses a été faite pour chaque suite de cibles. Par
conséquent il a l'effet de réduire la signification d'une déviation observée
dans l'une ou l'autre direction. Naturellement, on devait s’y attendre,
puisqu'un effet probable de réponses multiples est de magnifier une
correspondance accidentelle ou un manque de correspondance entre la cible et
la réponse. |
The tabulation required for the
application of the Greville correction is laborious, and some experimenters
have preferred to use simpler methods of arriving at the same result. The
simplest was one suggested by Van Busschbach[5]
(5). In some of his earlier work, he had applied the Greville correction and
had found that the effect was to reduce the critical ratios by less than 10%.
This led him to suggest that a l0% reduction of the critical ratios could be
used to avoid the complicated calculations required by the Greville method.
This simplification lacks theoretical justification; the correction required
is not constant for all card distributions or for all numbers of guessing
subjects. Osis[6] has
discussed cases in which the Greville correction has reduced CRs by considerably
more than l0%. Estimates of significance based on this 10% reduction, such
those made by Van Busschbach[7]
(5) and Brier[8] (1), must
be considered to rest on somewhat dubious foundations. |
La
tabulation exigée pour l'application de la correction de Greville est
laborieuse, et quelques expérimentateurs ont préféré employer des méthodes
plus simples d'arrivée au même résultat. Le plus simple était un suggéré en
Van Busschbach (5). Dans certains de ses premiers travaux, il avait appliqué
la correction de Greville et avait constaté que l'effet devait réduire les
rapports critiques de moins de 10%. Ceci l'a mené à suggérer qu'une réduction
de l0% des rapports critiques pourrait être employée pour éviter les calculs
compliqués exigés par la méthode de Greville. Cette simplification manque de justification
théorique; la correction exigée n'est pas constante pour toutes les
distributions de carte ou pour tous les nombres de sujets percipients. Osis[9] a discuté les cas dans
lesquels la correction de Greville a réduit les régions critiques de
nettement davantage que l0%. Les estimations de signification basées sur
cette réduction de 10%, tels ceux de Van Busschbach[10] (5) et Brier[11] (1), doivent être
considérées comme reposant sur des bases plutôt douteuses |
The simplest and most direct alternative
to Greville's method would seem to, be the repeated-guessing, or the
majority-vote, technique in which each subject's guess is treated as a vote
for the symbol on the corresponding target card[12]
(4). The whole system of guesses by all subjects is thus reduced to a single
run of 25 guesses. One way of doing this is to take as the final guess on any
target card that target symbol which has been guessed by the largest number
of experimental subjects. This process gives the experimenter a single final
order for the guesses, which he can then compare with the order of the target
deck. |
L’alternative
la plus simple et la plus directe à la méthode de Greville semblerait être la
présentation réitérée de la même cible, ou le vote majoritaire, technique
dans laquelle la conjecture de chaque sujet est traitée comme un vote pour un
symbole qui fait partie des cibles possibles[13] (4). Le système entier
des conjectures par tous les sujets est ainsi réduit à une seule série de 25
conjectures. Une façon de faire est de prendre comme conjecture finale sur
n'importe quelle cible, le symbole qui a été choisi par le plus grand nombre
des sujets d'expérience. Ce processus donne à l'expérimentateur une seule
série finale pour les conjectures, qu'il peut alors comparer à l'ordre du
paquet cible. |
A lengthier but more sensitive method of
getting this final guess order is by the use of the "index of
preference"[14] (4). In this method the
votes are weighted in a manner determined by the frequencies of different
guesses and of different targets. If a subject or group of subjects, has a bias for or against
calling a particular symbol, this is taken into account when determining
which symbol is to be considered the final guess for the group; for example,
if one symbol is hardly ever called by the subject and if the subject breaks
his habit and makes many calls for this symbol, it might be reasonable to
count this symbol as the final guess for the target, even though another
symbol might have been called slightly more often. |
Une
méthode plus longue mais plus sensible d'obtenir cet ordre final des réponses
est l'utilisation d’un "index des préférences"[15] (4).
Dans cette méthode les votes sont pondérés d’après la fréquences des différentes
réponses et des différentes cibles. Si un sujet ou un groupe de sujets montre
une polarisation pour ou contre le choix d’un symbole particulier, cela est
pris en considération pour déterminer quel symbole doit être considéré comme
réponse finale pour le groupe; par exemple, si un symbole n’est presque
jamais choisi par le sujet et si le sujet contre son habitude choisit ce
symbole à plusieurs reprises, il pourrait être raisonnable de compter ce
symbole comme réponse finale pour la cible, même si un symbole différent
était choisi légèrement plus souvent. |
By this method, the preferred guess for
each target card is determined by the use of the formula nxy/gy
where nxy is the number of times a certain target card x has been guessed
as bearing the symbol y, and gy is the total
number of guesses of y over all target cards. The preferred
guess, then, is that one of the guess symbols which gives the maximum value
of this index for each particular target card. |
Par
cette méthode, le choix préféré pour chaque carte cible est
déterminé par l'utilisation de la formule nxy/gy où nxy est le nombre de fois où
une certaine carte cible x a été devinée comme portant le
symbole y, et gy est le nombre total de réponses
de y sur toutes les cartes cibles. La réponse préférée, alors, est celui des
symboles choisis qui donne la valeur maximale de cet index pour chaque carte cible
particulière. |
Whichever of the alternatives to the
Greville method is used, the result is that, if ESP is affecting a
considerable number of the subjects' guesses even to a small extent, the
final guess order so obtained will correspond more closely with the target
deck than will an individual run of guesses. The evaluation, either by the
majority vote method or the index of preference, is very simple, based as it
is on a comparison between a single target order and a single set of guesses.
It gives an estimate of the significance of the correspondence between target
order and subjects' guesses which is entirely free from any effect of
magnification by multiple guessing due either to commonly preferred targets
or commonly preferred sequences. It achieves the end of the Greville
correction (for either an open or closed deck situation) in a simpler and
somewhat less laborious way. |
Quelle
que soit la solution de rechange à la méthode de Greville employée, le
résultat est que, si l’ESP affecte un nombre considérable des réponses des
sujets même un faible degré, l'ordre final des réponses ainsi obtenu
correspondra plus étroitement au paquet cible que ne le fera la série
correspondante des réponses d’un individu. L'évaluation, soit par la méthode
du vote majoritaire ou par l'index de préférence, est très simple, car basé sur
une comparaison entre une séquence unique des cibles et une séquence unique
de réponses. Elle donne une évaluation de l'importance de la correspondance
entre la succession des cibles et les réponses des sujets, qui est
entièrement exempte d’une forme quelconque d’exagération par un protocole de réponses
multiples qui serait due soit à des préférences collectives pour certaines
cibles soit à des préférences collectives pour certaines séquences de cibles.
Cela atteint le but de la correction de Greville (pour une situation en
paquet ouvert ou fermé) d'une manière plus simple et légèrement moins
laborieuse. |
One obvious suggestion that may follow
from the above discussion is that experiments should be designed, when at all
possible, so that an individual set of targets is presented for each subject.
This would eliminate the need for considerations such as those discussed in
this paper. |
Une
suggestion évidente qui peut suivre de la discussion ci-dessus est que des
expériences devraient être conçues, pour autant que ce soit possible, de
sorte qu'un ensemble individuel de cibles soit présenté à chaque sujet. Ceci
éliminerait la nécessité des considérations présentées dans cet article. |
REFERENCES
1. BRIER, R. M. A correspondence ESP experiment with high-I.Q. subjects. J. Parapsychol.,
1967, 31, 143-48.
2.
GREVILLE,
T. N. E. On multiple matching with one variance deck. Anncds of Mathematical Statistics, 1944, 15, 432-34
3.
PRATT,
J. G. The variance for multiple-calling ESP data. J. Parapsychol.,
1954, 18, 37-40.
4.
THOULESS, R. H. The repeated-guessing technique. Int. J. Parapsychol., 1960,2 (No. 3),
21-36. 5.
VAN BUSSCHBACH, J.
G. A further report on an investigation of ESP in school children. J. Parapsychol., 1955,
19, 73-81 |
|
2 Leys
Rd. |
Institute for Parapsychologie |
[1] This paper was written while the
junior author was the Ralph Drake Perry Fellow at the Institute for
Parapsychology.
[2]
GREVILLE,
T. N. E. On multiple matching with one variance deck. Anncds of Mathe»wtical
Statistics, 1944, 15, 432-34.
[3]
PRATT,
J. G. The variance for multiple-calling ESP
data. J. Para
psychol., 1954, 18, 37-40.
[4]
GREVILLE,
T. N. E. On multiple matching with one variance deck. Anncds of Mathe»wtical
Statistics, 1944, 15, 432-34.
[5] 5. VAN BUSSCHBACH, J. G. A further report on an
investigation of
ESP in school children. J. Parapsychol., 1955, 19, 73-81.
[6] ' In private conversation.
[7] VAN BUSSCHBACH, J. G. A further report on an investigation of
ESP in school children. J. Parapsychol., 1955, 19, 73-81.
[8] BRIER, R. M. A correspondence ESP experiment with high-I.Q.
subjects. J. Parapsychol.,
1967, 31, 143-48.
[9] ' In private conversation.
[10] VAN BUSSCHBACH, J. G. A further report on an investigation of
ESP in school children. J. Parapsychol., 1955, 19, 73-81.
[11] BRIER, R. M. A correspondence ESP experiment with high-I.Q.
subjects. J. Parapsychol.,
1967, 31, 143-48.
[12]
THOULESS, R. H. The repeated-guessing technique. Int. J. Para
psychol., 1960,2 (No. 3), 21-36.
[13]
THOULESS, R. H. The repeated-guessing technique. Int. J. Para
psychol., 1960,2 (No. 3), 21-36.
[14]
THOULESS, R. H. The repeated-guessing technique. Int. J. Para
psychol., 1960,2 (No. 3), 21-36.
[15]
THOULESS, R. H. The repeated-guessing technique. Int. J. Para
psychol., 1960,2 (No. 3), 21-36.