The Pooling Fallacy: Problems Arising when Individuals Contribute More than One Observation to the Data Set

Abstract

Abstract and Summary: In ethological studies it is common practice to obtain multiple observations on each individual in a sample and to Pool these observations into one data set for statistical analysis. In this paper we argue that this procedure reflects a fundamental error in the logic underlying random sampling since it implicitly assumes that the purpose of data gathering in ethology is to obtain large “samples of behaviour” rather than samples of behaviour from a large number of individuals. That is, it is assumed that the reliability of estimates of population parameters can be increased by obtaining additional observations on individuals already in the sample rather than by increasing the number of individuals observed. Using a Monte Carlo simulation we show that when such Pooled data sets are analysed statistically, the probability of rejecting a true null hypothesis is almost always substantially greater than the stated alpha level. Zusammenfassung: In ethologischen Untersuchungen ist es üblich, von jedem Individuum einer Stichprobe mehrere Meßwerte zu gewinnen und für die statistische Analyse die Werte aller Individuen zu einer einzigen Stichprobe zu vereinigen („pooling”). Diesem Verfahren liegt, wie in der vorliegenden Arbeit gezeigt wird, ein fundamentaler Irrtum bezüglich der zufälligen Stichprobenauswahl zugrunde, da implizit davon ausgegangen wird, man müsse große Stichproben der Verhaltensweisen anstatt Stichproben des Verhaltens möglichst vieler Individuen sammeln. Damit wird angenommen, daß Populationsparameter zuverlässiger geschätzt werden können, wenn man mehr Beobachtungen am bereits in der Stichprobe vertretenen Individuen macht als wenn man zusätzliche Individuen beobachtet. Mit einer Monte–Carlo–Simulation wird gezeigt, daß die statistische Analyse solcher zusammengesetzter („pooled”) Stichproben fast immer eine wesentlich großere als die angegebene Irrtumswahrscheinlichkeit für („type I error”) ergibt.