Utvalgsstørrelsen er viktig, men utvalgsmetode, lotdefinisjon, dekning, målekvalitet og analyse avgjør hva et større utvalg med rette kan underbygge.
Flere observasjoner er ikke automatisk bedre bevis
Nei. En større utvalgsstørrelse kan redusere tilfeldig usikkerhet når observasjonene er relevante, måles konsekvent og velges ut gjennom en egnet metode. Den kan ikke automatisk korrigere et skjevt utvalg. Hvis mange enheter tas fra ett lett tilgjengelig sted, én produksjonsperiode eller en gruppe som bevisst er foretrukket, kan de ekstra observasjonene gjenta den samme utvalgsbetingede skjevheten i stedet for å representere hele partiet.
Utvalg og omfang former konklusjonen
En nyttig vurdering begynner med å definere populasjonen eller partiet som konklusjonen skal gjelde for. Utvalgets kilde, utvalgsprosedyre, tidspunkt, unntak og forhold til denne populasjonen må deretter være tydelige. Tilfeldig utvelging kan bidra til å hindre at personlige preferanser avgjør hvilke enheter som kommer med i utvalget. NIST/SEMATECH e-Handbook forklarer at akseptansestikkprøving bruker et utvalg til å støtte en beslutning om hvorvidt et parti sannsynligvis er akseptabelt. Beslutningen avhenger fortsatt av en forhåndsbestemt plan og viser ikke partiets nøyaktige kvalitet.
Pålitelighet avhenger av hele metoden
Utvalgsstørrelsen bør derfor vurderes sammen med utvalgsdesignet, forventet variasjon, måleprosedyren, definisjonen av en feil og den statistiske beslutningsregelen. Et mindre, godt fordelt utvalg kan besvare et spørsmål på partinivå mer troverdig enn en større mengde håndplukkede enheter. Omvendt kan selv et tilfeldig valgt utvalg være utilstrekkelig hvis det er for lite for beslutningsregelen eller hvis målingene er inkonsistente.
Konklusjonen bør samsvare med den faktiske dekningen. Rapporter hvor mange enheter som ble undersøkt, hvor de kom fra, hvordan de ble valgt ut, hva som ble målt og hvilken populasjon analysen gjelder. Uten disse opplysningene er et stort antall alene ikke bevis på at resultatet er representativt eller pålitelig.