Tilfeldig utvalgte og bevisst utvalgte prøver besvarer ulike spørsmål, og resultatene deres bør derfor ikke presenteres som likeverdige bevis om et produksjonsparti.
Utvalgsmetodene har ulike formål
Tilfeldig utvalg bruker en prosedyre som skal gi kvalifiserte enheter en definert sannsynlighet for å bli valgt, uten at de velges på grunnlag av utseendet. Metoden er utformet for å redusere utvalgsbias når formålet er å trekke en konklusjon om et identifisert parti. Å velge de artiklene som ser best ut, er et bevisst utvalg: Prøven velges fordi den har foretrukne synlige egenskaper. Det kan være passende for fotografering, utstilling eller undersøkelse av en bestemt overflate, men er ikke representativ dokumentasjon som utgangspunkt.
De besvarer ulike spørsmål
En prøve som ser best ut, kan vise hvordan den valgte artikkelen ser ut, eller bidra til å vurdere et bevisst valgt eksempel. Den kan ikke fastslå hvor ofte den samme tilstanden forekommer i partiet, fordi mindre attraktive enheter systematisk hadde mindre sannsynlighet for å bli inkludert. Testing av flere utstillingsstykker som er valgt på tilsvarende måte, fjerner ikke denne begrensningen.
Et tilfeldig utvalg kan støtte en beslutning om et partis videre behandling når det er knyttet til en dokumentert plan for utvalg og aksept. NIST/SEMATECH e-Handbook beskriver akseptanseutvalg som å velge en prøve fra et parti og bruke den resulterende informasjonen til å avgjøre om partiet sannsynligvis er akseptabelt. Dette beviser fortsatt ikke at hver enhet er i samsvar.
Dokumentasjonen bør bevare forskjellen
En troverdig prøverapport bør identifisere partiet, utvalgsmetoden, prøvenes identitet, dato, formål, undersøkte egenskaper og eventuelle utelatelser eller erstatninger. Hvis utvalget var bevisst, bør rapporten opplyse om dette og begrense konklusjonen til dette formålet. Hvis utvalget var tilfeldig, bør prosedyren være tilstrekkelig reproduserbar til å vise at personlige preferanser ikke avgjorde prøven.
Hovedregelen er enkel: Et utstillingsstykke kan illustrere et produkt, mens en korrekt valgt tilfeldig prøve kan gi grunnlag for en beslutning på partinivå. Å kalle førstnevnte en tilfeldig inspeksjon av et produksjonsparti ville gi et feilaktig bilde av både metoden og konklusjonens styrke.