Укажите наблюдаемый диапазон, неопределённость, охват выборки и ограничения метода, не навязывая победителя и не заявляя об эквивалентности.
Сообщите результат до его интерпретации
Если сравнение не показывает очевидной разницы, представьте наблюдаемые результаты в общих условиях испытания и укажите, что имеющиеся данные не позволяют установить чёткий рейтинг. Это точнее, чем навязывать победителя, поскольку небольшие наблюдаемые различия могут быть обусловлены вариацией выборки, неопределённостью измерений или ограничениями метода, а не надёжным различием в характеристиках.
В описании следует указать, что именно сравнивалось, какие условия оставались постоянными, каков был охват выборки, а также диапазон или распределение наблюдений. Если неопределённость измерений имеет значение, её следует привести вместе с результатом или объяснить в терминах, соответствующих методу. Техническая записка NIST 1297 содержит общие рекомендации по оценке и выражению неопределённости измерений, но не предоставляет доказательств для какого-либо конкретного продукта.
Не превращайте неубедительные данные в эквивалентность
Недостаточные доказательства различия не доказывают, что два продукта равны. Эквивалентность требует определённого допустимого предела и сравнения, разработанного для оценки именно этого вопроса. Без этих элементов надлежащий вывод должен быть более узким: данный набор данных и данный метод не продемонстрировали явного различия.
Границы выборки также имеют значение. В NIST Engineering Statistics Handbook отмечается, что приёмочный контроль по выборке в первую очередь помогает принять решение о том, является ли определённая партия, вероятно, приемлемой; он не предназначен для оценки общего качества партии. Аналогично, ограниченное сравнение не следует распространять за пределы представленных образцов, версий или партий.
Сделайте ограничения частью результата
Прозрачное сравнение указывает такие ограничения, как размер выборки, неполные контроли, ограниченный диапазон испытаний или достаточно высокая неопределённость, способная скрыть различие. Результаты, не соответствующие рекламным ожиданиям, следует сохранять, а не скрывать. В заключении можно указать, какие дополнительные данные улучшили бы возможность различения, сохранив текущий вывод: испытание не установило победителя, равенства или превосходства.