Выводы, которые вы делаете на основе исследований (будь то анализ опросов, фокус-групп, экспериментального дизайна или других методов), полезны только в том случае, если они валидны.

Насколько эти результаты «истинны»? Насколько точно они отражают то, что вы на самом деле пытаетесь изучить? Валидность определяет, измеряет ли исследование то, что планировалось измерить, и насколько его результаты близки к истине.

К сожалению, исследователи иногда вводят собственные определения того, что считать валидным.

• В количественных исследованиях проверка на валидность и надежность — это стандартная практика.
• Однако некоторые качественные исследователи заходят так далеко, что утверждают: валидность к их работе неприменима, — хотя и признают необходимость некоторых проверочных мер или критериев.

Это ошибка. Валидность всегда важна — даже если её сложнее оценить в качественных исследованиях.

Игнорировать валидность — значит ставить под сомнение достоверность вашей работы и подрывать доверие к её результатам. Даже когда в исследовании используются качественные методы, их необходимо оценивать с точки зрения надежности и валидности, чтобы сохранить доверие к полученным данным.

Что такое валидность в исследованиях?

Валидность — это термин, который исследователи используют для описания степени, в которой результаты отражают реальность. Методы исследования — количественные или качественные — представляют собой способы изучения реальных явлений, а валидность определяет, насколько точно они измеряют само явление, а не «шум» — постороннюю или нерелевантную информацию, попадающую в результаты.

Именно валидность и надёжность разделяют «хорошие» и «плохие» исследовательские отчёты. Качественное исследование основывается на стремлении тестировать и повышать как валидность, так и надёжность полученных данных.

Любое достойное исследование ставит вопрос: измеряется ли то, что действительно планировалось измерить, и как условия наблюдения влияют на его результаты.

Основа, на которой строятся наши выводы, играет ключевую роль в решении более широких содержательных задач любого конкретного исследования.

Поэтому мы рассмотрим различные типы валидности, сформулированные в рамках легитимной исследовательской методологии.

7 ключевых типов валидности в исследованиях:

• Лицевая (поверхностная) валидность
• Содержательная валидность
• Конструктивная валидность
• Внутренняя валидность
• Внешняя валидность
• Статистическая заключительная валидность
• Критериальная валидность

1. Лицевая валидность

Лицевая валидность — это то, насколько ваши результаты кажутся достоверными на первый взгляд. Это наименее научный метод оценки валидности, так как он не поддаётся количественному измерению с помощью статистических методов.

Лицевая валидность не является валидностью в техническом смысле этого термина. Она касается лишь того, насколько правдоподобно выглядит, что мы измеряем то, что утверждаем.

Здесь мы оцениваем, насколько мера кажется обоснованной на поверхностном уровне, и делаем субъективные суждения на основе этого восприятия.

Примеры:

• Представьте, что вы проводите опрос, который кажется респондентам валидным, а вопросы подобраны потому, что они выглядят обоснованными для исследователя.
• Исследователь спрашивает группу случайных людей — неподготовленных наблюдателей — кажутся ли им вопросы валидными.

В научных исследованиях никогда недостаточно полагаться только на лицевые суждения — для обоснованных выводов необходимы более количественные методы валидности. Существует множество инструментов измерения, поэтому лицевая валидность полезна в случаях, когда нужно выбрать один подход вместо другого.

Лицевой валидности нельзя доверять исключительно на основании её поверхностной привлекательности.

2. Актуальность контента

Контентная валидность определяет, насколько используемая в исследовании мера охватывает весь контент базового конструкта (то, что вы пытаетесь измерить).

Это также субъективная мера, но в отличие от поверхностной валидности, здесь оценивается, покрывает ли содержание измерения всю область исследуемого контента. Например, если исследователь хочет измерить интроверсию, ему сначала нужно определить, что составляет релевантную область контента для этой черты.

Контентная валидность считается субъективной формой измерения, так как она опирается на восприятие людей при оценке конструктов, которые иначе было бы сложно измерить количественно.

Отличие контентной валидности (и её ценность) заключается в привлечении экспертов в данной области или представителей целевой аудитории. Это исследование можно сделать более объективным с помощью строгих статистических тестов.

Например, можно провести исследование контентной валидности, которое покажет, насколько пункты опроса отражают их контентную область, насколько они понятны и в какой степени сохраняют теоретическую факторную структуру, оцениваемую с помощью факторного анализа.

3. Конструктная валидность

Конструкт представляет собой совокупность поведенческих проявлений, объединённых осмысленным образом для формирования образа или идеи, созданной в исследовательских целях. Валидность конструкта — это степень, в которой ваше исследование измеряет именно этот конструкт (а не что-либо за его пределами).

Депрессия — это конструкт, отражающий личностную черту, проявляющуюся в таких поведенческих признаках, как чрезмерный сон, потеря аппетита, трудности с концентрацией внимания и т. д.

Существование конструкта проявляется через наблюдение совокупности связанных индикаторов. Один и тот же признак может быть связан с несколькими конструктами. Например, человек с проблемами концентрации внимания может страдать СДВГ, но не депрессией.

Валидность конструкта определяет, насколько обоснованны выводы, сделанные на основе операционализации (связывания концепций с наблюдениями) в вашем исследовании, по отношению к тем конструктам, на которых эти операционализации основаны. Для подтверждения валидности конструкта необходимо сначала предоставить доказательства того, что ваши данные поддерживают теоретическую структуру.

Также требуется продемонстрировать контроль над операционализацией конструкта, то есть показать, что ваша теория соответствует реальности.

• Конвергентная валидность — степень, в которой операционализация схожа с другими операционализациями, с которыми она должна быть схожа с теоретической точки зрения.
• Дискриминативная валидность — способность шкалы адекватно различать группы, которые должны отличаться или не отличаться на основе теоретических предпосылок или предыдущих исследований.
• Номологическая сеть — представление конструктов, изучаемых в исследовании, их наблюдаемых проявлений и взаимосвязей между ними. Согласно Кронбаху и Милу, для обеспечения валидности конструкта необходимо разработать номологическую сеть для измеряемой величины.
• Мультитрейт-мультиметодная матрица — шесть ключевых аспектов анализа валидности конструкта по Кэмпбеллу и Фиске. Включает оценку конвергентной и дискриминативной валидности, а также анализ единиц "черта-метод", мультиметодных/мультитрейтовых подходов, принципиально разных методологий и характеристик черт.

4. Внутренняя валидность

Внутренняя валидность относится к тому, насколько точно можно утверждать, что независимая переменная вызывает наблюдаемый эффект.

Если влияние зависимой переменной обусловлено исключительно независимой переменной (или переменными), то внутренняя валидность достигнута. Это степень, в которой результат может быть интерпретирован как управляемый.

Иначе говоря, внутренняя валидность показывает, насколько ваше исследование «работает» в научных условиях. В рамках конкретного исследования: изменение вами одной переменной действительно влияет на ту переменную, которую вы изучаете?

5. Внешняя валидность

Внешняя валидность относится к степени, в которой результаты исследования могут быть обобщены за пределами выборки. Другими словами, вы можете применить свои выводы к другим людям и условиям.

Представьте это как степень, в которой результат может быть обобщён. Насколько хорошо результаты исследования применимы к остальному миру?

Лабораторная обстановка (или другое исследовательское окружение) — это контролируемая среда с меньшим количеством переменных. Внешняя валидность показывает, насколько хорошо результаты сохраняются даже при наличии всех остальных переменных.

6. Статистическая валидность выводов

Статистическая валидность выводов — это определение наличия связи или ковариации между причинными и следственными переменными.

Этот тип валидности требует:

• Соблюдения корректных процедур выборки
• Применения подходящих статистических тестов
• Надёжных методов измерения

Это степень, в которой вывод можно считать достоверным или заслуживающим доверия.

7. Критериальная валидность

Критериальная валидность (также называемая инструментальной валидностью) — это показатель качества ваших методов измерения. Точность измерения подтверждается сравнением с уже проверенным и признанным валидным измерением.

Другими словами, если ваше измерение имеет высокую корреляцию с другими измерениями, валидность которых подтверждена предыдущими исследованиями.

Для этого необходимо убедиться, что критерий измерен корректно. Также важно помнить, что подходящие критерии не всегда существуют.

Вы проверяете эффективность операционализации на основе критериев.

Критерии, которые вы используете в качестве стандарта оценки, определяют различные подходы:

• Прогностическая валидность — способность операционализации предсказывать то, что она должна предсказывать в теории. Степень, в которой измерение прогнозирует ожидаемые результаты.
• Совпадающая валидность — способность операционализации различать группы, которые она должна различать в теории. Здесь тест хорошо коррелирует с ранее валидированным измерением.

Когда мы оцениваем валидность данных опроса, мы задаёмся вопросом: отражают ли данные то, что мы думаем?

Мы зависим от настроя и отношения респондента, чтобы получить валидные данные.

Другими словами, мы полагаемся на то, что они ответят на все вопросы честно и добросовестно. Также важно, способны ли они понять и ответить на заданные вопросы. Если респондент не понимает или не может осмыслить вопрос, данные не дают нам той информации, на которую мы рассчитываем.