Валидность в исследовании: обеспечение доверия и достоверности

Заключения, которые вы делаете на основе вашего исследования (будь то анализ опросов, фокус-групп, экспериментального дизайна или других методов исследования), полезны только в том случае, если они валидны. Насколько "истинны" эти результаты? Насколько хорошо они представляют то, что вы пытаетесь изучить? Валидность используется для определения того, измеряет ли исследование то, что оно должно измерять, и для оценки достоверности результатов. К сожалению, исследователи иногда создают свои собственные определения того, что считается валидным. В количественном исследовании проверка валидности и надежности является данностью. Однако некоторые квалитативные исследователи заходят так далеко, что утверждают, что валидность не применима к их исследованиям, хотя они признают необходимость некоторых квалифицирующих проверок или измерений в своей работе. Это неправильно. Валидность всегда важна – даже если она сложнее определить в квалитативном исследовании. Игнорирование валидности ставит под сомнение доверие к вашей работе и вызывает сомнения в доверии к ее результатам. Даже когда используются квалитативные меры, их необходимо рассматривать с использованием показателей надежности и валидности, чтобы поддерживать доверие к результатам.

Что такое Валидность в Исследовании?

Валидность – это, как исследователи говорят, степень, в которой результаты представляют реальность. Методы исследования, количественные или квалитативные, являются методами изучения реальных явлений – валидность относится к тому, насколько эти методы измеряют явление по сравнению с тем, сколько "шума" или не связанной информации захватывается результатами. Валидность и надежность делают разницу между "хорошими" и "плохими" исследовательскими отчетами. Качественное исследование зависит от обязательства проверять и увеличивать валидность и надежность ваших исследовательских результатов. Любое исследование, достойное внимания, должно быть заинтересовано в том, измеряется ли то, что измеряется, и как влияют наблюдения на обстоятельства, в которых они сделаны. Основание, на котором основаны наши заключения, играет важную роль в рассмотрении более широких субстантивных вопросов любого данного исследования. Поэтому мы рассмотрим различные типы валидности, которые были сформулированы как часть легитимной исследовательской методологии. Вот семь ключевых типов валидности в исследовании:

1. Лицевая валидность
2. Содержательная валидность
3. Конструктивная валидность
4. Внутренняя валидность
5. Внешняя валидность
6. Статистическая заключительная валидность
7. Критериальная валидность

1. Лицевая валидность

Лицевая валидность – это насколько ваши результаты кажутся валидными на основе их внешнего вида. Это наименее научный метод валидности, так как он не количественно измеряется статистическими методами. Лицевая валидность не является валидностью в техническом смысле. Она касается того, кажется ли нам, что мы измеряем то, что утверждаем. Здесь мы рассматриваем, насколько валидна мера на поверхности, и делаем субъективные суждения на основе этого. Например, Представьте, что вы даете опрос, который кажется валидным для респондента, и вопросы выбраны потому, что они кажутся валидными администратору. Администратор спрашивает случайную группу людей, не обученных наблюдателей, кажутся ли им вопросы валидными. В исследовании никогда не бывает достаточно полагаться только на лицевые суждения – и необходимы более количественные методы валидности для вывода приемлемых заключений. Существует множество инструментов измерения, которые следует учитывать, поэтому лицевая валидность полезна в случаях, когда нужно отличить один подход от другого. Лицевая валидность никогда не должна доверяться сама по себе.

2. Содержательная валидность

Содержательная валидность – это то, покрывает ли используемая в исследовании мера весь контент в подлежащем измерению конструкте (то, что вы пытаетесь измерить). Это также субъективная мера, но в отличие от лицевой валидности, мы спрашиваем, покрывает ли контент меры весь домен контента. Если исследователь хотел бы измерить интроверсию, ему нужно было бы сначала решить, что составляет релевантный домен контента для этого признака. Содержательная валидность считается субъективной формой измерения, так как она все еще зависит от восприятия людей для измерения конструктов, которые иначе трудно измерить. Где содержательная валидность отличается (и становится полезной) через использование экспертов в области или людей, принадлежащих к целевой аудитории. Это исследование можно сделать более объективным с помощью тщательных статистических тестов. Например, вы можете иметь исследование содержательной валидности, которое информирует исследователей о том, как используемые в опросе элементы представляют свой домен контента, насколько они ясны и в какой степени они сохраняют теоретическую факторную структуру, оцениваемую факторным анализом.

3. Конструктивная валидность

Конструктивная валидность – это степень, в которой ваше исследование измеряет конструкт (по сравнению с вещами вне конструкта). Депрессия – это конструкт, представляющий личностное качество, проявляющееся в поведении, таком как переедание, потеря аппетита, трудности с концентрацией и т.д. Существование конструкта проявляется путем наблюдения за набором связанных показателей. Любой один признак может быть связан с несколькими конструктами. Человек с трудностями в концентрации может иметь СДВГ, но не депрессию. Конструктивная валидность – это степень, в которой можно делать выводы из операционализаций (соединения концепций с наблюдениями) в вашем исследовании к конструктам, на которых эти операционализации основаны. Чтобы установить конструктивную валидность, вам нужно сначала предоставить доказательства того, что ваши данные поддерживают теоретическую структуру. Вам также нужно показать, что вы контролируете операционализацию конструкта, другими словами, показать, что ваша теория имеет некоторое соответствие с реальностью. Конвергентная валидность – степень, в которой операция схожа с другими операциями, которые теоретически должны быть схожи. Дискриминативная валидность – если шкала адекватно отличает себя или не отличает между группами, которые должны или не должны отличаться на основе теоретических причин или предыдущих исследований. Номологическая сеть – представление конструктов интереса в исследовании, их наблюдаемых проявлений и взаимосвязей между ними и между ними. Согласно Cronbach и Meehl, для того чтобы мера имела конструктивную валидность, должна быть разработана номологическая сеть. Матрица мультитрейт-мультиметод – шесть основных аспектов при рассмотрении конструктивной валидности согласно Campbell и Fiske. Это включает оценки конвергентной валидности и дискриминативной валидности. Остальные – трейт-метод-юнит, мультиметод-трейт, действительно разные методологии и характеристики трейта.

4. Внутренняя валидность

Внутренняя валидность относится к степени, в которой независимая переменная может точно утверждаться как производитель наблюдаемого эффекта. Если эффект зависимой переменной вызван только независимой переменной (или переменными), то достигнута внутренняя валидность. Это степень, в которой результат может быть манипулирован. Другими словами, внутренняя валидность показывает, что ваше исследование "работает" в исследовательской среде. В рамках данного исследования влияет ли измененная переменная на переменную, которую вы изучаете?

5. Внешняя валидность

Внешняя валидность относится к степени, в которой результаты исследования могут быть обобщены за пределы выборки. Это означает, что вы можете применить свои выводы к другим людям и ситуациям. Это степень, в которой результат может быть обобщен. Насколько хорошо результаты исследования применимы к остальному миру? Лабораторная среда (или другая исследовательская среда) – это контролируемая среда с меньшим количеством переменных. Внешняя валидность относится к тому, насколько хорошо результаты сохраняются в присутствии всех этих других переменных.

6. Статистическая заключительная валидность

Статистическая заключительная валидность – это определение того, существует ли связь или ковариация между переменными причины и эффекта. Этот тип валидности требует: Обеспечения адекватных процедур выборки Подходящих статистических тестов * Надежных процедур измерения. Это степень, в которой заключение является кредитным или убедительным.

7. Критериальная валидность

Критериальная валидность (также называемая инструментальной валидностью) – это мера качества ваших методов измерения. Точность меры демонстрируется путем сравнения ее с мерой, уже известной как валидной. Другими словами – если ваша мера имеет высокую корреляцию с другими мерами, которые известны как валидные благодаря предыдущим исследованиям. Для этого вам нужно знать, что критерий измерен хорошо. И быть осведомленным о том, что подходящие критерии не всегда существуют. То, что вы делаете, проверяет производительность вашей операционализации по критериям. Критерии, которые вы используете в качестве стандарта оценки, учитывают различные подходы, которые вы будете использовать: Прогностическая валидность – способность операционализации предсказывать то, что она теоретически должна предсказывать. Степень, в которой мера предсказывает ожидаемые результаты. Совместная валидность – способность операционализации отличать группы, которые она теоретически должна отличать. Это, где тест коррелирует хорошо с мерой, которая была ранее валидирована. Когда мы рассматриваем валидность в данных опросов, мы спрашиваем, представляют ли данные то, что мы думаем, что они должны представлять. Мы зависим от ментального настроя и настроения респондента, чтобы дать нам валидные данные. Другими словами, мы зависим от того, чтобы они отвечали на все вопросы честно и внимательно. Мы также зависим от того, могут ли они понять вопросы, которые мы задаем. Когда задаются вопросы, которые респондент не может понять или понять, то данные не говорят нам того, что мы думаем, что они говорят.

Заключение

Валидность – это ключевой аспект любого исследования, который обеспечивает доверие и достоверность результатов. Важно понимать, что валидность – это не просто формальность, а необходимость для получения надежных и применимых выводов. Вне зависимости от типа исследования, будь то количественное или квалитативное, валидность должна быть на первом месте. Только так можно обеспечить, что ваше исследование будет воспринято всерьез и принесет реальные результаты.