Методы и методология социологического исследования
Лекция 2
Программа социологического исследования
Видео-курс Владимира Звоновского для социологов-бакалавров, читавшийся в СГЭУ в 2012-2021 гг.
Цель лекции: Дать представление о структуре и содержании программы прикладного социологического / маркетингового исследования. Познакомиться с основными подходами к разработке методологической части программы исследования.

План лекции
1
Структура программы социологического исследования.
Методологическая и процедурная части программы исследования.
2
Проблемная ситуация и проблема исследования.
Взаимодействие Заказчика и Исполнителя на этапе анализа проблемной ситуации и формулировки проблемы исследования.
3
Цель и задачи исследования.
Общие принципы формулировки цели и задач исследования.
4
Принципы построения системы гипотез.
Формулировка гипотез прикладного исследования.
5
Выделение основных понятий исследования.
Операционализация и инструментализация понятий.
2.1. Что такое программа исследования и из чего она состоит
В рамках этой лекции я расскажу о программе социологического исследования, но прежде, чем начать рассказ, я должен вам сказать, что представленная здесь структура программы является мифом. Почти никогда в описании социологического исследования вы не найдёте всех описанных здесь этапов, чаще вы будете встречать «концепции», «техническое задание», «коммерческое предложение», но почти никогда не найдёте заголовка «программа социологического исследования». Тем не менее, всё, о чем я буду говорить, крайне важно, потому что существуют своеобразная гигиена ума. Вот эту гигиену ума иногда называют методологией научного исследования. Такой набор процедур, который не избавят вас от ошибок, но, во-первых, существенно (в разы!!) уменьшит их вероятность, во-вторых, позволит поделиться итогами исследований с коллегами и внешней публикой. В противном случае, результаты останутся лишь фактом вашей личной биографии.

Конечно, здесь описан некоторый способ познания мира с точки зрения социологии, хотя в данном случае можно было бы говорить о психологическом или политологическом исследовании, подходы примерно те же самые. Схема, представленная здесь, относится, скорее, к количественным исследованиям, и чем дальше от позитивистской картины мира будет ваше исследование, тем меньше оно по своей структуре будет похоже на то, о чем я расскажу. Есть много разных способов проводить социологические исследования, я использую именно этот способ, поскольку считаю его наиболее плодотворным и корректным с точки зрения науки.

Программа социологического исследования делится на две большие части: методологическую и процедурную. Методологическая часть программы отвечает нам на вопрос «что мы будем делать», то есть описывает цель, задачи, объект и предмет нашего исследования. Процедурная часть программы социологического исследования отвечает на вопрос «как мы будем делать», как мы будем строить выборку, откуда будем формировать выборочную совокупность, какие вопросы мы будем им задавать, как будем анализировать результаты исследования, сколько времени, денег и людей.

Методологическая часть нашего исследования подразумевает прежде всего анализ проблемной ситуации, описание того, что мы считаем проблемой. Затем мы должны определить, что будет объектом, предметом исследования и сформулировать его основные гипотезы. На третьем этапе разработается схема основных понятий исследования, описание того, что мы будем понимать под тем или иным термином или названием. Даже такое простое понятие, как «избиратель» требует хотя бы краткого своего описания. Очевидно, что избиратель по закону это гражданин Российской Федерации старше 18 лет и этого вполне достаточно для того, чтобы определить это понятие с юридической точки зрения, но совершенно недостаточно для того чтобы определить это с точки зрения социологического исследования. Если мы говорим о жителе Самары или самарской области, то мы должны определить нашего избирателя инструментально - это люди, проживающие на территории самарской области или это люди, зарегистрированные на территории самарской области. Принятие решения в данном случае будет влиять на количественный результат исследования и его необходимо принять и зафиксировать для того, чтобы при проведении повторного исследования или при сравнении с результатами других измерений, мы бы ясно представляли себе исходные понятия, повлиявшие на результат. Формирование ключевых понятий исследование подразумевает иногда уточнение в схему основных понятий, которые мы используем в обычной жизни, а иногда требует разработки совершенно новых понятий для нашего социологического исследования, которые мы не используем в повседневной жизни.

Программа исследования начинается с описания проблемы, ведь именно для ответа на проблемный вопрос и будет формулироваться все остальные составляющие программы социологического исследования.

Предположим, мы вывели на рынок новую марку мыла или шампуня, провели рекламную компанию для увеличения доли продаж, а эти продажи совершенно не изменились, остались на прежнем уровне. Такая ситуация кажется противоречивой в нашем представление о рыночной реальности: мы вроде бы подтолкнули объем продаж, приложили усилия для того, чтобы он увеличился, а таких изменений не произошло. Мы ожидаем от исследования ответа на вопрос: почему этого не произошло. Вероятно, у нас есть некоторые гипотезы относительно того почему такого увеличения не произошло. Возможно, в это время наши конкуренты также проводили рекламную компанию, возможно, мы неправильно таргетировали нашу рекламу, возможно, наш товар недостаточно представлен на полках магазинов. Гипотез может быть много, но в основе любого социологического исследования должна быть проблема, на решение которой оно направлено. Проблемы бывают в основном двух типов: противоречие или недостаток информации. Выше я привел пример исследования с проблемой противоречия в социальной реальности. Примером проблемы с недостатком информации могут быть измерения рейтинга телепередач, проводимые с целью актуализации данных, то есть у нас есть недостаток информации и мы это исследование проводим для ее актуализации.

Другим ключевым элементом методологической части программы является цель исследования. Цель исследования это - то, что мы хотим получить в результате его проведения, модель результата. Например, мы изучаем типы массового сознания населения крупного города, соответственно цель нашего исследования либо типология массового сознания крупного промышленного города, либо типы массового сознания крупного промышленного города.

Объект социологического исследования - это носитель информации о социальной реальности, которая нас интересует. Так, если мы изучаем поведение избирателей, то объектом нашего исследования является совокупность взрослого населения, если нас интересует рынок пива в крупном городе, объектом будет масса покупателей данного вида товара на данной территории.

Предмет нашего исследования - это та сторона объекта, которая нас интересует. Очевидно, что какие-то другие, может быть, важные стороны данного объекта, остаются за рамками данного исследования. Когда мы изучаем рынок потребителей пива нас мало интересует то, что смотрят эти люди, нас интересует их поведение как потребителей.

Программа должна максимально точно описать ключевые понятия, которые будем использовать (пока не в анкетах, пока для самих себя) при проведении исследования в целом. Мы должны чётко ограничить что мы будем подразумевать под тем или иным понятием. Возьмём потребителей колбасных изделий. Казалось бы понятно, что такое колбасные изделия, но, тем не менее, нам требуется учтонить, будем ли мы относить к колбасным изделиям сосиски, сардельки, или шпикачки, будем ли мы относить к колбасным изделиям ветчину или хамон. Нам необходимо более чётко очертить, то что мы будем подразумевать в данном случае под колбасными изделиями, да и вообще, когда мы описываем то или иное явление, даже казалось бы самое простое, надо поставить какие-то рамки, что за пределами этих рамок уже начинается другой продукт или мы видим какое-то другое явление.

Ключевым и необходимым элементом любого социологического исследования является гипотеза. Гипотеза, хотя бы одна, обязательно должна быть, даже самая простая, самая очевидная. Без сформулированных гипотез мы не сможем сформировать инструмент нашего исследования, потому что будет непонятно что мы должны доказать по его итогам. Перед проведением любого социологического исследования формулируется ряд предположений, которые будут подтверждены или опровергнуты на основе полученных в ходе этого исследования результатов.
2.2. Объект исследования и модель результата
Когда исследуется та или иная часть социальной реальности - электоральное поведение, или поведение молодёжи, или анализ рынка молочных продуктов, - то изучению подвергается не вся социальная реальность, а какая-то её модель. Модель социальное реальности мы получаем, когда упрощаем ее до тех элементов и тех параметров, которые нам кажутся главными в данном случае. То же самое мы делаем в физике, когда нас интересует не какая-то конкретная форма материального тела, а только его скорость, вес, плотность или импульс. То же самое мы делаем в медицине, когда наблюдаем за температурой тела больного, игнорируя его боль в ноге. Важны ли ещё какие-то другие параметры, зависит от предполагаемого диагноза: в каких-то случаях, мы будем следить за его кровяным давлением, а в каких-то - за составом мочи.

Проводя социологическое исследование поведения избирателей перед выборами, нас интересует целый ряд параметров избирателей, которые, как нам кажется, будут влиять на их выбор. Мы предполагаем, что пол респондента, его/ее образование, место проживания, возраст, доход - влияют на электоральный выбор, а цвет волос или любимая марка одежды – не влияют на этот выбор. Иногда это кажется очевидным, но - не всегда так. Например, перед выборами 2008-го года в Соединенных Штатах, когда Барак Обама впервые стал президентом США, тогда исследователи заметили, что те избиратели, которые предпочитают делать перекус в кофейнях «Starbucks», намерены в большей части поддержать Барака Обаму. А те, кто предпочитал другие рестораны быстрого питания, - Джона Маккейна. В исследованиях мы чаще проверяем гипотезы, о том, как различные факторы влияют на поведение и мнение людей и для того, чтобы сформулировать эти гипотезы наиболее ясно и понятно, мы строим некоторую модель социальной реальности, которую и будем использовать в исследовании.

Так, с нашей точки зрения избиратель – это не все многообразие человеческих характеров: пол, возраст, место проживания, образование, иногда можно добавить специфические признаки – число детей, или место рабочего обеда, иногда не добавляем их. Но в любом случае мы будем изучать ровно то, что заложено в нашей модели и ничего – сверх того. На основе сформированной модели формулируется набор вопросов нашим респондентам, поэтому модель состоит, в основном, из характеристик этого респондента. Если мы изучаем не поведение избирателей на выборах, а поведение компании или корпорации на рынке, то мы будем изучать характеристики этой компании. Такие, как её оборот, объем выпуска, сектор экономики, в котором она работает. В программе исследования необходимо создать такую модель социальной реальности, которая адекватнее других опишет эту социальную реальность, с одной стороны, и позволит проверить выдвинутые в рамках данного исследования, с другой.

Если модель не соответствует социальной реальности или к ней использовались характеристики, которые невозможно правильно измерить, наша модель неадекватна. В этом случае наше исследование целиком окажется ложным, потому что ошибки, сделанные на этапе разработки такой модели социальной реальности, невозможно будет скомпенсировать на последующих этапах нашего исследования. Когда идёт разработка модели социальной реальности, мы находимся между двух полюсов. С одной стороны, мы должны предложить набор параметров, максимально точно описывающий поведение нашего объекта исследования. С другой, мы не должны сделать избыточный набор этих параметров. Потому что, во-первых, это утяжеляют исследование, а во-вторых, это значит, что модель получается очень сложной, для которой нужно очень много параметров и несёт мало объяснительной силы. Никакой научной новизны в утверждение о том, что на поведение избирателей на выборах или поведение покупателя в магазине влияет 233 параметра, нет.

Напротив, если исследователь докажет, что на нашего избирателя/покупателя на этом рынке и в этих условиях, на этих выборах влияет небольшой набор параметров, то это будет прибавлять новые знания и такое исследования будет полезным как для массовой публики, так и для научного и исследовательского сообщества.


Примеры объектов и моделей социологического исследования:

Первым примером модели здесь приведен сценарий телефонного интервью, а объектом исследования является население большого города. Если речь идёт о телефонном опросе и достигать наших респондентов нужно с помощью телефона, то соответственно единицами выборки в данном исследовании будет все множество владельцев телефонов в данном городе. Темой исследования может быть любая, это может быть исследование мнения избирателей, или исследование поведения потребителей. Социально демографическая часть анкеты примерно одинакова в такого рода исследованиях: пол, возраст респондента. Часто исследователей интересует образование, доход, состав семьи и ряд других параметров. Эти параметры и составляют модель объекта – жителя крупного города.

Вторым примером объекта исследования представлена торговая сеть в городе. Это может быть Магнит, Перекрёсток, Лента или все торговые сети в совокупности, и нашей генеральной совокупностью вся совокупность магазинов, продающих, какой-то товар, например, продукты питания. Тогда единицей выборки будет торговая точка, обладающие той или иной площадью, количеством касс набором продукции, которые торгуются в этой точке, и другими признаками. В нашу модель мы включим те из них, которые по нашему мнению будут объяснять различия между группами торговых точек. Например, мы считаем, что количество касс влияет на объем продаж сильнее, чем номенклатура продаваемой продукции. При этом мы считает, что другие возможные признаки на интересующие нас характеристики не влияют. Скажем, мы полагаем, что число сотрудников торговой точки на объем продаж не влияет.

В третьем примере объектом исследования являются женщины в определенном возрасте. К этому описанию можно добавить их статус занятости, наличие и число детей. Такое описание целевой аудитории, должно быть отражено в нашей модели объекта, то есть в анкете, которую будет заполнять респондент. Следовательно, в анкете должны быть указаны все эти признаки: пол, возраст, вид занятий, размер дохода, частота приобретения данного продукта и т.д, то есть все те характеристики, которые позволят отнести данных респондентов или данную группу респондентов к нашему объекту исследования.

В четвертом примере объектом нашего исследования являются мужчины, симпатизирующие или не симпатизирующие какому-то политику. Целью исследования должны стать мотивы такого отношения, а также, что мы можем сделать для того, чтобы изменить это отношение. Работа будет проводиться с помощью группового интервью или фокус-групп и среди требований к рекруту таких респондентов могут стать их возраст, образование, отношение к кандидату.
2.3. Анализ проблемной ситуации
Анализ проблемной ситуации является первым и, возможно, главным элементом программы социологического исследования. Именно на этом этапе мы должны понять:

1. В чём состоит проблема в практической плоскости?

2. Какие проблемы существуют у нашего клиента и нашего заказчика?

3. Какого рода информацию мы должны собрать для него, чтобы он принял единственно верное правильное решение и не жалел потом об этом?

Для того чтобы разобраться в проблеме исследователь может использовать разные стратегии. Прежде всего он может иметь большой опыт в данном секторе экономики или человеческого поведения или на этом рынке. Так, если он давно изучает рынок автомобилей, то, наверное, он является специалистом на этом рынке или, скажем, если он провёл много исследований в области поведения избирателей, наверное, он является специалистом в этой области, но не всегда бывает так. Но всегда бывает тот первый раз, когда приходит к исследователю человек с какого-то нового для него рынка и просит исследовать этот рынок. Я помню как в 1994 году в наш офис пришёл один мой знакомый и стал рассказывать о проблемах наркотизма и наркомании в нашем городе, подвигая меня, таким образом, к проведению какого-то исследования на эту тему. Тогда это была совершенно неясная и непонятная для меня тема и, чтобы как-то продвинуться в понимании, мне пришлось прочитать очень большое количество специальной, в том числе социологической литературы, об этом. Мы тогда общались с представителями экспертного сообщества, врачами, психологами и сотрудниками правоохранительных органов. В общем, мы провели огромную работу просто для того, чтобы зайти на рынок этих исследований, чтобы понять, какие подводные камни здесь существует и какой может быть модель объекта нашего исследования.

После этого мы проводили исследования на эту тему примерно в течение 10 лет, выпустили большое количество научных статей, отчётов по исследованию и даже написали одну книгу. Как видим, всегда существует тот первый раз, когда исследователю необходимо войти в новый рынок. Это может быть самостоятельное изучение какой-то темы, это может быть погружение в тему с помощью самого клиента. В последнее время стали модными и популярными, так называемые брейншторминги, когда исследователь участвует в внутреннем мероприятии корпорации, где обсуждается сложившуяся ситуация, проблема и на основе этого обсуждения исследователь формирует своё представление о социальной реальности.

При описании проблемной ситуации в программе социологического исследования необходимо иметь точное и верное представление о том, как будет использоваться информация, собранная в результате исследования, и как клиент, получив эти данные, сможет их использовать. Исследование должно проводится в интересах заказчика и будет неверно, если по результатам исследования мы получим какие-то выводы, которые касаются всего рынка в целом, но не касаются данного производителя. Он получит хорошие обширные знания о том, из чего состоит рынок, как он функционирует, но он не получит никакой информации о том, что он может сделать для изменения этого рынка. Скажем, мы можем провести исследование предвыборных настроений избирателей. Мы хорошо всё опишем, но не предложим нашему клиенту, например, кандидату или какой-то партии, каких-то инструментов для изменения ситуации, воздействия на социальную реальность. Поэтому, когда мы разрабатываем программы социологического исследования, описываем проблемную ситуацию должны понимать, кто на стороне клиента будет воспринимать информацию и как он будет её использовать.

В результате формулирования описание проблемной ситуации у заказчика и исполнителя должны сформироваться примерно одинаковые ожидания от проекта. Для этого и пишется программа социологического исследования, чтобы у нас и заказчика были примерно одинаковые модели социальной реальности, которой мы будем пользоваться, представления о проекте и ожидания от результатов этого исследования, и возможности их использования в практической деятельности на стороне клиента или заказчика.

В зависимости от того кто сформулировал описание проблемной ситуации, все исследования можно разделить на три основные группы. В первую группу входят исследования, где проблемную ситуацию увидел и сформулировал сам исследователь. Так, Э.Дюргейм озадачился теме самоубийств сам, он увидел в этом социальную проблему, увидел актуальность этой проблемы и провёл исследование. Такого рода исследования, можно называть диссертациями. Любая диссертация, которая защищается на соискание ученой степени являются такого рода исследованиями, это - проблема, которую видят сами исследователи, чаще всего она не является следствием какого-то стороннего заказа.

Кроме этого, существуют исследования, результаты которых встроены во внутрикорпоративную статистику заказчика исследований. Скажем, мы часто проводим исследования методом «Тайный клиент» или «Тайный покупатель», когда мы приходим, например, в автосалон, имитируя желание купить тот или иной автомобиль и ждём, когда с нами вступят в контакт один из продавцов этого салона. Затем мы определённым образом оцениваем работу этого сотрудника, и эта оценка будет учитываться при формировании премиальной части его зарплаты, то есть в этом случае результаты исследования встроены в систему оплаты, в систему работы, в систему учёта данной компании. Здесь модель социальной реальности, которую мы будем использовать в данном исследовании, уже сформирована на стороне клиента, и нам достаётся в готовом виде, наша задача только правильно измерить параметры, которые включены в данную модель.

Последний тип – исследования, вызванное какими-то внешними воздействиями. Большинство исследований, которые мы проводим, как раз вызваны какой-то внешней причиной. Например, у компании снизился объем продаж её продукции или начинается избирательная кампания, в рамках которой кандидат или партия собирается победить. Нам необходимо изучить эту часть социальной реальности, чтобы предоставить клиенту какие-то инструменты для влияния на нее.

Существует два основных типа проблемной ситуации. Во-первых, это - противоречие в имеющейся информации. У нас или клиента сложилась ситуация, содержащее в себе внутренние противоречия, и это противоречие мы намерены разрешить, получив результаты данного социологического исследования, например, какая-то фирма проводит рекламную компанию своего продукта и в это же время объем продаж этого продукта у неё сокращается. С одной стороны, они рекламируют свой продукт и очевидно ожидать в результате этой рекламной кампании увеличение продаж, а с другой - объём продаж снижается. Клиент не может понять, в чём здесь причина, разумеется, у него есть какие-то гипотезы, и он с помощью социологического исследования хотел проверить их. Возможно, мы, как исследователи, добавим ещё несколько гипотез, которые мы сможем проверить в рамках данного исследования.

Другим типом проблемной ситуации является отсутствие информации. Например, в рамках предвыборной кампании мы должны получить новую информацию о поддержке нашего кандидата, его конкурента на какой-то территории. Для этого мы должны регулярно проводить эти измерения. Мы знаем, какие факторы действует на поддержку кандидата или противодействует этому, мы формировали модель социальной реальности, которая адекватно описывает поведение избирателей в этой ситуации, но мы просто не имеем актуальную информацию на каждую единицу времени. Проведение каждой следующей волны такого измерения продиктовано только одним: у нас нет актуальной информации. Также нам не хватает информации, когда мы приезжаем в какой-то новый город или выходим на какой-то новый рынок: у нас часто нет никаких описаний ситуации на этом рынке и любые исследования, которые мы здесь будем проводить, вызваны отсутствием информации.

Примеры описания проблемных ситуаций.

Как видите, это описание укладывается в один абзац, даётся характеристика того или иного рынка, описание ситуации на нём и описание того, является ли это проблемная ситуация отсутствием информации или противоречием. Анализ проблемной ситуации описывает нам специфику рынка, специфику заказчика, специфику его проблемы, специфику необходимой ему информации и то, как это информация будет использоваться. Всё это описано в анализе проблемной ситуации, приведенной в данном техническом задании.

Второй пример, описание проблемной ситуации как вы видите, является наиболее развёрнутой, потому что проблема более сложная. В данном случае клиент хочет построить довольно крупные предприятия в небольшом городке. С одной стороны, это очень хорошо для населённых пунктов, особенно для небольших. С другой, строительство промышленного предприятия довольно плохо скажется на окружающей среде. Процесс производства продукции будет наносить урон, скажем там воде, растительности, воздуху и очевидно, что строительство такого предприятия будет встречать противодействие со стороны жителей этого города. Заказчик видит эту проблему, понимает её, и хотел бы воздействовать на общественное мнение жителей города, таким образом, чтобы они в той или иной мере согласились на строительство данного предприятия. Здесь проблемная ситуация состоит не столько в создании модели социальной реальности и проведения социологического исследования, сколько в этической проблеме для исследователя, насколько он готов участвовать в таком роде деятельности. Не будут ли результаты данного исследования использованы во вред жителям этого города или во вред здешней природе?

Далее приведено описание еще одной проблемой ситуации. Здесь проблема носит совершенно иной характер: заказчик хотел бы провести исследование рынка яхт и катеров, то очень узкого и дорогого рынка. Вряд ли какой-то исследователь проводил исследования этого рынка. Поэтому, скорее всего, мы будем вынуждены опереться на опыт в других сходных рынках. Главный вопрос здесь – насколько данный рынок отличается от подобных ему, не будет ли наша аналогия ошибочно? Ведь нам нужно не просто понять его, но и дать количественную оценку. Например, мы выяснили, что новый вид продукции может занять 20% рынка. Много это или мало? Что мы должны сказать нашему клиенту? Заслуживает ли продукт, чтобы его производить и распространять на данном рынке или 20% это очень малое значение и следует отказаться от выпуска данного продукта или каким-то образом улучшить его? Когда мы выходим на такие очень узкие специфические рынки основной проблемой является не столько сбор данных, хотя это тоже сама по себе проблема, но и интерпретация полученных результатов. Что получили? Как это может использовать клиент в своих целях?

Чаще всего анализ проблемной ситуации подразумевает погружение в поле исследования. Исследователь всегда должен знать о рынке больше, чем заказчик, даже если этот рынок очень специфический, даже если исследователь никогда не проводил исследования в этом сегменте, необходимо потратить своё время, силы, ресурсы, актуализировать свои контакты, установить какие-то новые контакты для того, чтобы собрать максимально подробную информацию о данном рынке. Заказчик ждёт от нас какой-то новой информации и поэтому будет недостаточно, если в рамках исследования вы используете только то, что сказал он вам. Необходимо выходить на какие-то новые источники информации и обогащать те знания, которые у вас есть о данном рынке. Важно в результате исследования сформировать какое-то новое видение этого рынка.

При анализе проблемной ситуации важно знать, в чем, собственно говоря, специфика проблемы для человека, с которым мы общаемся на стороне клиента, какие его конкретные проблемы мы должны разрешить в рамках данного исследования. Прежде всего, мы должны понимать, является ли тот человек, с которым мы общаемся, носителем проблемной ситуации внутри компании или он просто посредник-транслятор чужой, не близкой ему проблемы. Возможно, что тот человек, для которого данная ситуация является действительно проблемной, по-другому будет формировать модель нашего исследования и по-другому будет видеть возможность использования результатов нашего исследования. Вот почему так важно при формировании программы социологического исследования, при описании проблемной ситуации общаться с внутренним носителем данной проблемы заказчика.

Также немаловажно знать, а кто и каким образом принимает управленческие решения на стороне клиента, ведь мы будем проводить прикладное социологическое исследование, т.е то исследование, результаты которого будут использованы для принятия управленческих решений. Кто эти решения принимает и, каким образом, ограничен ли этот человек или группа людей каким-то набором решений? Очевидно, что для того, чтобы продавалось больше продукции необходимо снизить цену и тогда ваш продукт купит большее количество людей. Однако, если клиент описывает свою проблему и заканчивает это описание словами: «ценовые решения не предлагать», то он исключает возможность интерпретации результатов нашего исследования, как предложения снизить цену. Клиента интересует, какие другие решения мы можем предложить, если ценовые решения ограничены. Мы должны знать об этих ограничениях, мы должны представлять в каких рамках существует клиент, и что он может сделать или чего он не может сделать.

Исследователь должен иметь некоторое представление о внутрикорпоративной этике и внутрикорпоративных отношениях на стороне клиента, ведь очень часто исследования проводятся не только для того, чтобы изменить ситуацию, улучшить позиции какого-то товара, фирмы или кандидата в избирательной кампании. Очень часто исследования проводятся просто потому что они проводились год-два-три назад, на какие-то решения в каком-то бюджете на эти исследования отведены средства, и, соответственно, эти средства всегда осваиваются. Реально никто результаты этих исследований на практике использовать не будет. Могу привести другой пример использования клиентом результатов социологических исследований. Например, у клиента есть какой-то департамент или отдел маркетинга и он в состоянии провести само социологическое исследование, но поручает это сторонней компании. Им важно получить информацию от стороннего источника, получить подтверждение или опровержение своих гипотез от какой-то другой компании. Эту задачу им может поставить руководство данной компании или они могут принять это решение самостоятельно.

Исследователь должен знать, как будут использованы результаты его работы. Возможно, получив результаты социологического исследования, компания или какая-то организация просто положит их на пыльную полку или под сукно, не потому что они плохие, а в силу каких-то обстоятельств, из-за которых она не может использовать эти результаты, допустим, что никто не знает, как это делать или никто не хочет вносить какие-то изменения. Такие случаи тоже бывают и поэтому исследователь должен понимать цели последующего использования, полученной в ходе исследования информации.

Иногда исследователь сталкивается с использованием результатов своих исследованиях во внутренних разборках внутри компании, Если внутри какой-то компании два департамента дискутируют по причине падения продаж, и для того чтобы получить ответ на этот вопрос компания заказывает исследование в исследовательских компаниях. Очевидно, что каким бы ни был результат социологического исследования, он будет использоваться во внутренних разборках одного департамента против другого. Разумеется, исследователь самостоятельно решает в каждом отдельном случае брать ли на себя такое исследование или нет, но уж точно он должен знать о том, как это исследование и его результаты будут использоваться.

Самым же приятным для исследователя исходом является случай, когда результаты используются для изменения ситуации либо внутри компании клиента, либо на том рынке, где она работает.

Опытный исследователь с самого момента описания проблемной ситуации видит, когда исследование нужно и целесообразно, а когда за него лучше не браться. От проведения исследования нужно отказаться в том случае, если заказчик сам не может понять в чём его проблема и не понимает, как он будет использовать полученный результат. Также следует уклоняться от исследований, от самого факта проведения которых заказчик ожидает изменений в социальной реальности. Наши исследования, хотя и направлены в конечном счете на изменения социальной реальности, но сами изменения не составляют и не могут составлять результат исследования и любые социоинженерные задачи не могут входить в компетенцию исследователя. Целью исследователя при реализации проекта является не изменения социальной реальности, а максимально точное её измерение, не влияя на эту реальность.

Конечно, следует отказаться от проведения исследований, цена которого соизмерима с тем продуктом, рынок которого мы изучаем. Например, если мы выводим продукт стоимостью, условно говоря, 1 млн. вряд ли стоит потратить 100 тысяч на проведение исследований. Также не следует проводить исследования, если целью их заказчик видит «выход из кризиса». Очевидно, что «выход из кризиса» - это задача внутрикорпоративного управления, а не проведения исследования даже внутрикорпоративных. Следует уклоняться от исследований, целью которых является получение прибыли. Получения прибыли это административно-хозяйственная деятельность, а не исследовательская, конечно исследователь может руководить предприятием, это может быть исследовательская компания, компания по производству булочек, катеров и яхт , но эти две сферы нельзя смешивать.

Три очевидных случая, когда целесообразно проводить социологическое исследование:

1. Когда заказчик чётко понимает, что он будет делать при том или ином результате социологического исследования. Например, если получится, что новый продукт может занять больше 10% рынка, то мы запускаем линию этого продукта, если же наоборот , то мы не будем запускать линию такого продукта. Или когда мы тестируем буклет на фукус-группе и данный буклет не нравиться группе, то он будет переделываться и т.д.

2. Заказчик обращается к исследователем тогда, когда не имеет какой-то информации или эта информация ему недоступна. Сегодня производители товаров и услуг накапливают на своей стороне огромный объем информации данных о своих потребителях, это могут быть карты покупателей, скидочные карты, простые банковские пластиковые карты. На эти карты заносится информация о характеристиках покупателя и о том объёме, качестве и частоте покупок, которые были сделаны у того или иного продавца. Если этой информации недостаточно, то клиент приходит в исследовательскую компанию, пытаясь найти какую-то другую дополнительную информацию, описывающую ту социальную реальность, у которой он пока не может сформировать цельного представления и клиент считает, что исследователь поможет ему с этим.

3. Исследование целесообразно проводить, если стоимость этого исследования значительно меньше возможных выгод или потерь от принятия данного управленческого решения.

В результате анализа проблемной ситуации мы более или менее четко представляем собой цель данного социологического исследования.
2.4. Цель социологического исследования
Целью прикладного социологического исследования является получение информации, необходимой для принятия управленческого решения. Всю массу прикладных социологических исследований с точки зрения цели можно разделить на три основные группы: разведывательное (или поисковое) исследование, то есть исследование, направленное на получение информации для более точного определения проблем и формулировки гипотез. Второй тип исследования - описательный (или дискриптивный) направлен на описание различных аспектов социальной или маркетинговой ситуации. Это могут быть исследования для описания социально демографического профиля потребителя того или иного продукта или сторонника того или иного кандидата. Третий тип- каузальный (или причинно-следственный). Эти исследования направлены на выявление взаимосвязей между различными факторами социального поведения и общественного мнения. Целью таких исследований является выявление факторов, которые влияют на мнение и поведение людей.

Цель исследования - модель его результата. Иначе говоря, в качестве цели мы должны сформулировать уменьшенную, упрощенную копию возможного результата нашего исследования, и, конечно же, целью исследования не может быть исследование или изучение, но часто именно такие цели заявляются в программах социологических исследований и именно такие формулировки позволяют легко определить качество проведённого исследования. Если вы видите в описании проекта, что его целью является исследование, или изучение - это верный признак смутности целей, которые поставил перед собой исследователь или заказчик данного исследования.

Задачами социологического исследования являются этапы движения к цели этого исследования, поэтому между целями и задачами социологического исследования существует четкая взаимосвязь. Более того, во всем огромном арсенале проведенных социологических исследований и их типов сложилось соотношение между целями и задачами социологических исследований. Например, если целью исследования является анализ восприятия ситуации, то задачами , скорее всего, будут оценки восприятия ситуации в разных пространственных сферах: ситуация в семье, во дворе, в городе, в стране, а так же ситуации в разных предметных сферах, например, экономической, социальной, политической и др.

Если же целью исследования является оценка эффективности коммуникации, то типичными задачами будут измерение охвата этими коммуникациями, восприятие этих коммуникаций, то есть достигло ли переданное сообщение целевой группы, правильно ли было усвоено респондентами переданное по каналам коммуникации сообщение, правильно. И, наконец, повлияла ли эта информация на поведение респондентов, то есть, например, получив рекламное сообщение, принято ли он решение приобрести продукт или же отказаться от покупки.

Важным подразделением целей является разделение на собственно исследования и измерения. Под исследованием мы понимаем получение новой, ранее неизвестной информации, под измерением мы понимаем процесс получения актуальных значений уже известных параметров. Например, мы хотим изучить, как данный фильм или сериал влияет на состояние общественного мнения. В этом случае программа социологического исследования потребует разработки системы гипотез, цели, задачи, основных понятий, которыми мы будем оперировать в ходе исследования, также мы должны разработать дизайн этого исследования, вопросы, план, то есть разработать программу исследования целиком: «от и до».

Если наша цель измерить рейтинг очередной серии данного сериала, то большая часть этапов исследования пройдена. Мы разработали метод, с помощью которого будем измерять рейтинг, анкету, с помощью которой будем обращаться к респондентам, мы измерили и составили план нашего исследования, как будем проводить это измерение. Нам нужно лишь получить актуальные значения известного заранее параметра. Мы знаем как это сделать, просто нужно актуализировать эти параметры.
2.5. Объект и предмет исследования
Объектом социологического исследования называется социальная система, выделенная по какому-либо основанию. Если мы изучаем потребительское поведение населения крупного города, то объектом нашего исследования будет население этого города, вовлеченное в это потребительское поведение. Если же мы изучаем поведение избирателей, проживающих в том же городе, то объект исследования у нас будет примерно тот же самый, но мы будем изучать его другие показатели, не то, как часто и много покупает он тот или иной продукт, а то за какую партию или кандидата намерен проголосовать и собирается ли участвовать в голосовании вообще. То есть в каждом исследовании мы определяем объект и материально этот объект может быть одним и тем же, например, взрослое население того или иного города, но в разных исследованиях мы будем изучать его разные характеристики, например, характеристики его как массы потребителей или его характеристики как массы избирателей.

С другой стороны, объект исследования — это социальная система, на которую мы будем распространять результаты нашего исследования. Чаще всего в отношении объекта мы проводим выборочные исследования, то есть мы не опрашиваем всех потребителей или всех избирателей, мы делаем выборку, собираем данные среди единиц этой выборки, а затем распространяем собранное данные на весь объект, на всю социальную систему целиком.

Предметом исследования мы называем различные аспекты, элементы, связи и отношения внутри выбранного объекта исследования. При изучении поведения избирателей нашего города мы собираем некоторое множество признаков, характеризующие данное поведение. Во-первых, это - выбор той или иной партии, кандидата, намерение участвовать или не участвовать в выборах, проявляемый интерес к политике в целом и к выборам в частности. С другой стороны, мы отбираем те признаки, которые, по нашему мнению, могут повлиять на признаки, отражающие поведение людей как избирателей, например, их пол, возраст, район проживания, образование, доход и так далее. Взаимоотношение между этими признаками, взаимосвязь между ними будет предметом нашего исследования.

Очевидно, что за рамками данного предмета оказывается целый ряд характеристик, который присущ данному объекту, но нас в рамках данного исследования не интересующие. Например, очевидно, что если мы изучаем поведение избирателей большого города, то нас не интересует цвет и длина их волос. Если же мы изучаем этот объект как рынок шампуней, то, вероятно, цвет и длина волос будут значимыми факторами, влияющими на потребительское поведение на данном рынке. Поэтому мы должны помнить, что на поведение нашего объекта влияет целый ряд его характеристик и не все из них мы будем изучать в данном исследовании. Более того нам важно отобрать те характеристики объекта, которые позволят нам достичь цель нашего исследования, решить поставленные в нем задачи, и не привлекать к рассмотрению те стороны характеристики нашего объекта, которые, по нашему мнению, не имеют большого влияния и не позволяют достичь цели нашего исследования.

На слайдах приведено два примера объектов различных исследований, как мы их описываем в программе наших исследований.

В первом примере объектом исследования являются курящие женщины в возрасте от 22 до 36 лет. Оставляя за пределами рассмотрений, почему выбран именно этот объект, нужно отметить, что здесь дано описание пола и возраста. Далее следует уточнение объекта в зависимости от того, какие именно марки сигарет они употребляют. Это необходимо для того, чтобы правильно сформировать фокус группы в рамках данного исследования.

Во втором примере объектом исследования является потребитель колбасных изделий в городах Самара и Сызрань, а предметом исследования обозначена оценка продукции определённой марки товаров, в данном случае колбасных изделий. Здесь социальная система выбрана как совокупность жителей двух городов Самары и Сызрани, выбранных по тому, как они ведут себя на рынке колбасных изделий. Что мы изучаем? Какую конкретную сторону этой социальной системы мы изучаем? Мы изучаем оценку продукции какого-то конкретного производителя колбасных изделий.

Примеры объекта и предмета различных исследований

В первом примере в качестве объекта исследования взят статус межкультурной коммуникации, то есть некоторая система (межкультурная коммуникация), эта система участвует в другой системе более высокого уровня (социологическое знание), а мы будем изучать какую-то часть этой самой межкультурной коммуникации, касающаяся теоретико-познавательного и практического статуса этой коммуникации. Межкультурная коммуникация - достаточно широкий объект для исследования, поэтому в качестве предмета исследования берётся межиндивидуальное взаимодействие, взаимодействие акторов, принимающих участие в этой межкультурной коммуникации. Как мы видим, у нас выделена в качестве объекта часть действующей социальной системы, и внутри этого объекта мы изучаем какую-то часть данного социального взаимодействия.

Во втором примере в качестве объекта берётся российская политическая элита. Тут всё ясно и понятно. У нас есть социальная система российского общества, у российского общества есть какая-то часть этой системы (российская политическая элита), и именно на этот объект направлено данное исследование. Российская элита - достаточно широкое понятие, достаточно обширная социальная подсистема, и в рамках данного исследования мы будем изучать ее формальную структуру, и это будет именно предметом данного исследования.

Объектом третьего исследования является население города в целом, но вот предметом в данном случае является не какая-то часть существующей, функционирующей социальной системы, а то, каким образом мы можем прогнозировать развитие этой социальной системы, как мы видим перспективы этой социальной системы, как они складываются. Предметом нашего исследования здесь будет не какая-то реальная, существующая, ныне функционирующая часть социальной системы, а возможные перспективы этой социальной системы в ближайшем будущем.

В последнем на данном слайде примере объектом исследования является совокупность отношений, сложившихся в системе управления образовательными ресурсами, а предметом здесь является социальный мониторинг этой системы. Здесь также всё достаточно просто и прозрачно. У нас есть социальная система (система управления образовательными учреждениями), внутри этой системы есть какая-то часть (отношения внутри этой системы управления), и в качестве предмета для нашего исследования мы берем социальный мониторинг, как инструмент, действующий внутри данной системы управления образовательными учреждениями.

На следующем слайде я также привёл несколько примеров объекта и предмета исследования, которые предлагаю вам разобрать самостоятельно, что здесь является социальной системой, подсистемой, а что является теми элементами социальной системы, которые становятся предметом того или иного исследования.
2.6. Гипотезы исследования
Гипотезой социологического исследования называется предположение об объекте исследования, выражающееся в тех или иных задачах данного исследования. По итогам исследования выдвинутые гипотезы либо подтверждаются, либо опровергаются. Формулирование гипотез данного исследования является критически важным для проведения любого социологического исследования. Без гипотезы нет социологического исследования, так как ни одно социологическое исследование не доказывает ничего, кроме тех гипотез, которые были сформулированы. Под эти гипотезы мы будем выстраивать все исследование, то есть выбирать методы исследования, формулировать те или иные понятия, проводить собственные измерения. Соответственно, мы будем проверять те самые гипотезы.

В рамках количественного социологического исследования мы различаем статистические (математические) и научные (социологические) гипотезы.

Статистическими называются гипотезы, когда мы называем утверждения, относящиеся к количественным данным, чаще всего, о цифре, которая может быть достигнута, а может быть и не достигнута в ходе реального социологического исследования. Научные гипотеза охватывают более широкий круг явлений и представляют собой утверждения о фактах, например, о различиях и сходствах групп между собой.

Вне зависимости от сложности исследования, гипотезы должны быть максимально простыми.

Какими должны быть гипотезы?

• Хотя бы одна гипотеза должна быть, пусть сама очевидная, самая общая
• Гипотеза должна быть сформулированная в релевантных исследованию понятиях
• Каждая отдельная гипотеза должна быть максимально простой и односложной.
Предпочтительная форма формулировок
1
Утверждение о факте
«большинство населения города пользуется общественным транспортом»
2
Утверждение о знании или его изменениях
«средний чек в магазине увеличился»
3
Утверждение о связи
«балл ЕГЭ влияет на успеваемость студента первых курсов обучения"
2.7. Ключевые понятия исследования
Определение ключевых понятий исследования является важным элементом методологической части программы социологического исследования. Формулируя ключевые понятия, мы добиваемся единства понимания социальной реальности в рамках данного исследования. Это единство важно как внутри исследовательской команды, так и во взаимоотношениях между исследователем и клиентом, потребителем результатов данного проекта.

Важнейшими элементами работы с ключевыми понятиями являются операционализация и инструментализация этих понятий.

В самом широком смысле операционализация и инструментализация - это процесс перевода ключевых понятий с языка постановки проблемы, описания проблемной ситуации на язык взаимодействия с респондентом, т.е. на язык, понятный тем респондентам, которые принимут участие в данном исследовании. Чаще всего, мы обращаемся к массовому респонденту (например, массовому избирателю или массовому потребителю), но иногда мы обращаемся к экспертам (врачам, инженерам, чиновникам), но в любом исследовании язык общения с респондентом будет существенно отличаться от языка, которым описана проблемная ситуация, на котором написана программа социологического исследования. Вот для того, чтобы перевести с одного языка на другой, используются процедуры операционализации и инструментализации понятий.

Под инструментализацией понятий мы понимаем процесс перевода ключевых понятий нашего исследования в показатели, которые мы будем использовать непосредственно в полевых документах, собирая данные. Это может быть гайд фокус-группы, текст анкеты или интервью, бланк наблюдения. В ходе инструментализации мы переводим ряд параметров описания нашей проблемной ситуации на тот язык, которым будут пользоваться наши интервьюеры, наблюдатели и наши респонденты. Иначе говоря, инструментализация позволяет нам создать систему показателей, которые как бы "агрегируют" ключевые понятия нашего исследования.

Под операционализацией мы понимаем, скорее, обратную процедуру: создание на основе полученных значения тех или иных показателей какого-то агрегирующего показателя, индекса, который, в свою очередь, будет нам индикатором того или иного состояния социальной реальности.

В качестве примера такой инструментализации здесь показано разбиение всей совокупности жителей города на несколько групп в зависимости от их потребительского поведения. Группировка сделана с использованием двух вопросов:

1) Как часто в вашей семье покупаются колбасные изделия?

2) Кто в вашей семье чаще всего отвечает за покупку продуктов питания?

На основании ответов на эти два вопроса мы делим всю совокупность жителей на пять групп. Прежде всего, это группа активно потребляющих колбасные изделия. Это те люди, которые, с одной стороны, отвечают за покупку продуктов питания в семье, а с другой стороны, наиболее интенсивно покупают колбасные изделия. Ко второй группе мы отнесли тех, кто делит ответственность за покупки в семье с другими членами семьи, но столь же интенсивно приобретает колбасные изделия, и так далее.

Здесь с помощью двух простых признаков мы сформировали другой, более сложный признак, отражающий сегментацию населения города по их потреблению колбасных изделий. Мы не смогли бы создать такой признак на основании какого-то одного вопроса, мы не можем обратиться к потребителю с вопросом: "К какому сегменту вы относитесь: к первому, ко второму и так далее?". Зато мы можем обратиться к нашим респондентам с двумя достаточно простыми вопросами: "Кто в вашей семье отвечает за покупку продуктов питания?" и "Как часто в вашей семье приобретаются колбасные изделия?". На основании этих двух инструментов мы формируем сегментацию населения города по тому, насколько те или иные группы интенсивно приобретают колбасные изделия.

На другом слайде приведен пример операционализации понятий. В ходе предвыборных исследований мы часто сталкиваемся с необходимостью прогнозировать поведение людей, в данном случае, их активность в день голосования: то, примут ли они участие в голосовании на конкретных выборах или проигнорируют их. Уже давно известно, что решить эту проблему, задавая один единственный вопрос "Намерены ли вы принять участие в голосовании?", неразумно. Дело в том, что участие в голосовании является социально одобряемым поведением, и когда избиратель-респондент принимает участие в опросе, он, несомненно, стремится соответствовать этой социальной норме и говорит о своем позитивном настрое принять участие в выборах. Однако, в реальности на его поведение, которое будет реализовано через некоторое время после проведения опроса, оказывает влияние большое число факторов (например, погода, занятость на работе или домашними делами, активность или неактивность других членов семьи и т.д.). И разумеется, план-намерение, высказанное в ходе опроса, далеко не всегда реализуется конкретным респондентом или избирателем. Поэтому для того, чтобы более адекватно спрогнозировать поведение каждого отдельного респондента на предстоящих выборах, используется набор вопросов.

В качестве примера операционализации расчета ожидаемой явки, ожидаемой активности на предстоящих выборах, я здесь привел процедуру расчета этого показателя, разработанную исследовательской группой ЦИРКОН в 2006 году. Здесь кроме вопроса о том, собирается ли респондент участвовать в выборах, используются еще несколько признаков. Прежде всего, это его предыдущая активность, т.е. практика участия в других электоральных событиях. Во-вторых, мы здесь используем наличие или отсутствие мотивации к участию в этих выборах. Здесь авторы методики предполагают, что если респондент может сформулировать мотивы своего участия в голосовании, то, вероятно, эти мотивы для него действенны, актуализированы в его сознании, и, соответственно, мы можем предположить, что они будут более активно принимать участие в выборах, чем те, кто таких мотивов не нашел, не смог сформулировать их в ходе социологического опроса. В результате получения всех этих трех параметров, мы по определенной формуле, по определенной методике "агрегируем" их в один показатель и получаем для каждого респондента, для каждого избирателя какую-то вероятностную оценку его участия в предстоящих выборах.

Таким образом, на основе трех достаточно простых признаков мы операционализировали понятия потенциальной активности респондента на предстоящих выборах и сумели вычислить этот показатель для каждого участника опроса. Таких способов расчета потенциальной активности избирателей достаточно много, и здесь я привел лишь один пример для лучшего понимания, что такое операционализация.

Итак, в рамках этой лекции я вам рассказал о методологической части программы социологического исследования. О том, что такое проблемная ситуация и как необходимо ее анализировать, о том, что такое цель и задачи исследований и как они связаны, о том, что такое объект и предмет исследования и, наконец, о том, что такое гипотезы и ключевые понятия исследования.

В заключение, я бы хотел остановиться на некоторых терминах и понятиях, которые мы часто будем использовать, описывая различные процедуры социологического исследования. Под «методом» мы понимаем способ сбора первичных социологических данных (например, «метод уличного опроса» или «метод фокус-групп»). Под методикой или техникой мы понимаем некоторый готовый рецепт, алгоритм реализации того или иного способа сбора данных без уточнения, как этот сбор необходимо производить. Например, мы говорим «техника интервью», или «техника анкетирования». Под процедурой мы понимаем последовательность простейших действий по сбору первичных социологических данных (например, процедура отбора респондентов по методу Киша: это строго описанная процедура, которую необходимо выполнить от и до). Ну и наконец, под методологией мы понимаем науку о методах как способе познания социальной реальности, о том, как можно создать измеряющий инструмент и как правильно интерпретировать результаты его работы.

Литература по теме лекции
Список источников для освоения материала лекции
1. Е. Б. Галицкий, Е. Г. Галицкая, Маркетинговые исследования : теория и практика : учебник для вузов. М.: Издательство: Юрайт, 2014, 567 с.
2. Кравченко А.И. Методология и методы социологических исследований, М.: Издательство: Юрайт, 2014, 832 с.
3. Ядов,* В. А. Стратегия социологического исследования. Описание, объяснение, понимание социальной реальности / В. А. Ядов. – 3-е изд., испр. – М. : Омега-Л, 2007. – 567 с. (Университетский учебник).
4. Батыгин Г.С. Лекции по методологии социологических исследований. Учебник для высших учебных заведений. М.: Аспект-пресс, 1995; 2-е изд. - М.: Изд-во РУДН, 2007.
5. Девятко И.Ф. Методы социологического исследования. Екатеринбург, 1998.
6. Кокрен У. Методы выборочного исследования. М. 1976.
7. Ноэль Э. Массовые опросы. Введение в методику демоскопии. М. 1997.
8. Садмэн С., Брэдберн Н. Как правильно задавать вопросы. М.: Институт Фонда «Общественное мнение», 2002.
9. Черчилль, Г. А. Маркетинговые исследования / Г. А. Черчилль ; пер. с англ. – СПб. : Питер, 2000.
10. Э. Белл, А. Браймен: Методы социальных исследований. Группы, организации и бизнес./ Пер с англ.Харьков: Гуманитарный центр, 2012 г.
11. Маркетинговые исследования. Практическое руководство. Нэреш К. Малхотра , 3-е изд., пер. с англ. - М.: 2002. — 960 с.Методы сбора информации в социологических исследованиях. Отв. ред. В.Г.Андреенков, О.М.Маслова. М., Наука,1990.
12. Чуриков А.В. Основы построения выборки для социологических исследований. - М.: Институт фонда "Общественное мнение", 2020, - 240 с.
13. Белановский, С. А. Метод фокус-групп / С. А. Белановский. – М. : Магистр, 1996; 1998.
14. Мельникова, О. Т. Фокус-группы в маркетинговом исследовании : методология и техники качественных исследований в социальной психологии : учеб. пособие для студ. психол. фак. высш. учеб. заведений / О. Т. Мельникова. – М. : Издательский центр «Академия», 2003. – 272 с.
15. Штомпка, П. Визуальная фотография. Фотография как метод исследования: учебник / Штомпка П.// пер. с польского Н.В. Морозовой. – Москва: Логос, 2007. – 168 с. + 32 с. Цв. Ил.
Made on
Tilda