Стенограмма заседания ЭГ8 от 20 сентября

Стенограмма заседания ЭГ8 от 20 сентября

: Второй совместный семинар экспертной группы «Новая школа» по Стратеги-2020 и Института развития образования Высшей школы экономики в новом учебном году. И у нас осень урожайна на доклады наших западных коллег. И сегодня мы с удовольствием пригласили для выступления одного из активно цитируемых специалистов по исследованиям в области образования профессора Стэнфордского университета Эрика Беттинджера. Дело в том, что... ну, я скажу два слова о нашем сегодняшнем докладчике. Он получил степень доктора в области экономических наук в ЭмАйТи (Massachusetts Institute of Technology (MIT), работал некоторое время в бизнес-школе одного из известных университетов США – Кейз Вестрен (Case Western) и последние годы работает в Стенфордском университете в школе образования, которая по рейтингу школ образования США устойчиво занимает первое место. В том числе потому, что школа образования Стенфордского университета очень активна в использовании новых.. для образования, для педагогики, если хотите, методов исследований. И нам, выросшим в такой, я бы сказал, культуре педагогических исследований, основанных на качественных... на наблюдениях, на экспериментах на 20 человеках и т. д. возможно это кажется излишним усложнением, и поэтому на самом деле речь идет не только о том, чтобы мы использовали эти методы, но и понимали, почему их надо использовать. То есть я думаю, что одной из причин того, что эти новые методы научных исследований в области образования не очень хорошо распространяются в нашей педагогической науке является не только то, что они сложны, но и то, что мы не очень понимаем, зачем они нужны. Поэтому мы попросили профессора Беттинджера, который приехал в Высшую школу экономики читать целый курс по экспериментальным техникам исследований в образовании для нашей магистерской программы измерений в образовании и психологии, мы попросили его принять участие в нашем еженедельном семинаре. И это необычная в некотором смысле сегодня будет встреча, потому что профессор Беттинджер будет рассказывать не об одном исследовании, а скорее о целой методологии, которая используется в разных исследованиях, в которых он принимал участие. Поэтому тему мы сформулировали вместе с сегодняшним докладчиком как «Уроки рандомизированных (я надеюсь, докладчик пояснит, что имеется в виду) экспериментов в образовании». И как всегда у нас, я хочу напомнить, регламент. У докладчика будет 50-60 минут для доклада, и затем у нас будут... мы пригласили двух дискуссантов сегодня: Анатолий Георгиевич Каспржак и Владимир Самуилович Сопкин, и у нас будет дискуссия и вопросы. Поэтому, пожалуйста, профессор Беттинджер.

Э. Беттинджер: Большое Вам спасибо за то, что Вы мне позволили сегодня представить мое исследование. Я вообще-то немножко волнуюсь, и я надеюсь, что я буду соответствовать тем ожиданиям, и я так же постараюсь говорить немножко медленнее. Я хочу так же выразить Вам свое восхищение теми студентами, с которыми я до сих пор работал. Я преподаю в этом контексте, и я совсем не знал, что от них ожидать. Но есть некоторое количество студентов, которые и в классе, и после занятий, и даже внизу в столовой, они подходят ко мне и задают вопросы. И эти вопросы, это очень хорошие вопросы. Они пытаются понять эту методологию, они пытаются выяснить, как они могут ее использовать применительно к проблемам, с которыми они сталкиваются. Итак, чтобы я хотел сегодня представить. Я бы хотел представить вам несколько различных исследований. Это 2 рандомизированных эксперимента, в которых я принимал участие за последние 2 года. Я хочу показать некоторые из их результатов. Но до этого я хочу, чтобы все поняли, почему мы должны говорить сегодня о рандомизированных экспериментах. И мне кажется, я должен ввести вас в общий контекст, потому что рандомизированные эксперименты, которые я буду сегодня описывать, происходят в США. И я хочу объяснить несколько фактов по их поводу. Итак. Давайте начнем с того, что поговорим о тенденциях в исследованиях в образовании. Если мы рассмотрим последнее десятилетие, то здесь мы можем заметить существенные изменения, которые состоят в том, что существует тенденция к применению более жестких количественных методов. А именно: мы пытаемся применить методы, которые кажутся.. а именно мы хотим разработать методы и использовать методы, которые помогут нам понять причинно-следственную взаимосвязь. И вместо того, чтобы говорить о том, какие взимосвязи между двумя переменными, мы задаем больше и больше вопросов о том, какой эффект имеет введение программы Эй (А) для студентов. Рандомизация является одним из множества методов, которые здесь могут использоваться. И в последнее время она стала очень популярной вследствии двух причин: во-первых, для рандомизации не нужно очень большого количества статистики, для рандомизации необходимо несколько исходных посылок. И если вы проводите рандомизованный эскперимент, то в образовании он похож на медицинский эксперимент – мы берем некоторую группу студентов, которые будут знать или не будут знать того, что они участвуют в эксперименте, и к этим студентам будут применяться определенные меры. Это некоторым образом эксперимент, который проводится на случайной основе. И поэтому одной группе мы предлагаем какие-то меры, а другой группе мы не предлагаем меры, и таким образом мы оцениваем результат нашего исследования. Поэтому нам не нужно комплексного моделирования для этого эксперимента, чтобы понять, эффективны наши меры или нет. Некоторые считают, что рандомизация – это своего рода «золотой стандарт» в исследованиях, но я бы не стал заходить так далеко, я бы просто хотел сказать, что рандомизация – это, в принципе, очень ценный метод, хотя она так же неидеальна. И перед тем, как мы перейдем к рандомизированным экспериментам, я бы хотел уточнить, что когда я провожу такие эксперименты, я понимаю, что у них есть определенные слабые стороны. Там есть очень много этических и юридических вопросов, и необходимо очень тщательно обдумать их. Рандомизация так же... вот что мне не нравится в рандомизации – так это то, что мы можем ответить на вопрос, что мера работает, но мы не можем понять почему эти меры не сработали. И часто получается, что студенты начинают выбирать определенные проекты, которые не несут в себе особой ценности. Например, они идут в продуктовый магазин и на основе рандомизации выбирают, какой напиток купить. Например, будут они пить кока-колу, диетическую колу или диетическую пепси-колу. Это в общем-то не очень интересный рандомизованный эксперимент, но у нас есть огромное количество студентов, которые потому что рандомизация является таким хорошим методом они в общем-то пытаются применить ее в своей повседневной жизни. Мы не хотим задавать вопрос в рандомизованном эксперименте, который бы не имел никакой валидности для социальных наук, для общественных наук или для мер, которые мы впоследствии собираемся применить. Итак, как исследователь я фокусируюсь в последнее время на том, почему студенты добиваются определенных успехов в высшем образовании. В последние годы мы провели несколько экспериментов, и я сегодня остановлюсь на двух из них, и покажу вам, на какие вопросы мы отвечали в этих экспериментах. Для этого я вам скажу несколько слов о системе высшего образования США. Сегодня эта система далеко не идеальна, у нас есть определенные сильные стороны, но есть и слабые стороны. Если посмотреть на последние 4 десятилетия, или даже на более длительный период, мы увидим, что число студентов, которые поступают в колледж увеличилось. И это верно и для студентов очной, и заочной формы обучения. Однако, есть две проблемы: во-первых, несмотря на то, что количество студентов, поступающих в колледж, увеличивается, возрастает разрыв между наиболее обеспеченными и наименее обеспеченными группами населения. И этот разрыв оценивается в 25-30%. Я имею в виду разрыв между наиболее и наименее обеспеченными. Вторая проблема состоит в том, что хотя у нас все больше студентов поступает в колледж, у нас далеко не больше студентов заканчивает колледж. Количество выпускников в США не увеличивается, и на самом деле вчера ОЭСР опубликовала отчет по образованию, в котором США опустились еще ниже (мы раньше занимали 12 место, а сейчас 16) по количеству определенных студентов определенного возраста, которые получают дипломы колледжей. Итак, на следующем графике здесь мы видим показатели поступающих в колледж, и данные приводятся с 94 по 2008 год. Как вы видите, моя выборка распределена, разграничена по 20% в зависимости от дохода. И в каждом из случаев графики возрастают, но, тем не менее, разрыв между беднейшими 40 и богатейшими 20% не снижается, не уменьшается. Мы до сих пор наблюдаем 20-25% разрыв в их посещаемости, в их поступлении в колледж. На этом графике на горизонтальной оси мы видим дату рождения студентов, жирные линии показывают поступления в колледж, и здесь мы видим некоторое улучшение, потому что все больше и больше студентов поступают в колледж, однако линии пунктиром показывают количество студентов, которые получают дипломы колледжа. И вы видите, что верхние вот жирные линии они идут вверх. Здесь вот внизу вы видите надпись, означает, что эти студенты идут в колледж, поступают, ходят туда 1-2 года, а потом их исключают. То есть в США высшие учебные заведения работают таким образом, что если я, допустим, поступил в колледж, я могу год проучился, потом сделать паузу на 2-5-20 лет, а потом заново начать. Итак, вверху мы видим людей, которые поступили в колледж и проучились там 1-2 года, а внизу мы видим пунктиром тех, кто закончил колледж, которые, собственно, получили диплом, и в общем-то отсюда понятно, что у нас есть некоторые проблемы. У нас есть студенты, которые поступают в колледж, но его не заканчивают.

Реплика: Вы уверены, что... поскольку там говорится о бакалаврах... может быть... туда включаются мелкие колледжи...

Э. Беттинджер: Это любое лицо, которое... да вот все эти люди, которые поступали, посещали колледжи, но не закончили их.

Реплика: Это включает двухгодичные образовательные учреждения?

Э. Беттинджер: Ну, это данные переписи населения, и там были вопросы – поступили ли вы в колледж, и второй – получили ли вы какую-то степень или документ об окончании? И эти цифры даны сюда, потому что именно здесь даются данные по 4-х летним университетам. Почему же люди отсеиваются из колледжей, почему они поступают в них и потом бросают? В стандартной экономической модели мы считаем, что каждый раз принимая решение, студент взвешивает ожидаемые выгоды и ожидаемые затраты. То есть каковы выгоды от продолжения учебы, какие выгоды от того, что я брошу учебу? И это не только финансовые выгоды, например, будущая зарплата, но и не денежные – некоторые из них может быть чисто психологические, например. Если посмотреть литературу по этой теме, например, подчеркивается, что когда студенты оказываются в университете, для того, чтобы остаться там, им нужно интегрироваться в это учреждение. И это как бы затраты на обучение, потому что на это нужно время, энергия, может быть, даже они могут страдать от одиночества, и это как бы недостаток, совершенно не в денежном выражении. Сегодня я буду говорить о двух исследовательских вопросах, которые связаны как раз с выгодами и затратами, которые связаны с поступлением и учебой в колледже. Первое – какой эффект сложности, плохой информированности на вероятность того, что студенты будут учиться в колледже, не только посещать занятия, но вообще учиться там. Вы знаете, что в США очень многие студенты платят огромные деньги за образование, и существует система финансовой помощи, организованная правительством США, когда правительство предоставляет субсидии студентам с низкими доходами. Проблема заключается в том, что этот процесс подачи документов на такую помощь очень сложный. Я вам сейчас это покажу. То есть вопрос, если подумать о студенте при принятии решения, студент должен преодолеть эти очень сложные барьеры, заполнить эти сложные государственные формы, а эти формы не только сложны.. и студенты, когда смотрят на них, не представляют, сколько времени потребуется на их заполнение, и студенты думают: «Ну что я буду заполнять эту форму, если преимущества от окончания колледжа не такие уж большие». Так они в конце концов решают – стоит мне вообще заполнять эту форму, и это действительно так по нашим данным. И второй вопрос – так называемая индивидуальная помощь, репетиторство – помогает ли такая форма поддержки оставаться студентом в колледже. Когда студент оказывается в колледже, мы в США считаем, что студент будет знать, как принимать решения о процессе обучения, о выборе лекций для того, чтобы успешно закончить курс, и вот эта программа, о которой я говорю, рассматривает, какие проблемы у студента возникают, когда они не знаю, как это организовать. И может ли помочь индивидуальная программа помощи помочь студентам добиваться успеха. Давайте сначала поговорим о финансовой помощи.

Реплика: Коллеги, просто учитывая, что профессор Беттинджер говорит довольно быстро, и я не уверен, насколько перевод успевает за ним. Есть ли у нас ясность с исследовательскими вопросами? Сейчас можно задать вопросы к исследовательским вопросам, которые сформулировал профессор Беттинджер. Нет такой проблемы? Отлично. Тогда, раз все ясно, можете продолжать.

Э. Беттинджер: Если в какой-то момент у вас возникают вопросы, вы хотите что-то уточнить, пожалуйста, задавайте, независимо на русском или на английском языке. Давайте я поговорю о системе финансовой помощи в США и проблемах, которые, как представляется, мы там имеем. Первая проблема – недостаток информации или неточная информация. Когда говоришь со студентами из бедных семей и спрашиваешь, сколько стоит колледж, очень часто они даже цен не знают. В нашей выборке у нас было примерно 25 тысяч семей с низкими доходом, которые участвовали в нашем обзоре, мы спрашивали, сколько стоит университет там, где вы живете. Мы спрашивали о плате за двухгодичный колледж, который ближе всего к дому. В среднем их прикидки были в 3 раза выше, чем фактическая стоимость. Если подумать о том, как вот студенты думают о затратах и выгодах, если они думают, что затраты в три раза больше, чем по факту, то вряд ли они выберут этот путь – идти в колледж. То есть, значит, одна из проблем в США заключается в том, что очень многие очень неправильно представляют себе стоиомость колледжа. Они думаю, что она намного выше. Вторая проблема заключается в том, что у нас есть такая как бы форма, которую надо заполнить, чтобы получить финансовую помощь, любую финансовую помощь со стороны государства. Это не то, что бумажка... у нас почти... более миллиона студентов, которые, в принципе, могли бы получить помощь, если бы заполнили эту форму, но по какой-то причине они этим не занимаются. Мы никак не можем понять, почему они эти бланки не заполняют. Еще одна проблема – позднее получение информации. Если подумать о любой сделке, когда кто-то что-то хочет купить (машину, например), они знают цену машины, они знают, сколько у них ресурсов и хватит ли их на покупку. В США если вы хотите купить университетское образование, вы обращаетесь в учебное заведение, вы не знаете цену, потому что вы знаете, что какую-то помощь вы получите, или нет, а какую помощь вы получите, вы не знаете в течение 6 месяцев иногда после того, как вы подадите заявку на ее получение. Я вот вам хочу показать картинку, которая иллюстрирует сложность процесса. Вот в начале, в первой колонке, это происходит в ноябре последнего года в школе, они обращаются в колледжи с просьбой принять их. Спустя 3-4 месяца они только могут заполнить запрос на получение финансовой помощи, и эти формы, которые они заполняют, сначала направляются в правительство, обрабатываются, потом спустя месяц правительство направляет письмо в колледж, в котором сообщает колледжу, какую помощь они могут оказать студенту, а студенту они ничего не сообщают при этом. Когда студент получает что-то, они не знают сколько они должны платить. Они получают информацию о том, что правительство считает они могут заплатить, а потом университет решает, какую помощь оказать студенту, и в какой-то момент школа принимает решение - принимать этого студента или нет. То есть начало процесса в ноябре предыдущего года до конца процесса в апреле последнего года в школе, будущие студенты не знают, сколько им придется платить. И вот это позднее получение информации очень важно может оказаться, особенно для тех, кто считает, что учеба может оказаться очень дорогой. Они могут выбрать другой менее интересный путь. Еще четвертая проблема – это пропуск сроков обращения. Для бедных семей обращение за помощью... нужно все документы подать до первого апреля. А мы выясняем, что студенты начинают это делать только в конце мая-июне. И во многих штатах они уже вообще их кандидатуру не рассматривают. И, наконец, сложность заполнения и время заполнения. Я вам сейчас покажу эту форму, она состоит из пяти страниц, 128 вопросов. По сравнению... это семьи с очень низким доходом. Каждый год они так же заполняют налоговую форму, а там в среднем вот эта вот так называемая форма одна страница и всего 37 вопросов. То есть документ налоговый состоит из одной страницы, а на финансовую помощь они заполняют пять страниц. Вот этот документ, который они должны заполнить, чтобы получить финансовую помощь. Тут еще инструкции нету. Семьи с низким доходом смотрят на вот эту форму и закрывают глаза и говорят: нет, нет, нет. Несколько месяцев назад я летел на самолете рядом с человеком, который получил степень доктора в технических науках, и они отправляли детей в колледж как раз. И он сказал, что все его образования было только-только достаточно, чтобы заполнить все эти формы. Примерно 70% информации, которая нужна для заполнения этой формы, это то, что у вас и так есть в налоговых документах. В США каждый человек должен заполнять эти налоговые документы, и 70% информации, необходимой для заполнения документа на финансовую помощь, берется из этих налоговых форм. Но многие семьи почему-то не готовы заполнять эти формы, им нужна помощь. Поэтому большинство семей с низкими доходами нанимают профессионального консультанта по налогам для заполнения налоговых документов. Мы пытались, наша программа пыталась найти организацию, и нашли такую организацию, которая помогает бедным семьям с заполнением налоговых форм, это коммерческая организация, они деньги на этом зарабатывают. А мы попытались разработать такую программу, которая бы из налоговых документов автоматически переносила данные в форму на получение помощи. И это значительно упрощало дело - на 70% документы были заполнены с использованием этой программы. И дальше с помощью своего консультанта они могли очень быстро заполнить остальные 30%. Обычно на такой документ уходило два с лишним часа, а мы успевали сделать это за несколько минут, с помощью нашей программы. Кроме того мы хотели упростить процесс. Вместо того, чтобы заходить на какой-то сайт, мы за них это делали, и наконец, кроме того, мы давали им корректную, точную информацию о стоимости обучения в колледже в их районе. Но чтобы дать вам представление о том, что мы делали, вот процесс нашего эксперимента рандомизированного. Человек приходит в офис, и налоговый консультант помогает ему заполнить налоговую форму, как всегда. Дальше программа смотрит, могут ли они рассчитывать на государственную поддержку для обучение в университете. Мы задавали ми несколько вопросов, если это было так, в том числе – «как вы думаете, сколько стоит колледж?» В этот момент мы по случайной выборке отбирали людей для участия в нашем эксперименте. У нас компьютер по случайной выборке отправлял наших людей в три категории. Первая экспериментальная группа – в этой группе мы помогали им с заполнением формы, обеспечивали им помощь с этим, давали им точную информацию и помогали подать эту форму. Вторая экспериментальная группа – мы не помогали им заполнять форму. В тот момент некоторые политики США считали, что лучший выход из этой проблемы – просто давать людям информацию. Если бы мы им сказали, сколько они получат в форме финансовой поддержки, то может они и сами заполнят. Вот поэтому вторая экспериментальная группа, мы не помогали им заполнять формы, мы только говорили, сколько они могут рассчитывать получить от государства и сколько будет стоить учеба в колледже. Посмотреть, будут они заполнять или нет. И, наконец, третья группа была контрольная группа, там мы им вообще никакой помощи не давали. Мы давали им очень простой буклет, в котором говорилось: «пожалуйста, приходите в колледж». Это давалось и так всем. В первой экспериментальной группе... вот список того, с чем мы им помогали. Мы брали информацию, которая уже была в налоговых документах, и автоматически переводили ее в документы на финансовую помощь, потом у нас было интервью с этими людьми, потом мы рассчитывали, сколько, учитывая их доход, они конкретно могут получить в качестве помощи, и сравнивали это с тем, сколько стоит учеба в колледже, ближайшем к их дому. И, наконец, от их имени мы подавали все документы на получение помощи. Вторая контрольная группа – мы делали все, кроме заполнения формы. Только давали информацию. Вот интересные результаты, их три. На самом деле я буду говорить о двух, по третьему я только скажу результат. Первое – вероятность заполнения форм. Заполнив форму, их надо отправить в департамент образования. Мы сравнивали нашу базу данных с их. То есть мы могли четко отследить, кто из наших участников реально подал документы. Как в контрольной группе, так и в экспериментальных. В США есть организация, которая называется «Клиринговый дом студентов». И 92% колледжей США дают информацию о том, кто у них учится и в какое время, и мы попросили эту организацию дать нам историю учебы в колледже всех наших участников. В том числе, учились ли они в колледже до эксперимента, и после эксперимента. В типичном докладе, когда я говорю о рандомизированных экспериментах, хорошее дело с рандомизацией заключается в том, что в самом начале контрольные группы, экспериментальные группы должны выглядеть одинаково. В интересах экономии времени я не хотел говорить о сложных вопросах и показывать сложные слайды, но средняя характеристика наших потенциальных студентов в контрольной группе и в экспериментальных группах были практически идентичны. То есть судя по всему наша случайная выборка оказалась успешной. И вот я вам покажу результат маленькой выборки порядка 800 студентов. В другой части эксперимента у нас было еще порядка 10 000, равным образом распределенных на экспериментальные и контрольные группы. Вот первый результат. Результат заключается в том – подали ли они документы на помощь или нет. И в этом случае в контрольной группе... то есть 40% населения подавали документы на финансовую помощь. Вот первая строка – это результат, когда мы подавали помощь. И это повышалось на 15-16 процентных пунктов, это очень большой рост. Здесь мы дополняли во второй колонке кое-какие варианты, и данные не менялись, результаты не менялись. А вот вторая линия - это группа, в которой мы давали только информацию. Мы говорили, сколько денег они могут получить, сколько они должны потратить на учебу, и что если они хотят идти в колледж, то они должны заполнить эту форму. И мы выяснили, что статистически значимого соотношения.... на самом деле даже результат негативный, то есть они на процент с меньшей вероятностью будут заполнять эти формы. То есть просто информирование потенциальных студентов никакого результата не давало. Могло быть конечно время предоставления информации иметь значение, потому что как я вам говорил, что этот процент надо начинать в ноябре, заканчивать в апреле, а с нами они связывались в феврале-марте. В этот момент мы им давали информацию, может это было уже поздновато. Но похоже, что никакого эффекта там не было. Единственное, кому это помогло это студентам, которые мы видели.. когда мы давали помощь с заполнением документов. Вот еще две выборки, так называемые независимые студенты. В США становится все более распространенной системой, что когда вы оказываетесь в колледже в первый день, есть там люди, которые только что из школы пришли, но есть еще и довольно много студентов, которым от 24 до 30 лет, которые вернулись после перерыва, либо только первый раз поступили в колледж. Я называю их независимыми студентами. В нашем случае контрольная группа всего 14% из них заполнили форму, а в экспериментальной группе 40% заполнили. То есть рост на 186%. Кроме того были независимые студенты, которые раньше учились в колледже, и там в результате нашей помощи 58% больше студентов заполняли форму. Как я раньше вам сказал, тут вопрос, когда это происходит. Надо успеть в срок. И мы оказывали помощь за месяц до этого срока школьникам, и за 3 месяца тем, кто уже кончил школу. Среди студентов, которые только что закончили школу, контрольная группа – среднее количество подач - было примерно.... 27% из них пошли учиться через год. А если б мы им помогли, когда мы помогали с нашей формой, то вот, вы видите, примерно на 25% повышалась вероятность того, что они будут учиться в колледже. Всего-то за счет того, что мы провели с ними 8 минут. По-другому можно посмотреть на эти цифры тоже – не с точки зрения того, пошли они в колледж или нет, а с точки зрения получили они или нет деньги от государства. Получили ли они финансовую помощь показано во второй колонке. Вместо 30%, в экспериментальной группе получило помощь 40%. В среднем, в экспериментальной группе получали более солидную финансовую помощь. Кто-то нам сказал: «у вас что-то не так в эксперименте, у вас там нет погрешности». Причина, почему не было погрешности, потому что, как правило, студент должен заполнять формы, и очень часто они просто ошибки делают. А мы ошибок не делали, потому что это автоматически переносилось, поэтому вот таких ошибок не было. И, наконец, в качестве подведения итога этого эксперимента, когда мы помогали будущим студентам заполнять форму на государственную помощь, зачисление в колледж появлялось на примерно 34%, это очень большой результат. И на самом деле, когда в 2008 году проходили выборы, президент Обама оппонировал Джону Маккейну, и оба они воспользовались вот этой помощью, сказали, что они выберут такую программу для дальнейшего развития высшего образования. Так что даже если бы Обама не выиграл, а выиграл Джон Маккейн, то они все равно реализовывали бы сейчас эту программу. И президент Обама действительно пытается ее реализовать. Что касается более старших студентов, так называемых независимых, мы тоже обнаружили, что на 21% росла вероятность, что они пойдут в колледж. Если подумать, в самом начале я говорил о проблемах – сложная форма, плохая информация, недостаточная информация, поздняя информация, и как я сказал – всего 8 минут на человека мы тратили, очень мало людей отказывались участвовать в эксперименте, у нас очень выросла вероятность заполнения формы, зачисление в колледжи увеличилось, и что еще важно, я не показал это вам, мы следим за этими студентами в течение 3-х лет уже, и очень важно, что этот эффект остается. Они с большей вероятностью остаются, не отсеиваются из колледжа. И кроме того, они получили большую помощь. То есть упрощение и помощь в оказании финансовой помощи – высоко поднимают вероятность того, что студенты потом будут учиться в колежде. А просто предоставление информации своевременной вряд ли поможет с этим. Итак, в то время, которое у нас осталось, давайте перейдем ко второму исследованию, результаты которого я хотел бы освятить здесь. Это так называемый коучинг (coaching). Что же такое коучинг? Это индивидуальным образом подобранное обучение, когда студент поступает в колледж, и коуч или ментор звонит ему по телефону и разговаривает с ним о том, какие занятия он хотел бы посещать, какие предметы он будет изучать, как он будет учиться, и коуч пытается выяснить, за счет чего студент собирается добиться успеха. Есть очень много причин, по которым студент, который поступил в колледж, может не добиться успеха. Они могут не знать, как учиться, они могут не уметь распределять свое время, они, может быть, хотят откладывать все на потом и готовиться только к тестам и экзаменам. И коуч таким образом пытается помочь каждому конкретному студенту справиться с его заданиями. Однажды мне пришлось послушать, как коуч разговаривает со студентом. И студент на самом деле не очень-то хотел разговаривать с коучем, а коуч начал задавать вопросы, и наконец-то, студент решил все-таки послушать, что ему хочет сказать коуч. И получилось так, что оказалось, что студенту нужно было очень много читать для своих занятий, а студент не знал, как с этим справиться и вообще, где ему читать, и приблизительно через 30 минут после этого разговора студент решил, что каждый четверг он будет выделять 2 часа днем и будет садиться в библиотеке и читать, что ему задали, и по мере того, как он читает, он будет делать конспект того, что он прочитал, и коуч с ним обсудил, что значит делать конспекты, и как он должен их запоминать, и вот это вот как раз пример того, как у студентов с помощью коучей вырабатываются навыки учебы. Группа, которая предоставляет услуги коучинга, это в некотором роде... группа, которая называется «Инсайд трак» («Inside track»), они не являются подразделением колледжа, они сторонняя организация, и колледж их нанимает для работы со студентами, и они предоставляют свои услуги приблизительно 250 тысячам студентов за последнее десятилетие. Они являются партнерами многих институтов. Очень важно так же то, что в эксперименте мы работаем с узкой группой. Например, для прошлого эксперимента, когда мы показывали результаты семей с низким уровнем дохода, я не уверен, что те же самые результаты будут валидны для семей с высоким уровнем дохода. Однако, данная вот коучинговая услуга она распространяется как на студентов младших курсов, так и на студентов старших курсов. Я не знаю, как, собственно, они организуют свою работу в компании «Инсайд трак», я просто хочу подчеркнуть еще раз тот момент, что это сторонняя организация. И если у них спросить, почему они, за счет чего они добиваются успеха, почему они считают, что они добиваются успеха, они делают очень много всего – во-первых, они очень тщательно подходят к подбору персонала, они очень много времени проводят на собеседованиях, они стараются найти коуча, который будет способен разговаривать с любым человеком, очень коммуникативного человека. Во-вторых, у них есть определенный набор софта – программных продуктов, которые помогают им работать. И эта программа помогает коучу устанавливать контакт со студентом и подсказывать, что нужно говорить студенту. В некоторых случаях компьютерные программы способны связываться.. ну, они совместимы с программами, которые используются в колледже, и таким образом коуч может отслеживать, ходит ли студент на занятия, выполняет ли он домашнюю работу, и таким образом у него появляются данные об этом, и он может об этом говорить со студентом. И еще, коучинг – это активный процесс, а не пассивный. И часто студент в США идет в колледж, но если у него возникают там проблемы, у нас есть определенный набор ресурсов, который может ему помочь, но студент должен найти эти ресурсы, он должен найти человека, который будет с ним разговаривать, а вот коучинг как раз дает им такого человека. Потому что коуч сам звонит студенту, студент не должен бегать по колледжу в поисках такого человека. И поэтому мы считаем, что подобный подход, он успешен. Еще интересно в отношении компании «Инсайд трак» является то, что они понимают, что из некоторых учебных заведений они могут получить большое количество финансирования, поэтому они должны все время подтверждать, что они успешны. И, например, если им колледж предлагает провести коучинг для 500 студентов, а они сначала говорят колледжу – давайте вы выберете тысячу студентов, мы предоставим сервис 500 студентам, и посмотрим, как их показатели сравниваются с теми пятистами, которые не участвовали. В период с 2004 по 2007 год «Инсайд трак» провел 17 экспериментов. Вот, собственно, некоторые данные по ним. Эти картинки очень легко понять. На них очень легко понять, как работает рандомизация. Здесь красная линия – это контрольная группа, а синяя линия – это экспериментальная группа. И вот распределение по возрасту. Вы можете видеть, что в общем-то разница небольшая. Есть некоторая разница в группе студентов около 80 лет, ну то есть где-то они попались, где-то нет. ЭсЭйТи (SAT) - это экзамены, которые сдают студенты при поступлении в колледж. И если посмотреть на их данные по контрольной группе, экспериментальной группе, то опять же здесь, в общем-то, приблизительно одинаковая ситуация. Этот график демонстрирует результаты выпускных экзаменов из старшей школы. Когда студенты заканчивают определенный курс, они получают оценку по 4-х бальной шкале, где 4 – это лучшая оценка, а 0 – это худшая оценка. И вот это средневзвешенные показатели по всем баллам, которые получают выпускники старших школ. И здесь так же очень важно отметить, что и в экспериментальной, и в контрольной группе результаты, в принципе, одинаковые. Собственно, мы этого и ожидали от наших экспериментов. А здесь каждая строка показывает определенную лотерею. То есть у нас здесь 17 лотерей, и мы здесь отслеживали определенные характеристики студентов, которые у нас участвовали в этой выборке. Либо 2, либо 3 показателя. Мы сравнивали эти характеристики для экспериментальной и контрольной группы. И для рандомизированных экспериментов разница должна быть очень несущественная. Мы действительно должны были стараться найти определенные различия между нашими подопытными. У нас было около 78 характеристик из различных выборок, и мы только нашли одну разницу, одно различие, которое имело бы статистическую релевантность. Если у нас было бы 100 характеристик, я бы сказал с 90% вероятностью, что мы бы, наверное, нашли около 10 различий. Но у нас было 78, и нашли мы одну разницу. Поэтому мы считаем, что рандомизация на самом деле работает, и что мы проводили эксперимент правильно. Что показывают эти цифры. Эти цифры говорят нам о том, что эти показатели в среднем ниже, чем по общим показателям в США. 6 месяцев студенты учились в колледже, и из контрольной группы 60% все еще оставалось в колледже, но если они получали коучинг, то эти показатели увеличивались на 5 процентных пунктов. Через 12 месяцев после поступления в колледж, в колледже оставалось 43,5%, опять же показатель на 5% улучшается по отношению к контрольной группе. И если коуч больше не звонит этому студенту или не помогает ему, за следующие полгода этот студент предоставлен сам себе, но если мы посмотрим на результаты 18 месяцев, то мы увидим, что 29% все равно там остались, и это на 4% больше, чем те, кто не получал услуги коучинга. То есть получается, что студенты добиваются лучших результатов в колледже, и этот эффект коучинга, он долгосрочный, он сохраняется, даже если им больше эти услуги не предоставляются. В трех из наших лотерей мы смогли проследить, получают ли в конечном итоге студенты диплом колледжа. И в контрольной группе около 30% получили диплом. И это на 4% выше, чем в среднем. И это статистически важный результат. Потому что, как правило, мы говорим о 4-х летнем обучении, но мы, в общем-то, останавливаем наши программы на 2-х... приостанавливаем наблюдения на 2-х летнем периоде.

Реплика: Значит, различие между контрольной... Значит, заканчивало 35%, да?

Э. Беттинджер: Да. Во всех этих трех группах. Надо помнить, что в среднем в США ВУЗ заканчивают порядка 45% населения, а в этой группе оно пониже, потому что если вы вспомните распределение по возрасту, у нас было довольно много старших студентов, а те, кто идет в колледж в возрасте лет им очень трудно закончить, потому что у них работа, дети, и очень часто они бросают, так что 31% для этой группы - достаточно хороший процент. А в экспериментальной группе с коучингом, это повышается до 35%. Итак, для суммирования итогов этого эксперимента, так называемый относительный эффект 8-9% выше после 6 месяцев, 12% после 12 месяцев, а после окончания программы 12% увеличение остается и на следующий год, и вплоть до выпуска. Еще пару слайдов для того, чтобы завершить. Вот я рассказал про два эксперимента. Что я хочу подчеркнуть? Я на самом деле думал, может быть вместо рандомизированного эксперимента поговорить о бихевиоральной компоненте. Так что интересно, что в этих экспериментах очень важен бихевиористический компонент, Есть такая известная книжка, ее написал Ричард Тейлор пару лет назад, она называется «Толчок» («Nudge»). И идея в том, что очень часто в каком-то обществе что-то не срабатывает, например, в США, если нужно заполнить сложный документ для поступления в колледж, то если вам нужна какая-то в этом помощь, то надо пойти и добиться, чтобы ее дали, а в этом эксперименте мы поменяли систему – вместо необходимости заполнить форму, мы сделали ее проще, то есть мы как бы немножко подтолкнули студентов к тому, чтобы поступить в колледж. Мы им сказали: «слушай, ну ты же можешь позволить себе это». И они откликнулись. В коучинге мы тоже как бы студентам дали небольшой толчок. Эти коучи – репетиторы – звонили им и говорили: «ну давай, ну у тебя проблемы, но ты можешь их преодолеть». И вот этот небольшой толчок, который получали неуспешные студенты привел к тому, что вероятность завершения ими курса повысилась. И вот последний слайд, в порядке подведения итогов. Упрощение формы помощи на 20-25% увеличило поступление в колледж. Мы не довели еще эту группу до окончания ВУЗа, поэтому не знаем, сколько из них получит степень. То есть, США, например, каждый год примерно 6 млн людей обращаются на сайты, которые помогают бесплатную помощь с налогами. А в 2013 году администрация Обамы предоставит бесплатный программный продукт всем 6 млн людей, которым он необходим. И, наконец, во втором случае посещаемость улучшилась. То есть оба эксперимента показали, что можно не только увеличить число студентов, поступающих в колледж, но и увеличить вероятность того, что они его закончат. Жду от вас комментариев. Спасибо за то, что вы меня слушали.

: Спасибо, Эрик. И мы можем сначала задать вопросы, а потом попросим дискуссантов выступить, а потом будут все остальные выступать. Пожалуйста, какие есть вопросы. Можно спрашивать и про содержание, и про метод. Так, пожалуйста. Только включайте микрофон и говорите, если можно медленно.

: Казаренкова Татьяна, Российский университет дружбы народов. У меня такой вопрос: Вы очень интересно представили эксперимент привлечения коучей в колледж. То есть я понимаю, это очень успешный эксперимент, но вопрос вот в чем – в России институт коучинга в основном связан с управленческими решениями, то есть коуча имеют возможность пригласить на работу чаще всего состоятельные компании. Как Вы представляете вот в российской действительности, чтобы в ВУЗе развивать этот институт? Это должен быть новый институт коучей, которые специализируются в системе высшего образования, потому что консультировать управленца и его среду жизнедеятельности для принятия решения...

Реплика: Татьяна, извините, вопрос – как коучинг развивать в России? Вы про это спрашиваете?

: Я хотела спросить, есть ли особенность в привлечении коучинга в ВУЗ?

Реплика: Есть ли в США особенности привлечения... ну, в использовании модели коучинга в бизнесе и в образовании?

: Да, потому что студенты и управленцы – это... Спасибо.

Э. Беттинджер: Можно сразу несколько вопросов.

: Еще несколько вопросов зададим. Пожалуйста.

Реплика: У меня вопрос на понимание: можно ли это называть не экспериментом, а называть оценкой эффективности тех или иных сервисов? В первом случае – информационная, во втором случае – помощь в выработке образовательных траекторий. То есть другими словами – эксперимента нет, есть вопрос: насколько эффективна та или иная методика?

: Есть вопрос такой: собственно говоря, вот как видно из сообщения, система колледжей в США характеризуется очень большим уходом людей из колледжа, добровольным уходом людей из колледжа. И как вот Вы считаете, насколько это связано с системой... с тем, что люди ожидают очень жесткой оценки на выходе, очень такого серьезного фильтра на выходе в виде экзаменов, в виде некоторых окончательных испытаний или это связано с какими-то другими реалиями? Почему я спрашиваю... Вы сослались на пример России, где уровень drop-out’ов в колледжах достаточно низкий. Но в России практически отсутствует добровольный уход из учебных заведений. У нас drop-out насильственный как бы, это результат того, что человек пытался сдать экзамены и не сдал, и он готов был бы продолжать обучение, но мы ему административно не позволяем продолжать обучение, если у него есть две или три неудовлетворительных оценки, и он не смог их пересдать. То есть это совершенно разное отношение учащихся, в отношениях студентов к обучению. С одной стороны, очень высокий уровень добровольного ухода, так называемое бросание колледжа, с другой – стремление удерживаться в колледже до последнего и покидание в России колледжа происходит только благодаря административному решению. Я вот так долго спрашиваю для того, чтобы понять, насколько та система, назовем ее системой проводника с целью выбора оптимальной образовательной траектории - она реально может помочь в других институциональных условиях. Понятно, что довольно сложно отвечать на такие вопросы в общем виде, без каких-то исследований. В данном случае имею в виду вашу экспертную оценку скорее, чем какой-то обоснованный вывод.

Владимир Гимпельсон, Высшая школа экономики. Прежде всего, спасибо за очень интересную презентацию, у меня два вопроса, касающиеся больше методологических аспектов или связанных с методологическими.

Первый вопрос такой. Наверняка эти же сюжеты изучались в Соединенных Штатах с помощью традиционных observational studies. Что эксперименты по существу добавили по сравнению… Я понимаю, что observational studies – там проблема эндогенности, которая тяжело решается, это что-то изменило или нет?

Второй вопрос – могли бы вы привести какие-то еще примеры экспериментов, рандомизированных экспериментов в этой области, для нас это дело новое, поэтому для эрудиции нам, наверное, было бы интересно.

И третий вопрос – какие существуют вопросы исследовательские в этой области, которые, по-вашему мнению, нельзя решить никаким способом, кроме как через эксперимент. Спасибо.

Э. Беттинджер: Ну, я начну с вопроса о коучинге – репетиторстве и как он может отличаться в университетах от бизнеса. Эти репетиторы – это люди, которые добились больших успехов в колледже. Я считаю, что самый хороший репетитор – это как человек, который хочет стать писателем, но не успел еще опубликоваться, и пока они ждут публикаций, они хотят найти работу, опыт их заключается в том, как добиться успеха в колледже. От них требуется совершенно другой опыт по сравнению с бизнесом. Допустим, проблемы у начинающего менеджера заключаются в том, как работать с людьми, как добиваться успехов в корпоративном мире, все эти потребности отличаются от проблем студента, который не знает, как учиться, и ему необходимо научиться более хорошо учиться, и репетиторы помогают им справиться с трудностями при обучении, это и контекст другой и навыки им необходимы другие.

Почему они добились успеха как коммерческая компания? Мы в США больше и больше оцениваем университеты по числу закончивших студентов. В некоторые многие поступают, но немногие их кончают, а в некоторых происходит наоборот, и в некоторых Штатах субсидии университетам не дают, если они не обеспечивают себе определенный процент окончивших студентов, поэтому для университетов очень важно повышать эту цифру. И подобные организации, с учетом этих новых требований, воспользовались тем, что школы готовы заплатить кому-то деньги, чтобы им помогли добиться снижения числа отчислений. И еще один интересный пункт - услуги, которые предоставляются такими репетиторами… в каком-то смысле для школы это роскошь, мы знаем об этом, потому что сейчас, когда наступила рецессия, такие услуги первые отбрасываются, поскольку университетам приходится сокращать бюджеты. За последние 2 года с США такие услуги помощи отстающим студентам очень сильно сократились. Так что интересно, что хотя подобное репетиторство - помощь успеха, но как раз в тот момент, когда нужно добиться повышения количества оканчивающих студентов, они отброшены.

Следующий вопрос, эксперимент о траекториях или эксперимент об услугах. Конечно, этот эксперимент касался предоставления услуг. Дело в том, что в США, если подумать о затратах вузов, я как раз сейчас сказал, что деньги на такие услуги сокращаются, а пару десятилетий назад мы тратили все больше и больше денег на студентов, предоставляя им индивидуальные услуги - например, репетиторы, посреднические центры, куда студенты могут обратиться, когда у них есть проблемы в математике или в письме, и кто-то им будет оказывать индивидуальную помощь. На эти программы тратилось все больше и больше денег. И это первый рандомизированный эксперимент позволил нам что-то узнать о том, как они предоставляются, учитывая те затраты, которые университеты тратят на индивидуальные услуги.

Мы подумали, что подобный эксперимент будет интересен. Я думаю, что было бы интересно рандомизированным образом отобрать траектории. Например, у нас в США есть двухлетние колледжи. Студенты поступают туда и потом надеются поступить в четырехлетний колледж, а это совершенно другая траектория по сравнению со студентами, которые сразу идут в университет четырехлетний. Но сейчас рандомизированных экспериментов не проводилось в этой области, даже методами наблюдения эти вопросы не рассматривались практически. Спасибо за все вопросы, но особенно спасибо за вопрос о различиях ситуаций, что некоторые студенты бросают университет, потому что они не готовы там учиться и бросают его сами, по своему усмотрению. Это совсем иная ситуация по сравнению с теми, кто хочет поступить, но не может учиться, не справляется с учебой, которого отчисляют. В США отчисления в основном добровольные, и оказывается, что на первом году обучения отсев самый большой. Второй - следующий по количеству отсева, и тогда отсеиваются в основном студенты, и проблема здесь не в экзаменах, а в том, что по той или иной причине студенты не хотят больше учиться. Если подумать о тех, кого отчисляют потому, что они не справляются с учебой, я как раз именно сегодня подал заявку на грант «Проведение рандомизированного эксперимента с репетиторством» в таких вузах, где у студентов возникают проблемы с учебой и их ставят в положение, когда, если они не повышают качество своих отметок, их отчисляют. И вот именно таким студентам будет предоставляться помощь и будут проведены исследования о том, поможет ли эта помощь задержаться в университетах или нет. Т. е. такая вот репетиторская помощь - как раз мы будем проверять, может ли репетиторская помощь помочь таким студентам. Вопрос о методике – давайте поменяем порядок. Очень популярная область сервиса в области образования, есть организация MDRC - они проводят так называемые эксперименты с открытыми дверьми, например, в штате Огайо во многих маленьких колледжах стали предоставлять стимулы для того, чтобы студенты успешно закончили программу колледжа. Допустим, за успешную сдачу экзаменов за первый семестр, они получают дополнительную помощь или помощь, которая им оказывается, зависит от того, насколько они хорошо учатся. Кроме того, их обязуют регулярно встречаться с репетиторами. В штате Луизиана проводилось исследование, где матерям-одиночкам, которым было 20 с лишним лет, предоставлялись дополнительные финансовые возможности, если они каждый год встречались с консультантом, который помог бы им вернуться в колледж. В обоих случаях такая помощь по данным эксперимента, помогала людям вернуться в колледж. Но после того как студентам перестали платить деньги за успех, люди перестают добиваться успехов и бросают университет.

В районе Нью-Йорка тоже проводятся эксперименты по оказанию подобных услуг и в год должно быть опубликовано довольно много работ по этому поводу. В социологии обучения проводились интересные эксперименты, в частности, в США есть популярная программа, называется «Сообщество учащихся», когда студенты поступают в колледж, первокурсников собирают и они живут в одном месте, поощряется их каждодневное общение друг с другом, посещение одних и тех же лекций. Идея в том, что если первокурсники будут обмениваться опытом, они будут помогать друг другу, помогать друг другу добиваться успеха. Студенты, которые в первый год проходят такие программы с большей вероятностью доходят до конца колледжа, чем если бы они учились по одиночке.

Очень интересный вопрос о том, когда совершенно необходимы рандомизированные эксперименты. Как правило, задают противоположный вопрос: в каких случаях невозможно воспользоваться этими методами? А в ответ на ваш вопрос, наверное, такой острой потребности проводить рандомизированные эксперименты по случайной выборке – особенно таких ситуаций нет, но рандомизированные эксперименты, случайные выборки позволяют таким образом отобрать и провести исследование, которое исключает необъективность подхода, потому что в рандомизированных экспериментах часто случается, что провести измерение, четко обозначить задачи и четко на них ответить намного проще, чем в обзервационных, наблюдательных экспериментах. Например, в эксперименте по финансовой помощи я пытался пользоваться естественным экспериментом, естественной вариативностью. Но у меня ничего не получилось. Может быть, просто вопрос в том, что нужен более творческий подход. Конечно, всегда можно подходить более творчески, чем мы это делаем, но интересно, что во многих случаях, когда мы проводим рандомизированный эксперимент, по сравнению с наблюдением… в хороших экспериментах с наблюдением очень часто результаты похожи на те, которые дает рандомизированный эксперимент. Проблема в том, что очень трудно сказать, хорошо вы проводите наблюдение или плохо, необъективно, неадекватно. Были опубликованы данные, когда, допустим, сравнивали группу детей из бедных семей с детьми из средних семей. Но это неправильно, потому что, например, в бедных семьях в принципе перспектива успеха ниже, чем в среднем по стране. И если проводить наблюдение таким образом, то они дают необъективные данные, а очень часто именно их результаты публикуют такие организации, как «Нью-Йорк Таймс», например, и в результате у общественности складывается искаженное представление об исследованиях. К сожалению, журналисты очень часто не могут разобраться, какие эксперименты достаточно строгие, какие нет. В этом плане рандомизированный эксперимент намного лучше, хотя очень часто во многих ситуациях их просто невозможно провести, в частности, например, с точки зрения наблюдения очень часто сравнительные эксперименты бывают успешны, но у них бывают очень маленькие выборки, например, т. е. мы не можем проводить сравнение, есть еще такая проблема.

: Можно, я продолжу вопрос Владимира Ефимовича, все-таки, я его заострю, потому что рандомизированные эксперименты, особенно два представленных эксперимента, оба они в некотором смысле очевидны. Понятно, что если легче заполнить форму на финансовую помощь, то ее больше людей будет заполнять и, соответственно, больше получать. И зачем узнавать, насколько их будет больше. Это очевидно. Тем более что тратится всего 8 минут. То же самое касается вот этих коучеров. Хотя здесь более тонкая вещь. Считаете ли вы эти результаты, что комплишн-рейт повысилась, там, на 4 %, достаточно ли для того, чтобы считать, что это имеет позитивный эффект? Может быть, на этом примере вы как раз и сможете доказать, что эксперименты важны, если университеты приняли решение вот такое? Поскольку это всего 4 %, а стоит очень дорого, то мы не будем платить этой компании «inside track». В противном случае, если же они говорят: ОК, это повысилось на 4 %, значит, мы не зря вложили деньги. Но это и так было понятно, что немножко это должно повысить, раз мы со студентами, тем более есть какие-то истории про то, как он пошел и читал потом 2 часа в библиотеке, и т. д. Т. е. в более жесткой форме я бы сформулировал тот же самый вопрос, потому что он для нас практически важен. В нашей социальной образовательной политике мы практически не используем для доказательств эксперименты. Они иногда используются на очень как-то несблансированных выборках в педагогический экспериментах, типа, в одном классе изучали такой-то предмет, в другом не изучали, и потом изучали, – что в контрольном того предмета не знают в классе. Но в целом, все-таки, на этих двух примерах можно еще раз показать, почему здесь использование эксперимента было принципиальным, а не действительно просто observational study.

Реплика: Я бы хотела чуть-чуть поподробнее спросить о тех экспериментах, о которых рассказывал профессор Беттинджер. Как известно, можно подвести верблюда к воде, но нельзя заставить его напиться. Т. е. несмотря на то, что вы рандомизировали отбор в контрольных группах ваших экспериментов, все равно участие в той или иной программе всегда остается добровольным. И те, кто участвует в программах, это обычно лучше студенты, а те, кто наиболее нуждается, это, наоборот, слабые студенты, плохие студенты, они как раз в силу того, что они не хотят участвовать, они этого, в общем, воздействия не получают. Каким образом вы это в вашем эксперименте как-то учитывали, когда рассчитывали ваши результаты, или в вашем эксперименте участие было обязательным? Но вряд ли оно было обязательным, как мне кажется.

: И третий вопрос – Мартин, и мы попросим ….

Реплика. Я просто хотел сделать комментарий

: Мы сейчас собираем вопросы, извините.

Реплика: Но у меня комментарий по поводу того, что сказал Ярослав Иванович. У меня очень короткий комментарий. Я просто хотел сказать, что в этих экспериментах мы не знаем, почему студенты уходят из колледжа, но предположение в отношении коучинга состоит в том, что они уходят потому, что они не могут справиться с материалом, т. е. это в какой-то степени академическое решение, оно не зависит от психологических параметров или еще от чего-то, поэтому, я думаю, оно будет абсолютно параллельно тем, кого исключают по административным параметрам. Т. е. студенты уходят, потому что они не могут справиться с материалом, поэтому коучинг – это метод воздействия именно на эту проблему, на проблему, что студенты просто не могут справиться с материалом, а не еще на какие-то проблемы, поэтому в этом случае разница между Америкой и Россией очень существенна….

Э. Беттинджер: Итак, мне приятно, что вы заостряете внимание на необходимости рандомизированных экспериментов. В случае с услугами, которые мы предоставляем студентам, мы часто понимаем, что у нас недостаточно баз данных в США, которые помогают нам выявить определенных студентов. Одни студенты используют определенные услуги, а другие не используют. Мы можем использовать некоторый метод склонности, но часто студенты и их успеваемость так очевидно зависят от того, пользуются они определенной услугой или нет, что нам не обязательно, собственно, находить их близнецами. В данных, которые у нас есть, об услугах, которыми пользуются студенты, мы часто не можем определить, какой собственно услугой они пользовались. Возможно, эта услуга не была абсолютно никаким коучингом или никакими сообществами обучения, возможно, они я не знаю, они обратились к какому-нибудь советнику или еще получили какую-то помощь, потому что спектр услуг достаточно широк и у нас в этом отношении нет реальной базы данных.

Альтернативой для рандомизированных экспериментов, возможно, было бы составление общей базы данных для этих студентов и выявление какой-то группы студентов, которую можно между собой сравнивать, но здесь есть определенные сложности, потому что вузы не всегда нам дадут эти данные, и не всегда эти данные будут отражать собственно, кто использует эти услуги и кто нет. Соответственно, будет сложно проводить самим этот эксперимент.

Я на самом деле считаю, что важный момент здесь вот в чем. Если вы подумаете об одном из уроков, которые мы извлекли из эксперимента с формой на получение финансовой помощи, конечно, очевидно, что если мы помогаем людям заполнять форму, они заполняют эту форму и получают помощь, но, например, когда мы предоставляем информацию, мы им говорим: «Смотрите, вы можете получить деньги», но они тем не менее не бегут заполнять форму. Конечно, это в человеческой натуре, откладывать все на потом. И, знаете, мне надо завтра читать лекцию, и сегодня где-нибудь между 11 и часом ночи я закончу эту лекцию, т. е. я откладываю все на последний момент. И студенты тоже откладываю все на последний момент. Знаете, я сейчас преподаю студентам, и у меня много студентов, у которых есть домашнее задание, и я поставлю сколько угодно денег, если я сейчас пойду спрашивать, сколько они сделали, я узнаю, что большинство студентов еще вообще и не начали ничем заниматься и они все оставят на потом. И еще среди результатов нашего исследования есть вот какой вывод: для студентов есть еще какие-то услуги, которые будут являться толчком, который подтолкнет их к тому, чтобы закончить определенные процессы, собственно, наша задача – выявить, как этот откладывание на потом также связано с успехом. Еще, кроме всего, необходимо учитывать, скажем, экономическую обоснованность. Мы не проводили полный анализ стоимости и выгоды, которую получают студенты, и зависит ли их зарплата в дальнейшем от того, получили ли они дополнительное образование, и т. д. Т. е. покрыли ли они стоимость образования, но однако мы сравнили разные программы, так называемую программу, которая называется «Программа помощи», которая предоставляется как федеральным правительством США, так и правительствами штатов. И во всех случаях получается, что если я плачу студенту 1000 долларов в качестве финансовой помощи, вероятность того, что они на следующий год не уйдут из колледжа увеличивается где-то на 3 %, и вся программа поддержки высшего образования США – она предоставляется в виде этой материальной помощи, и она рассчитана на то, что на 3 % больше студентов останется в колледже. Коучинг стоит приблизительно 1000 долларов на год на студентов, а рост получается на 5 %. Если мы выйдем за пределы этих параметров, мы поймем, что необходимо каждый год платить 1000 долларов, чтобы на 3 % студентов больше осталось в колледже. И если мы заплатим эти 1000 долларов, мы все равно получим этот результат. Это не то чтобы полный анализ стоимости издержек, но получается, что стоимость подобного вмешательства по отношению к мерам, которые мы принимаем, оказывается более высокой. И я думаю, что в США мы не смотрим на затраты, мы только смотрим на выгоду, мы проводим эксперимент или наблюдение, и мы пытаемся оценить влияние программы, и мы всегда любим говорить, что у нас улучшились показатели на 3, на 4, на 7 %, но мы не всегда смотрим на то, сколько мы затрат на это вложили, и поэтому, если мы говорим об оптимальной политике для школ, если вы не учитываете затрат в этом, то у вас не получается полной картины, потому что в конечном итоге важно не то, какая оптимальная выгода, важно то, какое соотношение затрат и этих выгод. Комментарий в отношении верблюда, которого можно привести к воде, но нельзя заставить пить. В случае с экспериментом для меня не является очевидным то, что здесь приняли решение участвовать лучшие студенты.

Еще один пример, который я хотел бы привести. Если в США вы посмотрите на разницу между студентами мужского пола и женского пола, студентов мужского пола выпускников гораздо меньше, чем женщин, т. е. женщин больше поступает, и женщин больше заканчивают колледжи. Т. е. получается, что студенты мужского пола не заканчивают свое обучение и там есть какие-то еще причины этому. Я не показываю вам этот эксперимент, но эффект нашей программы на мужчин был в два раза выше нашей программы на женщин, и на самом деле это вызывает некоторые комментарии, потому что получается, что таким образом мы можем сократить некоторый «половой разрыв» между нашими студентами в США. Что касается форм, то я показал вам результаты, мы всегда их обсуждаем не просто со студентами, с потенциальными студентами, а с их родителями. И получается, что решение, возможно, о высшем образовании принимают не сами студенты, а принимают родители, которым не хватает полной информации. Таким образом, получается, что родители блокируют доступ своих детей к высшему образованию, и получается, что здесь мы не должны говорить о другой причинно-следственной связи. И давайте вот на этом, наверное, все, что у меня есть сказать. Я передам слово дискуссантам.

: Давайте мы дискуссантов теперь попросим высказаться, чтобы осталось время для общих высказываний. Пожалуйста, профессор Собкин, с вас мы начнем.

В. С.Собкин: Эрик, спасибо большое за очень интересный доклад. Я буду реагировать как-то вот в силу своего опыта и проведения, как исследования, так и понимания особенностей образовательной ситуации у нас в России. Значит вот первое. Меня немножко задело – это такой взгляд на то, что, есть обычное сопоставление группы: бедные, богатые, с высшим образованием, с низшим – и это мало что нам говорит, в отличие от преимуществ рандомизированного эксперимента. Дело в том, что если мы ставим традиционные вопросы, касающиеся социального неравенства, то такое формирование и подход к эксперименту, если предметом является проблема социального неравенства: гендерного, связанного с материальным положением и так далее, то вполне правомерно использование такого классического, социологического подхода в формировании определенных подвыборок и их сравнения между собой. Более того, всегда остается некоторый такой запас. Например, я вспоминаю замечательное исследование Эрика Плезанша во Франции, в районе Марселя и статья называлась: «Демократизировалось ли образование во Франции?». Он в 60-е годы провел исследование по школьным журналам, по статистике и обнаружил, что в колледжах, продвинутых лицеях, больший процент детей из буржуазии. Потом посмотрели в 80-е годы и обнаружили, что, да, выросло представительство детей из рабочих, которые там обучаются. Но за это время буржуазия, извините за такой марксистский подход, выстроила для себя другую систему образования. Приоритетную. Допустим, лицей с гуманитарным образованием. И туда двинулся этот социальный слой, получая определенные услуги. В этом отношении очень важно, мне кажется, когда мы говорим о социальной реальности в образовании – представление этих сложных, динамических процессов, которые в этой сфере происходят. И здесь надо использовать разные методы, и эти разные подходы в зависимости от предмета исследования – они имеют свою ценность и имеют свой позитивный момент. Теперь, когда я слушаю ваш эксперимент… Ближе теперь к докладу. Это преамбула. Теперь, когда я слушал рассказ о вашем эксперименте - по первой части. Я вспомнил замечательную работу Курта Левина по экологической психологии, где он ставит вопрос и начинает свою статью с фразы: я буду в этой статье заниматься анализом того, как еда попадает в рот. Я хочу проследить, как она с грядки движется и попадает на стол к человеку. И для этого есть масса социальных привратников, которых он так и назвал «привратники», которые открывают и закрывают двери, пропуская эту еду к человеку. В одних культурах – это еда – червячки, а в других – не еда. Значит, славяне… Утром мы едим одно, вечером – другое. И он выделяет массу вот этих социальных механизмов, блокирующих продвижение еды, ну, грубо говоря, на стол к человеку. Теперь вот ваш этот рассказ мне очень напомнил саму идею проследить и проанализировать вот эти фильтры, которые мешают получению высшего образования. В частности, вот один их этих фильтров, которым является заполнение этих документов для получения помощи в получении высшего образования. В заполнении этих бумаг и так далее. И вы выстраиваете разные стратегии…

В чем предмет исследования? Это предмет исследования: как нивелировать негативное влияние вот этих фильтров, этих привратников, которые мешают получению высшего образования? Теперь я обращаю это на нашу социальную реальность и на нашу социальную действительность. Друзья, так у нас все сориентировано… Напротив, вся политика – как усилить эти механизмы и эти фильтры, чтобы не дать человеку получить тот или иной тип образования. В этом смысле вообще проведение подобного исследования по изучению социальных фильтров, блокирующих доступность тех или иных образовательных услуг, мне кажется, в этом отношении – доклад очень важный и очень ценный, потому что обращает наше внимание на необходимость исследования этих социальных барьеров и фильтров, которые не связаны, обратите внимание, с материальным положением семьи, с социальным статусом и вот то, с чего я начал. А ориентируют внимание на эти форсунки, которые в свое время там Питирим Сорокин называл. Вот эти лифты и эти барьеры. Мне кажется, это очень важно и очень интересно то, как вы это делаете, и как вы это пытаетесь проанализировать.
Ну вот я еще раз хочу сказать: вот это проблема этики – принципиальный момент, и той направленности политики современной и образовательной в России, которая как раз направлена на создание фильтров и блокирующих механизмов, снимающих вообще возможности доступа разных социальных групп к получению образования. Вот это первый, так сказать, момент. Мне он представляется сегодня очень важным. Хотя всегда в этом плане, конечно, любой эксперимент - вы начинаете вводить дальше одну переменную за другой. Понятно, что когда вы описываете этот свой эксперимент, вот вы в конце начали…так вообще, честно говоря, мы не с этим работаем, а мы работаем с семьей и в принципе принимаем это решение, и фильтром являются вот не эти бумажки и документы, а мы через семью, которая блокирует это, организуем этот процесс. Вот это мне кажется очень важная оговорка ваша, которая проясняет необходимость понимания многомерности организации исследования по поводу этого момента. Поскольку мне показывают на часы… я позволю себе все-таки еще 2-3 минуты взять.

Теперь то, что касается второй части. Вот вторая часть – она как-то вот для меня, я не знаю, вам эти фамилии ничего не скажут, а некоторым сидящим в этом зале – это что-то скажет. Вот я слушал про этот коучинг и так себе представлял Олега Семеновича Газмана с его педагогикой поддержки. У нас была традиция такая педагогическая: поддерживающее действие учителя при организации образовательного процесса. Это целое направление: педагогическая поддержка. Или Василия Васильевича Давыдова, у которого, в общем, идеология научить учиться и сформировать эту учебу в рамках организации учебной деятельности и этого процесса без, кстати, привлечения особых специалистов по поддержке человека во время получения образования. Вообще по своему смыслу эта часть вашего доклада, мне кажется, крайне важна для понимания социальной работы в образовании, функции социального работника в образовании. Тут много как-то моментов, которые связаны с пониманием: как здесь надо работать и выстраивать эту профессиональную группу, и что она должна делать, и как организовывать ее работу, потому что она во многом у нас очень новая и туманная… По нашим представлениям, что такое психолог в образовании, социальный работник в образовании и так далее? Вот если понять, что такое поддержка педагогическая во время учебы – то это вообще мне кажется очень сложный вопрос. Вот так с кондачка не решишь, потому что этот коучинг… Мы же не будем говорить, что давайте будет коучинг у нас при приеме ЕГЭ, при сдаче ЕГЭ сейчас мы коучинг… Это же нелепо!

Реплика: Почему? Он есть.

В. С.Собкин: Ну, он есть, да… Но значит… Это же нелепо. Значит, есть какие-то ситуации в образовании, есть какие-то места, где эта поддержка уместна и педагогически целесообразна, а есть места, где она бессмысленна и вредна. Потому что она снимает активность и ответственность человека за самого себя. И тут никакой пользы от этого коучинга нет, а это вред для развития человека. Поэтому мне кажется, вот этот вот момент важен, и я бы его с удовольствием обсуждал. И последнее, Виктор Александрович. Вот я с завистью слушал ваш доклад. С завистью. Потому что это старый вопрос о нашей ситуации «темноты» в плане статистики, возможностей пользования информацией вообще и в системе образования. Здесь у нас тишина, и чтобы получить какую-то дополнительную информацию из каких-то других банков данных о студенте, о его социальных возможностях и так далее – это надо… Ее просто нет, или она настолько закрыта, что ты с ней ничего сделать не можешь. Поэтому мне кажется, что это часто об этом говорится, но это принципиальный момент. Пока здесь не будут сделаны некоторые шаги, то мы будем отставать и отставать от возможности включения новых перспективных технологий в систему нашего отечественного образования. Спасибо.

Реплика: Спасибо. К вопросу про информацию – Исак только что подписал письмо в Рособрнадзор с просьбой предоставить дополнительную информацию по единому экзамену и по PIRLS. Выключи, пожалуйста, кнопочку, Анатолий.

: Ну я очень коротко. Во-первых, спасибо большое за доклад. Я вам могу сказать, что я думал не о тех результатах, которые вы докладывали, а у меня все время какие-то ассоциации были, и я позволю этими ассоциациями очень коротко поделиться. Они для меня очень важные, я вам честно могу сказать. Первое. Я недавно слушал результат, как бы это сказать? Рассказывали о том, кто чаще всего в Америке пользуется телефоном 911 и в каком случае. И выяснилось, что этим телефоном больше всего пользуются женщины, для того чтобы к ним приехали и поменяли проколотую шину в автомобиле. Значит, вот те проблемы, которые изучались и о которых нам рассказывали – нам они же нипочем. Когда вы рассказывали об анкетах, которые влияют на поступление в институт, я вспоминал анкету, которую надо заполнять, получая визу в Объединенное королевство и в Австрию. Какие там 125 вопросов? Там надо 3 дня это делать. Причем когда мы говорим об Австрии – еще и на немецком языке, что совсем замечательно. То есть, понимаете, когда мы говорим о такого рода исследовании, то социокультурный контекст очень важен. Мы его не чувствуем этого контекста, и поэтому вот это сравнение между нашим ощущением того, что исследуют, и вашим – это первая информация, которая была для меня была очень важна.

Второе – нормирование условий. Вот сейчас говорят о том, что все децентрализованные системы образования, в том числе американская, движутся к централизации. И я нашел этому подтверждение, в том, что вы говорили. Смотрите: обязательные и дополнительные задания, лучше тот, у кого меньше отсев. Мы же с вами все это проходили лет 30 назад и продолжаем проходить. И это для меня означает, что результаты ваших исследований… То есть наших исследований, боюсь, что для вас не менее значимых, чем ваши для наших. Потому что движемся мы, условного говоря, друг навстречу другу.

Следующее: как ставится эксперимент? Ну здесь вообще зависть, о которой мы можем только мечтать. Несколько лет, при такой выборке, которую вы назвали: с каждым респондентом беседуем 8 минут. Вы понимаете, сколько стоит такой эксперимент? Это я записываю просто вот то, что вы сказали. И строго говоря, для меня вот эта техника и подход к постановке эксперимента, какой бы он там ни был, со случайной выборкой или с обоснованной – она для меня очень важна.

Следующий момент: личностно-ориентированные исследования. Вот я сейчас достал исследования одного из ведущих вузов, не буду называть какого, в области образования на 2011 год. Я не нашел ни одного исследования, которое исследует как учится ученик. У нас все исследования про систему образования, в которой этого ученика нет, а вы делаете исследование, еще раз говорю, не могу обсуждать: хорошее или плохое – это Собкин скажет, он специалист лучший, ориентированное на… Я в данном случае не издеваюсь. Ориентированное на то, как ученик движется во время своей учебы. И вот, исходя из этого, я вспомнил такую вещь – сейчас закончу – историю Государства Российского, а не историю России у нас изучают. У нас есть исследования системы образования, но не исследования образования человека. Вот такие вот разрозненные мысли, извините, еще раз говорю спасибо большое за выступление, и есть над чем подумать

Реплика: Спасибо коллеги, поднимите, пожалуйста, руки, кто хотел бы высказаться, потому что... Раз!

Реплика: Я хотела спросить, сколько стоят эти институты?

Реплика: Так, раз. Алишер, вижу вас! Ну, и ведущая... Тогда по три минуты каждому.

А. Умаров: Алишер Умаров, бюро ЮНЕСКО в Москве. Во-первых, действительно большое спасибо, очень интересный вопрос и очень такое свежее исследовательское мировоззрение, во-первых, по объектам и по методам. Но здесь я хочу сказать, что в принципе говоря, здесь вот правильно профессор Каспржак сказал, что речь идет о том, что мы в результате имеем. На самом деле есть очень хороший доклад о будущих профессиях 2050 года, и одна из самых востребованных профессий, в первой десятке была указана, что это будет профессия эколог данных. Потому что на сегодняшний день мы прошли этап, когда собираем данные для политиков, для людей, принимающих решения, мы научили людей более-менее верить, смотреть, использовать рейтинги и так далее, но оказалось, что сейчас очень много данных собирается зазря и очень много нужных данных не собираются. Поэтому в этом отношении я бы сказал, что это одна из первых работ в этом направлении.

Второе, я думаю, что надо, наверное, на это смотреть с точки зрения вот той общей зонтичной тематики, по которой мы собрались, с точки зрения обсуждения проекта «Новая школа». Здесь бы я сказал, что эти исследования надо проводить с точки зрения эффективности затрат на образование, потому что есть достаточно закрытые сведения, к сожалению, их пока не выдают на общее обозрение, но очень большой процент в образовательных системах у нас неоконченных образовательных траекторий. Так вот любое начало образовательной траектории стоит намного дороже, чем усилия по его заканчиванию. Поэтому вот это вот мероприятие, для того чтобы рассматривать, как сделать так, чтобы траектория вышла на какой-то вот логически завершающий этап – это и есть забота об использовании и забота об эффективности затрат на образование. Все, спасибо.

Реплика: Спасибо, Алишер. Так, я скажу несколько слов. Первый момент – сама тематика исследований. Я бы вот линию, которую начал Ярослав Кузьминов своим вопросом, причина ухода студентов: отчисленный студент, как в России, или студент чувствующий, что он зря теряет время, не важно, зря – денег не получит, которых хотелось бы, или сейчас ему некогда, я бы обратил внимание на исследование Высшей школы экономики, группой Чирикова Игоря, когда они анализировали уход студентов из Высшей школы экономики, очень интересное исследование. И вот для меня линия коучинга и линия анализа причин, почему ребята уходят, вот, может быть, им просто не хватило совета доброго на самом деле? Вот постановка такого вопроса для меня очень перспективна и в России никто этим реально не занимается, анализом причин ухода ребят и созданием сервисов, которые могли бы уберечь от этого. То есть сама тематика исследования очень интересная. Теперь методология исследования. Профессор Беттинджер сказал, что вообще медики этой методологией пользуются - больше пользуются на самом деле биологи, и для них одинаковы и мыши, для понимания, как влияет на мышь тот или иной, ну, скажем, медикамент, например, очень важный момент – клонировать мышей, чтобы иметь чистую контрольную группу. То же для нас редкая культура, выделение одинаковых групп, я напомню, предыдущий доклад про Южную Африку и Ботсвану, там тоже был вопрос о рандомизации, группы были однородны или не были однородны? Вот тут у нас слово «контрольная группа» или «контрольный класс» часто носит формальный характер без всякого содержательного анализа, однородны ли эти группы, и мы в наших исследованиях сплошь и рядом видим контрольный класс, как класс, в котором никаких воздействий не производилось, а одинаковые ли там по определенным характеристикам дети с тем классом, где проводилось воздействие, даже не ставится. Поэтому для меня очень поучительная и тематика, и методика, я надеюсь, что мы эту линию еще в нашем семинаре будем продолжать. Спасибо, профессор Беттинджер.

Реплика: Ну, я не буду про содержание говорить, про него уже говорили уже, а все-таки еще раз затрону вопрос о методе, потому что, ну, это хорошо в значительной степени благодаря нескольким всего академическим центрам в последние годы в России вообще появился интерес к эмпирическим исследованиям в образовании, потому что советская традиция состояла в том, что педагогическая наука была наука о должном, а не о сущем, если это можно перевести. И мы, конечно, с трудом двигаемся в сторону эмпирических исследований и по-прежнему социология образования считается чем-то экзотическим, а вот педагогические науки в значительной степени остаются методическими науками, науками о должном, и эксперименты, которые я описывал, это действительно, если мы посмотрим формально педагогические диссертации, они почти все такие эксперименты содержат, когда две группы на факультете, в одной что-нибудь преподают, и выясняется... группы эти, конечно, никак не рандомизируются, и выясняется, что там был какой-то эффект на 24 человек. Поэтому, видимо, нам никуда не деться, если мы хотим, чтобы наши результаты были убедительными, то надо двигаться в сторону вот этих экспериментальных методик, куда двинулась действительно в свое время медицина, и сейчас ни одно лекарство без рандомизированного эксперимента не может появиться, а это было не всегда! Лет сорок назад было достаточно показать, что лекарство имеет клинический эффект, ну, то есть, грубо говоря, давали, предупреждали, что у вас должно понизиться давление, оно понижалось, и... А сейчас это стало не просто золотым стандартом, а единственным стандартом развития науки, развития медицинской науки. Другой вопрос, что всегда приходится выбирать, что любой строгий метод создает очень серьезные ограничения на выбор объекта, на контроль и соответственно стоит существенно дороже, вопрос Анны Лукьяновой был не лишним здесь... Но у меня такое, в этом смысле я бы свое короткое вот это замечание завершил бы тем... Не тем, что я радостно приветствую появление эпохи экспериментальных исследований, но, видимо, деваться от этого никуда нельзя и придется эту методологию осваивать и реализовывать. Мы сегодня тратим... последнее, пожалуй, я сказал, для меня точкой очень сильной было замечание Эрика, хоть это и не был строгий cost-benefit анализ, как в экономике, когда он сказал, что вот, пожалуйста, если мы добавляем... Мы можем потратить 4 тысячи долларов и получить трехпроцентное улучшение качества образования, условно скажем, а можем потратить тысячу долларов. Мы сегодня тратим миллиарды долларов, не только рублей, например, на информационные технологии в школах, и мы не проводим эксперименты, которые бы показывали эффективность тех или иных вложений. И это, конечно, показывает, что есть чисто экономический императив нам этим начинать серьезно заниматься, поэтому большое спасибо, меня во всяком случае, ваш доклад оставляет в таком сложном размышлении, откуда нам стартовать вот эти экспериментальные линии. Спасибо.

Э. Беттинджер: Я хотел выразить признательность тем, кто комментировал мое выступление, мне кажется, что дискуссия была фантастической, и одно замечание, которое мне кажется очень важным, которым я воспользуюсь – это замечание о фильтрах. И какие-то из фильтров неэффективны, если эти фильтры неэффективны, мы, как исследователи, можем решить, как сделать их эффективнее. С другой стороны, есть фильтры, которые помогают нам, помогают нам увеличить нашу эффективность. Но некоторые из фильтров могут действовать позитивно, и вот эта идея о фильтрах – это очень важный подход к тому, чтобы извлечь максимальное количество уроков из этих экспериментов, потому что фильтры являются конкретными в плане культуры, контекста и системы образования, образовательной системы, фильтры в США действительно отличаются от системы фильтров в России, но в том и состоит радость от исследований. Поиск фильтров и поиск способов усовершенствовать эти фильтры и повысить их эффективность – это очень важная для нас задача. Спасибо вам большое, спасибо за ваше участие.

: Еще раз спасибо, Эрик, и мы приглашаем вас на следующий семинар Института развития образования Высшей школы экономики. Скотт Мюррей, старший научный сотрудник Канадского бюро статистики, один из авторов международного исследования грамотности взрослых, у нас будет выступать, письмо будет с информацией всем разослано. Спасибо большое, всего доброго, до встречи.