Мой блог - для учеников и учителей. О целях и структуре блога можно прочитать здесь.

О том, каким я вижу современного учителя, можно прочитать здесь.

пятница, 6 февраля 2015 г.

Как работать с экспертами — и когда этого лучше не делать

Назвала сообщение по докладу Норины Хертц на TED. Впервые увидела этот доклад чуть более двух лет назад на массовом онлайн-курсе у +Ivan Travkin (писала об этом здесь).

И, если остальные рассмотренные в рамках оналйн-курса TED-ы я видела как возможные учебные объекты для изучения тех или иных тем обществоведческого курса, то этот доклад в моём сознании сразу встал особняком. Тогда я написала про него:
Это, пожалуй, единственный ролик, на который ложатся мысли совершенно другого рода. Не хочу (правильнее сказать: пока не знаю, куда и как) использовать его в работе с учащимися, но очень хочу на основе этого ролика написать большой пост про работу экспертов в системе образования. На разных уровнях и в разных качествах (аккредитация образовательных учреждений, региональные предметные комиссии экспертов ЕГЭ, методические экспертные комиссии предметных олимпиад и т.д.). Не знаю, смогу ли я решиться на это. Честно? Боюсь. Но сил молчать становится все меньше и меньше...накипело.
Прошло два года, и я всё же решилась написать этот пост. Катализатором послужил завершившийся региональный этап олимпиады по обществознанию. Очень интересно услышать мнение коллег из разных регионов: а как у вас?


Источник картинки
Для начала необходимо определиться с самим понятием "эксперт". Заглянем в Википедию. Экспе́рт (от лат. expertus — опытный) — специалист, приглашаемый или нанимаемый за вознаграждение для выдачи квалифицированного заключения или суждения по вопросу, рассматриваемому или решаемому другими людьми, менее компетентными в этой области.
Я сама много лет —  эксперт ЕГЭ (проверяю часть С по обществознанию в составе Региональной экспертной комиссии). А недавно получила статус (которым я очень горжусь) "эксперт Артека", когда по приглашению +Yuri Eelmaa работала в течении недели в этом качестве на семинаре "Проектирование образовательного события" — в команде с другими экспертами.
Однако, считаю, что понятие "эксперт" применимо и к другим ситуациям, даже при отсутствии формального статуса эксперта. Если мы берём ключевые признаки — опыт, возмездность работы, компетентное заключение, тогда данное понятие можно распространить и на:
  • учителей по отношению к ученикам (преподавателей по отношению к студентам): учитель имеет профессиональное образование, опыт работы, осуществляет деятельность на основе трудового договора и аттестовывает учащегося;
  • членов методических комиссий, жюри, апелляционных комиссий олимпиад школьников — по отношению к участникам олимпиад: органы управления образованием формализуют их статусы, считая компетентность этих людей достаточной для решения поставленных задач.
Эти позиции мне тоже близки, поскольку: а) более 20 лет работаю учителем в школе, б) последние годы возглавляю муниципальную предметно-методическую комиссию по обществознанию, являюсь председателем жюри и апелляционной комиссии муниципального этапа Всероссийской олимпиады школьников по обществознанию.

Написанное выше преследует ещё одну цель: чтобы читатели убедились в том, что у меня есть некоторая компетентность, чтобы рассуждать на эту тему.

Возвращаюсь к ролику, опубликованному выше. Во время онлайн-курса слушателям было предложено посмотреть его и ответить на ряд вопросов. К сожалению, сайт курса уже недоступен, а потому мне здорово помог +Бугайчук Константин, который два года назад собирал  итоги каждого дня курса в своём блоге. Вот его публикация по этому докладу. Я взяла за основу некоторые вопросы по этому ролику, предложенные +Ivan Travkin слушателям курса и попыталась немного порассуждать над ними: как с точки зрения экспертов в образовании вообще, так и по ситуации с олимпиадами школьников.
  • Что значит "смотреть на мир открыто"?
Одним из основных принципов деятельности жюри всех этапов олимпиады является гласность (приказ МОиН РФ от 18.11.2013 г. №1252). Мы ведь можем соотнести данный принцип с открытостью экспертной деятельности? Так вот уже почти 5 лет гласность/открытость школьного и муниципального этапов олимпиады обеспечивается через Олимпийский образовательный портал, действующий при поддержке Управления по делам образования города Челябинска. Примеры этого учебного года:
    • страница школьного этапа олимпиады по обществознанию >>>
    • страница муниципального этапа олимпиады по обществознанию >>>
Даже беглый просмотр страниц позволяет оценить полноту представленной информации. Оперативно (до проведения апелляции!) выкладываются задания с правильными ответами (они сохраняются на портале и доступны и через год, и через два даже незарегистрированным пользователям), соблюдается регламент выкладывания результатов: сначала появляются предварительные, затем, после апелляции — окончательные.

Предварительных результатов регионального этапа ни участники, ни педагоги, в этом году не дождались. Согласно Программе, они должны были быть выложены в интернете 2 февраля. Однако, 4 февраля были сразу опубликованы окончательные результаты. Апелляция, согласно той же программе, должна была состояться 30 января, однако, в этот день был организован только показ работ и подача заявлений. Как было организовано информирование о дате и времени апелляции, мне неведомо, т. к. официальной информации не было, я получила эту информацию в частном порядке за 2 часа до начала апелляции.

+Alexander Bondarenko, отвечая на этот вопрос 2 года назад, отметил, что "смотреть на мир открыто" — это значит 
принимать к рассмотрению различные точки зрения вне зависимости от роли высказавшего.
Не уверена, что моя точка зрения по этому вопросу будет принята людьми, по вине которых был нарушен принцип гласности в проведении регионального этапа олимпиады.

  • Всегда ли мы осознаем последствия ошибки эксперта, на которого полагаемся? Этому учат специально?
Ошибка — это непреднамеренное заблуждение, возникающее вследствие невнимательности или недостатка информации. Признаём ли мы право на ошибку ребёнка? Эксперта? На школьном этапе олимпиады после опубликования предварительных результатов, у каждого участника есть неделя, чтобы ознакомиться со своими результатами и при несогласии с ними, задать вопрос членам предметной комиссии на форуме олимпиады и получить ответ на него. Пример. Ребёнок допустил ошибки от незнания, будучи убеждённым в правильности своих ответов, однако, получив развёрнутое объяснение, понял обоснованность выставленных баллов. 

Апелляция на муниципальном этапе олимпиады проходит в очной форме, при этом у ребёнка есть право высказать и обосновать свою точку зрения: в чём именно он не согласен с выставленными баллами. Я не понимаю зачастую негативного отношения к апелляциям в образовании вообще: не важно, о чём идёт речь — о несогласии с баллами, выставленными на ЕГЭ или на олимпиаде, и считаю, что если ребёнок пришёл на апелляцию — он хочет получить квалифицированное мнение эксперта, другого учителя, взгляд на его работу со стороны. А это значит, что апелляция должна носить для ученика развивающий характер, что если даже у обвиняемого есть право на последнее слово на суде, то и у ученика такое слово тоже должно быть. В пользу этого говорят и особенности учебного предмета: специфика социального познания такова, что из-за совпадения субъекта и объекта познания, позиция исследователя может серьёзно влиять если не на результат, то на его интерпретацию. Тем более, при оценку таких заданий, как эссе и критика текста. Поэтому с каждым учеником, пришедшим на апелляцию на муниципальном этапе, мы работаем детально, даём возможность ему высказать и обосновать свою точку зрения, разбираем его ошибки. И я понимаю, что да, к сожалению, и эксперт может ошибаться, а потому, если есть основания для повышения балла, апелляция удовлетворяется без проблем. При этом мы строго соблюдаем правила: не может рассматривать апелляцию конкретного ученика его учитель, а также учитель, проверявший работу. Тем самым мы стараемся обеспечить реализацию ещё двух принципов деятельности жюри — объективность и соблюдение норм профессиональной этики. 

А потому меня удивили реплики сразу нескольких участников регионального этапа олимпиады из разных школ, прозвучавшие после просмотра работ и после апелляции регионального этапа: почему задания II и III тура проверены всего одним экспертом, и почему апелляция носила формальный характер, и её итог был предрешён вне зависимости от того, что скажет на апелляции участник. Конечно, здорово, что эксперты так уверены в своей компетентности, однако цена ошибки здесь очень высока. И это не только не полученное призовое место и потерянная возможность пройти в следующий тур олимпиады. Этот тот опыт, который подросток получает при взаимодействии со взрослым, на профессионализм которого он полагается. Это и (простите за пафос) искажённый вход в профессию социально-гуманитарного профиля, на которую профессионально-ориентированны участники олимпиады.

А учить экспертов надо. Любых. И учеников надо тоже учить не только предмету. Помимо прочего, и тех, и других надо учить принятию. Если ученик во всём винит эксперта, он не сможет исправить совершённые ошибки. Если эксперт не хочет признать, что он сам или его коллега ошиблись, то он перестаёт быть похожим на эксперта, а становится похожим на глупца, настаивавшего на своей ошибке. Но не на уровне: эксперт всегда прав, потому, что у него больше прав. А ещё — учить тому, что всё имеет свою цену. И ошибки тоже. Правда, здесь тот ещё вопрос всплывает: а кто учить будет? Если эксперты — это априори лучшие, то где взять ещё более лучших?

  • Нужны ли всем навыки "управления противоречиями"?
У нас так сложилось, что отношение к любым экспертам в любой сфере носит прямо-таки сакральный характер. Не раз чувствовала подобное отношение к себе как к эксперту. И сами эксперты, столкнувшись с этой сакральностью, нередко надевают на голову корону, считают себя несущими истину в последней инстанции. Однако, как не вспомнить здесь Грибоедова: "А судьи кто?". Да и представление об истине в современном мире очень подвижно. А потому противоречия возникают там, где возникает десакрализация. Противоречие между необходимостью принять заключение эксперта как данность (как следствие сложившейся традиции) и несогласием (в силу каких-то причин — как объективных, так и субъективных) с этим заключением. Пришёл на олимпиаду — значит, сознательно поставил себя в ситуацию оценивания. Значит, должен быть внутренне готов к тому, что собственные представления о себе, своих знаниях, придут в несоответствие с тем, как это видится экспертом со стороны. Что лучше: социально желаемое поведение, пусть даже в ущерб своему мнению, либо стремление сохранить свою индивидуальность, отстоять свои убеждения, даже ценой заведомо низкой оценки, непонимания экспертов. Я сама была в такой ситуации 3 года назад. И свой выбор сделала в пользу "либо". И не жалею о нём. Однако, не всем и не всегда этот выбор даётся легко, да и последствия могут сказываться на протяжении длительного периода. Если человек находится в гармонии с собой и с внешним миром, откуда у него будут противоречия? А вот мятежникам, бунтарям, приходится несладко. И не все владеют навыками самоменеджмента. Противоречие порождает кризис, конфликт. А они вновь влекут за собой как положительные, так и отрицательные последствия. Стимул к развитию, переходу на иной качественный уровень? Да. Истощение ресурсов? И здесь тоже положительный ответ. А потому надо с этим что-то делать.

  • Что может или должно стать фундаментом образования, готовящего к неопределенности и самостоятельному принятию решений?
Работа с информацией: её критический анализ, классификация, сверка. Коммуникативная компетентность. Проектная деятельность. Готовность учиться всю жизнь и жить в обществе, для которого пока ещё трудно определить его основные черты.

  • Как студент/ученик узнает, что профессор/учитель прав (заслуживает доверия в конкретном вопросе)?
От формальных критериев — должность, стаж, категория, результативность работы — до основанного на рациональных критериях желания учиться у этого учителя. Я, наверное, буду долго вспоминать момент с апелляции по результатам муниципального этапа, когда один ученик в завершении сказал мне что-то вроде: "Я впервые получил удовольствие от апелляции. Потому, что я понял свои сильные и слабые стороны и теперь знаю, над чем мне работать при подготовке к региональному этапу". Вероятно, он не просто озвучил это, не просто принял к сведению, но ещё и сделал. В итоге он стал одним из победителей регионального этапа.

  • Где разумная грань между "политкорректным" (нельзя сомневаться в учителе) и критическим (можно...) мышлением?
Сомневаться можно. Потому как мы живём не в мире, в котором: "меня учат, учитель знает", а в мире, где "я учусь, учитель может мне помочь". Не устаю повторять мысль о том, что сегодня ни у учителя, ни у учебника нет монополии на информацию, они не основные, а факультативные источники. А вот где эта грань, и есть ли она вообще? Не знаю. Разве что мы можем провести её в вопросах безопасности и ответственности за жизнь и здоровье. Но не в вопросах информации. Хотя считаю, что можно управлять степенью этих сомнений. И путь здесь — критериальный подход к оцениванию. Сомнения возникают от непонимания. Если же процедуры оценивания станут прозрачными, а критерии — понятными для ученика, сомнений будет меньше.

  • Достаточно ли разнообразия мнений и критического мышления в сочетании с экспертным мнением?
Жду публикации работ победителей и призёров регионального этапа. Пока папка пуста. Мне очень интересно наложить на экспертное мнение своё критическое мышление. И посмотреть, что из этого получится. И тогда уже буду судить о достаточности.

Готова обсуждать ответы на вопросы дальше.

P.S. Пока осмысливала ситуацию и писала пост, в ленту в G+ упала публикация. Написано совсем о другом, конечно. Но некоторые метафоры очень узнаваемы и применительно к тому, о чём написала.

6 комментариев:

  1. Очень интересный пост. В голову лезут сразу много мылсей, но если по существу, то, действительно, апеллция на региональном этапе ВСОШ по общетвознанию мне крайне не понравилась, т.к. возможности апеллировать не было совсем (решение по апелляции выносилось еще до моего прихода на апелляцию) (чего, кстати, нельзя сказать об апелляции по истории регионального этапа ВСОШ, когда была дана возможность апеллировать строго по ключам, когда эксперты открыто вступали в диалог с учеником, подавшим апелляцию, когда апелляция проходила под записью видео камеры, тем самым обеспечивалась, как я считаю, максимальная "гласность"). Объективно после апелляции по истории не возникает никаких сомнений в объективности оценки своей работы, чего совершенно нельзя сказать про апелляцию по обществознанию... :-( :-(

    ОтветитьУдалить
    Ответы
    1. Михаил, спасибо Вам за отклик. Очень здорово, когда своё мнение по проблеме высказывают не только взрослые (обсуждение этого поста в Google+ можно почитать здесь), но и ученики, которых эта проблема непосредственно коснулась. Конечно, педагоги смотрят на неё более широко — экспертиза услуги всегда была непростым делом, а образовательной услуги — тем более. Но зато, благодаря вот таким комментариям, как Ваш, можно собрать эмпирический материал, а также задуматься о нормативной стороне вопроса. Что такое апелляция? Каким образом она должна проходить? Какие права и обязанности у ученика и у экспертов во время апелляции? В какие сроки должны проходить отдельные этапы экспертной работы (проверка, опубликование предварительных результатов, апелляция, опубликование окончательных результатов, опубликование протокола — сегодня, кстати, увидела, что первоначальный протокол на сайте оказался заменён на другой, с другими подписями, вставленными в документ с результатами картинкой), выкладывание сканов работ — должны же быть какие-то регламенты, в конце концов! И, почему по одним предметам, все эти этапы проходят оперативно, а по другим — вызывают много вопросов.

      Удалить
  2. Мария Николаевна, Вы обозначили серьезную проблему. По результатам олимпиад на кону - поступление в ВУЗ и сладкое слово "бюджет".
    Вы написали, что "кипело" два года, а сегодня "закипело" окончательно. И понятно, ни одного призера в этом году. Учитель, который является экспертом в этой области, а Вы таковым являетесь - это признанный факт, о котором говорят достижения Ваших учеников в прошлые годы, вдруг, "завалил" вместе со всеми своими учениками региональный этап олимпиады.
    Если провести ассоциацию со спортом: заслуженный тренер РФ, готовивший олимпийских чемпионов, не смог вывести своих учеников (призеров прошлогодних олимпиад) даже из областного уровня.
    Так может быть? Надо сильно «постараться» и тренеру и его воспитанникам.
    Мысли разные приходят… не хорошие…
    По поводу апелляций. Опять же, в спорте апелляции подаются в определенный срок, и решение апелляционного комитета (АК) с подробным разъяснением (по пунктам) оглашается до наступления следующего этапа соревнования. Иначе, в чем смысл апелляции? Все апелляции и решения АК по окончании соревнования, подаются вместе с отчетом в вышестоящие инстанции! И именно там (выше) делается заключение о правомерности решения АК и утверждение результатов соревнований.
    Так в чем же проблема? В некомпетентности экспертов, в их подкупе, в давлении на них сверху, еще что-то?
    Я так понимаю, что Вы и Ваши ученики готовы признать свою «некомпетентность» и «ошибки», но при условии, что эксперты смогут это объяснить.
    Ждем сканы работ и Ваши комментарии к ним.
    С уважением, Светлана Анатольевна.

    ОтветитьУдалить
    Ответы
    1. Светлана Анатольевна, спасибо за отклик. Мне очень приятно, что в обсуждение включаются и родители.

      На кону не только поступление в ВУЗ, но и статус учителя (а отсюда — и возможные стимулирующие выплаты, и баллы при аттестации, и возможность получения грантов и каких-то ведомственных наград), и результативность образовательного учреждения. Хочется вспомнить знаменитое цель оправдывает средства.

      Призёр есть. Один из девяти участников. Три призёра регионального этапа прошлого года (в т.ч. один — двукратный, Вы прекрасно это знаете) вдруг резко "поглупели" — так может быть? Цитируя Вас, надо сильно постараться.

      Боюсь, что сканов мы можем и не дождаться. Это первый год, когда они должны выкладываться в открытый доступ, практики по этой части ещё нет, а потому, вероятно, мало кто эти сканы ждёт. Тем более сейчас, когда прошло более 10 дней со дня олимпиады (вот я искренне не понимаю: неужели так сложно отсканировать работы победителей и призёров и выложить их? Однако, количество предметов, по которым это сделано, можно пересчитать по пальцам, сканов нет даже по предметам, олимпиады по которым прошли раньше), результаты опубликованы (а протокол — так уже второй раз), страсти улеглись, и через несколько дней про сканы работ все благополучно забудут.

      А ошибки я готова признавать. Но, как Вы верно написали, при условии, если они будут достаточно обоснованы. Но, со слов ребят, им даже на апелляции не дали возможность ни задать вопросы, ни высказать своё мнение.

      А вообще, для меня причина конкретно этой ситуации очевидна. Правда, к знаниям детей это не имеет никакого отношения. И вот это особенно мерзко.

      Повторюсь, ситуация этого года послужила для меня лишь катализатором для того, чтобы вынести эту тему на обсуждение в Сеть. Проблема же не только в этой частной ситуации, она лишь отражение проблемы. За 20 с хвостиком лет работы не раз сталкивалась с ситуацией, когда человек, имеющий статус эксперта, менее компетентен, чем тот, кого он оценивает. И, что самое, на мой взгляд страшное, что он не считает это проблемой, а скрывает (и формально ему это удаётся) свою некомпетентность за статусом, ведя себя по отношению к экспертируему(-ым) крайне агрессивно. Понятно, что так проще, чем заниматься самообразованием и повышением квалификации — не формально, а реально.

      Удалить
  3. Прочитав этот пост, сразу вспомнила вот это:
    "Студент: А теперь скажите, есть кто-нибудь в этом классе, кто видел
    мозг профессора? Слышал его, нюхал его, прикасался к нему?

    Студенты продолжали смеяться.

    Студент: Видимо, никто. Тогда, опираясь на научные факты, можно сделать вывод, что у профессора нет мозга. При всем уважении к вам, профессор, как мы можем доверять сказанному вами на лекциях?

    В аудитории повисла тишина.

    Профессор: Думаю, вам просто стоит мне поверить."

    ОтветитьУдалить
    Ответы
    1. Анна, спасибо, улыбнуло :-) Этим студентом был Эйнштейн? Или я должна верить в то, что этим студентом был Эйнштейн? :-)

      Для меня в этом отрывке два очень важных понятия с одним корнем: доверие и вера. Мы не раз говорили на уроках о том, что всё, связанное с верой, иррационально: истинность такого знания невозможно ни доказать, ни опровергнуть: если человек верит, ему не нужны доказательства того, что данное знание истинно. если человек не верит, ему тоже не нужны доказательства того, что всё это — полный бред. То есть, понятие веры для меня важно с точки зрения процесса познания.

      По поводу доверия есть ещё один замечательный доклад на TED Говард Рейнгольд о сотрудничестве, я по нему даже делала самостоятельную работу, совсем другая тема — Гражданское общество. Там один из вопросов, как мне кажется, очень созвучен тому, что мы сейчас обсуждаем: Что важнее в формуле "докажи мне, что тебе можно верить, и я буду сотрудничать": умение доказывать или способность проверять? И этот вопрос можно трактовать двусмысленно :-)

      Удалить

. Related Posts Plugin for WordPress, Blogger...