Основатель
August 4, 2025
31 min read
Использование технологий искусственного интеллекта (AI) в сфере дистанционного образования набрало значительные обороты по всему миру, особенно после пандемии COVID-19. Учебные платформы с поддержкой AI, виртуальные ассистенты и инструменты автоматизированной оценки позволили предлагать студентам персонализированную поддержку. Например, «Ассистент EBA» с поддержкой AI, внедренный на платформе EBA Министерства национального образования Турции, за 6 недель ответил примерно на 10 миллионов сообщений, предоставляя мгновенные ответы на вопросы студентов и родителей в процессе дистанционного обучения. Аналогичным образом, Модуль академической поддержки на EBA был усовершенствован с помощью искусственного интеллекта, чтобы предлагать персонализированные вопросы и рекомендации, особенно для студентов, готовящихся к экзаменам, и был использован 1,17 миллионами студентов. Хотя эти события демонстрируют потенциал применения AI в дистанционном образовании, они также порождают серьезные юридические и этические проблемы, такие как конфиденциальность персональных данных, алгоритмическая прозрачность, разработка справедливых и недискриминационных систем, а также подотчетность.
В этой статье будет рассмотрено текущее состояние использования искусственного интеллекта в дистанционном образовании с акцентом на Турцию; будут затронуты правовые вопросы, возникающие в связи с конфиденциальностью данных в контексте Закона о защите персональных данных (KVKK), прозрачностью алгоритмических решений, рисками предвзятости и дискриминации, а также использованием искусственного интеллекта в механизмах поддержки принятия решений. Кроме того, будут обсуждаться правовые границы таких приложений, как мониторинг студентов, автоматизированная оценка и адаптивные системы обучения, а также будут оценены административные и этические обязательства и механизмы надзора.
Распространение дистанционного образования в Турции ускорилось особенно в 2020 году, когда миллионы студентов перешли на онлайн-платформы из-за пандемии. В этот период цифровые образовательные платформы, такие как EBA (Образовательная информационная сеть), вошли в число самых посещаемых образовательных сайтов в мире и обеспечили непрерывное обучение почти 18 миллионам студентов в процессе дистанционного обучения.
В рамках EBA были предприняты усилия по улучшению опыта студентов за счет использования технологий искусственного интеллекта. Например, модуль Академической поддержки EBA был усовершенствован с помощью искусственного интеллекта для предоставления рекомендаций по вопросам на основе успеваемости студентов и привлек значительное внимание в период дистанционного обучения. Кроме того, в апреле 2020 года был запущен чат-бот под названием «Ассистент EBA», который использовал методы обработки естественного языка для понимания вопросов студентов и предоставления мгновенных ответов по таким темам, как получение пароля, ознакомление с расписанием занятий и общение с учителями. Тот факт, что этот ассистент ответил почти на 10 миллионов вопросов от 2,68 миллионов пользователей в течение шести недель, также демонстрирует потребность в поддержке на основе AI во время дистанционного обучения.
Высшие учебные заведения также начали исследовать применение AI в дистанционном образовании; в частности, университеты, предлагающие открытое и дистанционное обучение, экспериментировали с интеграцией чат-ботов и инструментов учебной аналитики в свои службы поддержки студентов. В Университете Анадолу с 2010-х годов в пилотном режиме используется виртуальный консультант на базе искусственного интеллекта для предоставления информации студентам дистанционного обучения. В последние годы университеты предпринимают стратегические шаги в отношении AI; в рамках Национальной стратегии Турции в области искусственного интеллекта (2021–2025 гг.) университетам поручаются такие задачи, как открытие аспирантских программ в области AI и увеличение их научно-исследовательского потенциала (R&D). Однако недавнее исследование показало, что осведомленность об использовании AI в образовании в Турции все еще низка, и среди заинтересованных сторон существует недостаток знаний о том, как внедрять AI. Следовательно, для эффективного и безопасного внедрения AI в дистанционное образование необходимо как развивать техническую инфраструктуру, так и укреплять правовую/этическую базу.
Системы искусственного интеллекта (AI), используемые в дистанционном образовании, как правило, функционируют за счет обработки персональных данных студентов. Данные, такие как регистрационная информация студентов, результаты экзаменов и заданий, данные об онлайн-активности, а также аудио- и видеозаписи, могут анализироваться алгоритмами AI. Эта ситуация порождает значительные обязательства в Турции в соответствии с Законом № 6698 о защите персональных данных (KVKK) и связанным с ним законодательством.
Согласно KVKK, образовательные учреждения несут ответственность за законную обработку персональных данных студентов; деятельность по обработке данных должна осуществляться для конкретных, явных и законных целей, а собираемые данные не должны быть избыточными и должны соответствовать цели. В таких приложениях, как дистанционный прокторинг экзаменов, запись изображений студентов с камер может рассматриваться как биометрические данные, что подпадает под категорию «специальных категорий персональных данных» в рамках KVKK и требует более строгих мер. В этом контексте от учреждений ожидается, что они будут в полной мере проводить процессы получения явного согласия, информировать студентов о том, какие данные и для каких целей собираются, и, при необходимости, предлагать альтернативные методы. Например, рекомендации KVKK в области AI предлагают создавать специальную программу соответствия требованиям по защите данных для каждого проекта, обеспечивать минимизацию данных и проводить Оценку воздействия на конфиденциальность (Privacy Impact Assessment, PIA) в ситуациях высокого риска.
Безопасность данных также является критически важным элементом в этом контексте. Платформы дистанционного образования обязаны защищать персональные данные студентов от кибератак. В то время как KVKK предписывает внедрение соответствующих технических и административных мер, он также возлагает на разработчиков систем искусственного интеллекта ответственность за соблюдение принципов «конфиденциальности по умолчанию» (privacy by design). В 2021 году KVKK в Турции опубликовал «Рекомендации по защите персональных данных в области искусственного интеллекта», подчеркнув необходимость защиты основных прав и свобод в приложениях AI. Эти рекомендации включают такие принципы, как прозрачность при обработке данных, предоставление субъектам данных права прекратить обработку своих данных и потребовать их удаления, а также использование анонимизированных данных.
В частности, студенты и родители должны быть проинформированы о данных, собираемых в системах дистанционного образования, и должны иметь возможность осуществлять свои права в отношении этих данных (доступ, исправление, удаление и т. д.). В противном случае, в соответствии с KVKK, студенты могут подать жалобу на образовательное учреждение как на контролера данных, и Совет может наложить административные санкции. В заключение, использование AI в дистанционном образовании должно строиться на прочной инфраструктуре конфиденциальности и защиты данных. Это необходимо как для соблюдения законодательства, так и для того, чтобы студенты доверяли цифровой среде.
Использование алгоритмов искусственного интеллекта в образовании выдвигает на передний план принцип алгоритмической прозрачности. Системы, работающие по принципу «черного ящика», чьи процессы принятия решений непонятны, могут привести к проблемам с доверием со стороны студентов и преподавателей.
С юридической точки зрения, в соответствии с KVKK и общими принципами права в Турции, физические лица имеют право получать информацию о процессах, их касающихся. Хотя в KVKK нет специальной статьи об автоматизированном принятии решений, как в GDPR, обязанность по информированию требует, чтобы в случае, если студенты подвергаются оценке с помощью AI, им предоставлялась информация о методе в качестве необходимого элемента прозрачности. Руководство KVKK по AI также основано на принципе подотчетности, рекомендуя разработчикам и лицам, принимающим решения, делать алгоритмы проверяемыми (auditable) и объяснимыми (explainable). В этом контексте важно, чтобы образовательные учреждения обеспечивали хотя бы минимальный уровень прозрачности в отношении функционирования используемых ими инструментов AI. Например, если университет использует автоматизированную систему рекомендации оценок за экзамен, студентам следует объяснить, что эта оценка была предложена алгоритмом и какие критерии были учтены, а также должен существовать механизм человеческого вмешательства для рассмотрения вопроса в случае возражения студента. Действительно, рекомендации KVKK предусматривают предоставление физическим лицам права возражать против автоматизированных процессов, их касающихся, и, при необходимости, возможность прекратить обработку данных.
Алгоритмическая прозрачность не ограничивается только информированием пользователя; она также связана с объяснимостью (explainability) системы. Возможность аудита оснований решений, принятых искусственным интеллектом, позволяет выявлять несправедливые или ошибочные результаты. В сфере образования это означает, например, возможность понять, по каким критериям инструмент оценки на базе AI выставляет баллы, или на основе каких данных адаптивная система обучения рекомендует студенту определенный контент. Грядущее законодательство Европейского союза об AI (AI Act) представляет четкий подход к этому вопросу, налагая на системы AI высокого риска обязательство предоставлять информацию в понятной для пользователей форме. Хотя в Турции пока нет обязательных правил, специфичных для AI, общий принцип прозрачности применяется в широком спектре права, от административного до договорного, и образовательные учреждения также обязаны быть прозрачными перед своими студентами. Поэтому хорошей практикой было бы запрашивать у поставщиков систем AI, используемых в дистанционном образовании, модели «белого ящика» (white-box) или интерфейсы для объяснений, или, по крайней мере, предоставлять сводные отчеты о процессах принятия решений. В конечном счете, принцип подотчетности требует, чтобы образовательные учреждения принимали необходимые меры для избежания ошибок или негативных последствий AI; в противном случае, они не должны забывать, что возникнут юридические и административные обязательства. Фактически, подготовленный в Турции проект Закона об искусственном интеллекте (хотя еще не принятый) также представляет в качестве общей основы соблюдение принципов безопасности, прозрачности, равенства, подотчетности и конфиденциальности в области искусственного интеллекта.
Использование предвзятых или неполных наборов данных для обучения систем AI порождает проблему алгоритмической предвзятости. При использовании искусственного интеллекта в образовании эти предвзятости могут привести к систематическому ущемлению прав определенных групп студентов. Например, в 2020 году в Великобритании, когда экзамены были отменены из-за пандемии, оценки студентов прогнозировались с помощью алгоритма; однако, поскольку этот алгоритм основывался на исторических показателях успеваемости школ, он занижал оценки успешных студентов из школ в неблагополучных районах, при этом относительно благоприятствуя студентам из частных школ. Когда стало понятно, что алгоритм усугубляет социальное неравенство, это вызвало острую негативную реакцию, и правительство было вынуждено отменить результаты работы алгоритма. Это событие является ярким примером потенциала использования AI в образовании для создания дискриминационного эффекта.
С юридической точки зрения, принцип равенства и запрет дискриминации в Конституции Турции обязывают образовательные учреждения избегать практик, которые приводят к прямой или косвенной дискриминации. Если система искусственного интеллекта выдает дискриминационные результаты на основе таких факторов, как раса, пол или социально-экономическое положение, государственное учреждение, применяющее эти результаты, может быть привлечено к ответственности в административном суде с требованием аннулировать данное действие, либо может возникнуть ответственность по возмещению ущерба. Кроме того, в рекомендациях KVKK по AI предлагается, чтобы разработчики при необходимости сотрудничали с академическими учреждениями и запрашивали мнения беспристрастных экспертов для выявления потенциальных предвзятостей, которые могут создать риск дискриминации. Эту ситуацию можно рассматривать не только как техническую проблему, но и как юридическое обязательство, поскольку использование приложения AI, чьи предвзятости не были устранены, будет представлять собой дискриминацию по неосторожности.
Обращаясь к международным примерам, мы видим, что запрет на дискриминацию распространяется и на использование AI. В США в рамках федерального законодательства о гражданских правах дискриминация в школах по признаку расы или пола запрещена, и Министерство образования расследует нарушения в этой области. Косвенная дискриминация со стороны инструментов искусственного интеллекта также может быть рассмотрена в этом контексте. Например, если система дисциплинарного мониторинга на базе AI, используемая в американской школе, непропорционально часто отмечает чернокожих студентов, эта ситуация может быть расценена как нарушение Раздела VI (Title VI) Закона о гражданских правах 1964 года. Аналогичным образом, алгоритм профориентации, содержащий гендерные стереотипы, может привести к нарушению Раздела IX (Title IX).
Перед лицом таких рисков организации гражданского общества и студенты в США уже начали заявлять о своей позиции. В частности, организация по защите цифровых прав Electronic Privacy Information Center (EPIC) в 2020 году подала жалобу на том основании, что некоторые популярные программы для прокторинга экзаменов выдавали предвзятые и ошибочные результаты в ущерб студентам. Подход Европейского союза также является однозначно антидискриминационным: в преамбуле проекта AI Act особо подчеркивается, что некачественно разработанные или неправильно используемые образовательные системы искусственного интеллекта могут нарушать право на образование и право не подвергаться дискриминации. По этой причине регулирование ЕС считает предварительным условием для систем AI высокого риска, используемых в образовании, их соответствие принципу равенства, требуя, чтобы наборы данных были максимально непредвзятыми и репрезентативными, а результаты регулярно проходили тестирование на предвзятость.
В заключение, на этапах проектирования и использования приложений искусственного интеллекта в дистанционном образовании необходимо уделять особое внимание принципам справедливости и инклюзивности. Как разработчики, так и образовательные учреждения должны отслеживать воздействие на различные группы и проактивно исправлять любые дискриминационные результаты, которые могут возникнуть. В противном случае существует риск столкнуться как с юридическими санкциями, так и с подрывом общественного доверия.
В образовании искусственный интеллект влияет не только на учебный опыт студентов, но и на административные процессы принятия решений. В качестве систем поддержки принятия решений, AI может использоваться во многих областях: от приема студентов до распределения стипендий, от зачисления на программы до систем раннего предупреждения. Например, некоторые университеты рассматривают возможность использования алгоритмов для оценки абитуриентов или прогнозирования их «вероятности успеха». Аналогичным образом, преподаватели или администраторы могут использовать инструменты AI, которые прогнозируют успеваемость студентов и выявляют тех, кто находится в группе академического риска. Хотя такие приложения обладают потенциалом для поддержки решений, основанных на данных, и повышения объективности и скорости, в этом контексте необходимо тщательно очертить правовые границы.
В первую очередь, необходимо подчеркнуть разницу между «поддержкой принятия решений» и «принятием решений». С юридической точки зрения, считается проблематичным полностью доверять автоматизированным системам принятие решений, имеющих значительные последствия. Статья 22 Общего регламента ЕС по защите данных (GDPR) определяет право физических лиц не быть субъектом решений, основанных исключительно на автоматизированной обработке, которые влекут за собой юридические или аналогичные значительные последствия для них (за некоторыми исключениями). Хотя в KVKK нет такой явной статьи, в свете основных принципов KVKK и развития событий в Европе, принимается понимание того, что решения, влияющие на академическую жизнь студентов, не должны полностью доверяться AI. Действительно, в руководстве KVKK по AI также говорится, что, когда автоматизированные процессы оказывают влияние на людей, человеку должна быть предоставлена возможность высказать свою точку зрения и предложены альтернативные пути полностью автоматизированным решениям. На практике это означает обеспечение того, чтобы каждое решение, принятое при поддержке AI, было рассмотрено или одобрено человеком. Например, если система искусственного интеллекта генерирует балл риска относительно успешности студента, этот балл должен носить лишь рекомендательный характер; любая санкция в отношении студента (например, включение в программу поддержки или дисциплинарное взыскание) должна быть предварительно оценена должностным лицом.
Использование AI в системах поддержки принятия решений также поднимает вопрос о распределении ответственности. Если администрация университета принимает негативное решение в отношении студента на основе рекомендации инструмента AI, и позже выясняется, что это решение было несправедливым, кто будет нести ответственность? В турецком праве, когда административные решения признаются незаконными, ответственность несет учреждение; невозможно уклониться от ответственности, заявив: «Так сказал AI». Поэтому администрации, использующие AI для поддержки принятия решений, не должны забывать, что конечная ответственность лежит на них, и должны позиционировать инструменты AI лишь как вспомогательный элемент. С точки зрения правового надзора, если студент возражает против решения, принятого с участием AI, судебные органы будут проверять, является ли обоснование решения разумным и законным. Таким образом, для систем поддержки принятия решений становится важным вести отслеживаемые записи, которые могут показать, какая информация и как оценивалась.
Проект AI Act Европейского союза определяет приложения для поддержки принятия решений, связанные с образованием и профессиональной подготовкой (особенно системы, которые определяют доступ к образовательным возможностям или значительно влияют на образование студента), как «высокого риска». В этом контексте такие критерии, как управление рисками, оценка качества, человеческий надзор и прозрачность, станут обязательными для систем приема студентов, инструментов оценки и искусственного интеллекта для прокторинга экзаменов. Проект регулирования даже планирует запретить в сфере образования приложения AI, которые пытаются измерять эмоциональное состояние или внимание студентов. Это указывает на «красные линии», которые нельзя пересекать даже при использовании AI для поддержки принятия решений: попытка расшифровать личные эмоции студентов создает больший риск нарушения прав, чем приносит педагогической пользы. Можно ожидать, что в будущем аналогичные специальные нормативные акты, касающиеся использования AI в образовательных решениях, будут внедрены и в Турции. Подготовленный в настоящее время проект Закона Турции об искусственном интеллекте упоминает, что системы AI могут быть определены как «высокого риска», и предусматривает, что такие системы должны быть зарегистрированы и постоянно контролироваться уполномоченными органами. Хотя детали пока не ясны, этот подход может быть применен и к приложениям поддержки принятия решений на базе AI в сфере образования.
В итоге, использование AI для поддержки принятия решений в дистанционном образовании может помочь людям, принимающим решения, повысить скорость и объективность. Однако для юридической определенности крайне важно, чтобы процессы принятия решений с поддержкой AI были прозрачными, проверяемыми и находились под контролем человека. Ни одно решение, влияющее на будущее студента, не должно быть оставлено исключительно на усмотрение алгоритма, полностью исключив человеческий фактор. В противном случае, индивидуальные жалобы и юридические нарушения могут стать неизбежными.
Программное обеспечение для мониторинга студентов стало широко распространенным для обеспечения безопасности экзаменов в дистанционном образовании. Это программное обеспечение записывает видео/аудио студентов во время экзамена с использованием их камер и микрофонов, может отслеживать их активность на экране и пытается выявлять подозрительное поведение с помощью искусственного интеллекта. С юридической точки зрения, здесь возникают серьезные проблемы с конфиденциальностью и частной жизнью. Постоянное наблюдение за комнатой и поведением студента, когда он сдает экзамен из собственного дома, представляет собой форму цифрового наблюдения, даже если это делается в образовательных целях. Прецедентным случаем в этом отношении в США является иск, поданный студентом Cleveland State University в Огайо: студент утверждал, что сканирование его комнаты с помощью веб-камеры перед экзаменом является нарушением конфиденциальности в соответствии с 4-й поправкой к Конституции как необоснованный обыск, и федеральный суд вынес решение в пользу студента, признав эту практику неконституционной. Суд подчеркнул, что неприкосновенность частной жизни в доме студента перевешивает необходимость обеспечения безопасности экзамена. Это решение наложило значительное ограничение на такие практики, как сканирование комнат перед экзаменами в университетах при дистанционном обучении. Хотя подобного конституционного дела в Турции еще не было, принципы неприкосновенности жилища и защиты частной жизни могут быть оценены аналогичным образом. Проведение сканирования, показывающего внутреннее убранство дома студента без его согласия, рассматривается как проблематичное с точки зрения основных прав. Более того, с точки зрения KVKK, такая видеозапись может обрабатываться только с явного согласия и при соблюдении очень строгих мер безопасности; в противном случае это будет считаться нарушением данных.
Еще одним аспектом программного обеспечения для мониторинга студентов является использование методов искусственного интеллекта, таких как распознавание лиц и анализ поведения. Например, программное обеспечение может создавать балл риска списывания, анализируя движения глаз, мимику или скорость набора текста на клавиатуре студента. Эти системы имеют вероятность ложных срабатываний и, в некоторых случаях, утверждалось, что они могут быть предвзятыми по отношению к определенным группам. Например, было высказано предположение, что программное обеспечение для онлайн-прокторинга, используемое некоторыми университетами в Нидерландах во время пандемии, с трудом распознавало лица студентов с более темным цветом кожи и часто помечало их как «отсутствующих», что привело к дебатам о расовой дискриминации. Этот вопрос привлек внимание Управления по защите данных Нидерландов, которое в 2020 году начало расследование соответствия такого программного обеспечения требованиям GDPR. В конечном итоге, суд в Нидерландах постановил, что онлайн-прокторинг может продолжаться в случаях, когда приняты достаточные меры и получено согласие студентов; кроме того, утверждение о дискриминации по цвету кожи не было доказано. Тем не менее, этот процесс содержит важные уроки относительно прозрачности и надзора за программным обеспечением для мониторинга студентов. Возникла необходимость как в создании более справедливых алгоритмов с технической точки зрения, так и в обеспечении того, чтобы участие студентов в этих приложениях было, насколько это возможно, на добровольной основе. На практике, из-за этих опасений, некоторые университеты вместо использования программного обеспечения для прокторинга на дистанционных экзаменах перешли на такие методы, как экзамены с открытой книгой или проектные задания.
Еще одним применением AI в дистанционном образовании является автоматизация оценки экзаменов и заданий. Хотя автоматизированная проверка тестов с множественным выбором практикуется уже много лет, AI теперь сделал возможной оценку коротких ответов или эссе на основе анализа текста. Например, некоторые системы могут оценивать эссе, написанные студентами, по таким критериям, как грамматика, связность и качество аргументации. С юридической точки зрения, наиболее важным вопросом здесь является справедливость оценки и механизм апелляции. Если оценка студента полностью определяется системой AI, к кому студент будет обращаться с апелляцией, если он считает оценку несправедливой? По этой причине в возможном будущем регулировании со стороны таких органов, как YÖK или Министерство национального образования, могут быть введены условия, такие как проверка результатов автоматизированной оценки как минимум одним преподавателем-человеком или пересмотр преподавателем по запросу студента. В противном случае, право студента на образование и принцип прозрачности в оценке могут быть подорваны. Другой проблемой является риск того, что системы автоматизированной оценки не смогут корректно оценить разные языки или формы выражения. Особенно в языках со сложной грамматической структурой, таких как турецкий, или при использовании творческих выражений, вполне возможно, что система AI упустит нюансы. Это также может создать косвенное неравенство. Поэтому инструменты автоматизированной оценки должны использоваться только как вспомогательное средство, а окончательное решение все равно должен принимать преподаватель курса.
Еще одним распространенным применением AI на платформах дистанционного образования является адаптация учебных материалов и заданий в соответствии с индивидуальной успеваемостью студента. Эти системы персонализируют контент, который будет представлен студенту на следующем этапе, анализируя его предыдущие успехи по темам, скорость обучения и предпочтения. С юридической точки зрения, хотя адаптивные системы и не кажутся такими спорными, как оценка или мониторинг, у них все же есть аспекты, связанные с равенством и правом на доступ. Например, если адаптивная система постоянно предлагает студенту контент «низкого уровня» и никогда не направляет его к более сложным материалам, этому студенту, возможно, неосознанно была предоставлена более низкая возможность для обучения. В этом случае алгоритм системы «маркирует» студента и «запирает» его на определенном уровне, что может быть педагогически проблематичным и также может противоречить принципу равных возможностей в образовании. По этой причине в дизайне адаптивных систем должны сохраняться элементы разнообразия и исследования; студентам должна быть предоставлена возможность выходить за рамки рекомендаций системы и делать собственный выбор. Еще один момент заключается в том, что интенсивное отслеживание данных адаптивными системами может создавать у студента ощущение постоянного наблюдения. У студентов, знающих, что каждый их клик и время ответа записываются, может возрасти уровень стресса и тревоги. Это также может косвенно стать фактором, влияющим на право на образование. Поэтому адаптивные системы должны строго придерживаться принципа конфиденциальности при обработке данных студентов, собирать только необходимые данные и работать с разрешения/согласия студентов.
Общим знаменателем во всех этих приложениях являются принципы соразмерности и законности. Возможности, предлагаемые AI в дистанционном образовании, безусловно, ценны; однако при использовании этих возможностей не должны нарушаться основные права студентов (такие как право на частную жизнь, право на образование, равенство, защита данных и т. д.).
Использование приложений искусственного интеллекта в дистанционном образовании создает административную ответственность для государственных учреждений (государственных школ, университетов). Например, в государственном университете решение об использовании системы AI для прокторинга экзаменов является административным актом этого учреждения и должно быть законным. Если из-за этой системы AI будут нарушены права студентов (например, несправедливое наказание студента из-за ложного обнаружения списывания), студент может подать иск против администрации с требованием аннулировать решение и возместить ущерб. С точки зрения административного права могут возникнуть вопросы о ненадлежащем оказании услуги или ответственности администрации. Поэтому образовательные учреждения должны проводить анализ юридических рисков перед использованием инструментов AI, по возможности тестировать системы в рамках пилотных проектов и прогнозировать проблемы. Кроме того, в администрации должны быть назначены ответственные подразделения за использование этих технологий; например, в университете может быть создана «Комиссия по цифровому образованию и искусственному интеллекту» для обеспечения постоянного совершенствования путем сбора обратной связи от студентов.
Помимо минимальных юридических требований, использование AI в образовании является этическим вопросом. Академические учреждения должны использовать технологии, не подрывая общественного доверия. По этой причине многие международные организации подготовили руководства по этическим принципам для AI в образовании. Рекомендации ЮНЕСКО по этике искусственного интеллекта 2021 года подчеркивают защиту человеко-ориентированных ценностей, уважение к частной жизни, участие заинтересованных сторон и чувствительность к культурным различиям при использовании AI в образовании. ОЭСР также аналогичным образом затронула сектор образования в своих Принципах в области AI. В Турции также Министерство национального образования в рамках своего управления YEĞİTEK на семинарах по искусственному интеллекту уделяет особое внимание этическим принципам. Хотя такие шаги еще не являются юридическими обязательствами, они создают механизмы саморегулирования для обеспечения ответственного использования AI.
Эффективный надзор за использованием приложений искусственного интеллекта в образовании возможен как через внутренние, так и через внешние механизмы. Внутри учреждения вышеупомянутые комиссии или отделы информационных технологий должны регулярно отслеживать производительность, ошибки и безопасность данных систем AI. Здесь приобретает значение концепция аудита алгоритмов: результаты работы системы AI должны периодически проверяться для оценки наличия в них предвзятости или непредвиденных ошибок. При необходимости, для аудита систем можно приглашать независимых экспертов или исследователей (например, университет может поручить исследовательской группе своего IT-факультета проверить используемый им инструмент оценки на базе AI и получить отчет). Проект Закона об AI в Турции предусматривает регистрацию систем AI высокого риска и их постоянный мониторинг «уполномоченными надзорными органами». Хотя этот надзорный орган еще не определен (например, будет ли это KVKK или Офис цифровой трансформации), вероятно, что при принятии закона системы AI в образовании также будут включены в эту сферу. В рамках AI Act Европейского союза от государств-членов также потребуется создание национальных надзорных органов для регистрации и мониторинга систем высокого риска.
Кроме того, инструментом надзора являются также сертификация и стандарты. В рекомендациях KVKK по AI было предложено разработать правила и механизмы сертификации для приложений AI. Это указывает на то, что в будущем от программного обеспечения, используемого в образовании, может потребоваться наличие определенных сертификатов. Например, если программное обеспечение для прокторинга экзаменов получило сертификат «Соответствие требованиям конфиденциальности студентов» от независимой организации, университеты могут делать свой выбор, основываясь на этом сертификате. Аналогичным образом, EU AI Act также предусматривает оценку соответствия для систем высокого риска, подобную маркировке CE.
Наконец, важной частью надзора является участие заинтересованных сторон. Студенты, родители и учителя, как группы, непосредственно сталкивающиеся с последствиями использования AI, должны быть вовлечены в процесс через механизмы обратной связи. Например, если университет использует искусственный интеллект для выставления оценок, он должен по окончании семестра собирать у студентов опросы об удовлетворенности и восприятии справедливости, чтобы выявлять и устранять возможные проблемы. Таким образом, этические и операционные проблемы могут быть выявлены и исправлены до возникновения юридического спора.
Европейский союз работает над всеобъемлющим регулированием под названием AI Act, которое систематически рассматривает использование искусственного интеллекта в различных секторах. Это регулирование, которое по состоянию на 2023 год вышло на финальную стадию, готовится стать первым в мире всеобъемлющим законодательством в области AI. AI Act применяет подход, основанный на оценке рисков, классифицируя системы AI в соответствии с их уровнями риска и налагая соответствующие обязательства. Сектор образования в проекте AI Act определен как одна из областей высокого риска. В частности, системы AI, используемые в образовании или профессиональной подготовке, которые определяют доступ физических лиц к образованию или оценивают их успехи (например, алгоритмы приема студентов, инструменты для выставления оценок или системы прокторинга экзаменов), попадают в группу высокого риска. Поставщики и пользователи приложений AI в этой категории будут подчиняться ряду строгих обязательств:
Системы AI высокого риска должны проходить всестороннюю оценку рисков перед выпуском на рынок, а влияние погрешности в образовании должно быть сведено к минимуму. Например, алгоритм выставления оценок будет тестироваться на различных демографических группах, чтобы убедиться в его последовательной работе.
Техническая документация этих систем, информация о том, как работает алгоритм, и руководства пользователя должны храниться в готовом для представления компетентным органам виде. Кроме того, система должна регистрировать (вести лог) критически важные этапы принятия решений во время своей работы, чтобы при необходимости обеспечить возможность аудита.
AI Act налагает обязательство информировать пользователей этих систем (будь то студенты, преподаватели или администраторы учреждений) о том, что система содержит AI, и предоставлять общее объяснение принципов ее работы. Это может означать, что студенту потребуется предоставить информацию, например: «Этот экзамен был оценен с использованием искусственного интеллекта». Кроме того, должно быть указано, что контент, созданный искусственным интеллектом (например, автоматизированные тексты обратной связи), имеет именно такую природу.
Человеческий надзор считается обязательным для приложений высокого риска. В образовании это практически означает, что преподаватели и должностные лица должны иметь возможность при необходимости изменять решения, принятые AI, и останавливать систему в случае ошибочного результата, в котором она чрезмерно уверена. AI Act вводит принцип, согласно которому «системы не должны принимать критически важные решения без обеспечения человеческого вмешательства и надзора».
От систем потребуется достижение определенного уровня точности и стабильная работа, а их производительность будет отслеживаться в процессе использования, чтобы убедиться, что она не снижается. Например, от системы идентификации на основе распознавания лиц ожидается соответствие пороговым значениям как для ложноотрицательных (не распознан студент), так и для ложноположительных (принят другой человек за студента) ошибок.
Данные, используемые для обучения систем AI в образовании, должны быть максимально репрезентативными, безошибочными и непредвзятыми. Кроме того, метод сбора этих данных должен соответствовать требованиям GDPR, а сами данные при необходимости должны поддаваться анонимизации.
AI Act также определяет запрещенные практики. В образовательном контексте наиболее примечательным является запрет на использование искусственного интеллекта для определения эмоционального состояния студентов. В последнее время некоторые компании пытаются анализировать эмоции студентов по изображениям с их веб-камер, чтобы измерить их вовлеченность в урок или предоставить обратную связь в реальном времени на основе мимики. ЕС заявил, что такие практики противоречат психологии и конфиденциальности студентов, и определил, что распознавание эмоций в образовательной среде неприемлемо ни при каких обстоятельствах. Манипулятивные инструменты (например, скрытые алгоритмы, предназначенные для влияния на решения студента) также запрещены.
Ожидается, что AI Act будет принят к концу 2024 года и вступит в силу после переходного периода в 2-3 года. Это регулирование также косвенно затронет Турцию; с одной стороны, вероятно, что Турция примет аналогичные стандарты в рамках процесса гармонизации с законодательством ЕС, а с другой — международные компании в сфере образовательных технологий обновят свои продукты в соответствии с нормами ЕС. Действительно, эти события в ЕС вывели на передний план концепцию «надежного AI» на глобальном уровне. Поставщики образовательных технологий уже объявляют о начале работ по приведению своей продукции в соответствие с AI Act. Например, одна из нидерландских edtech-компаний заявила, что в своих инструментах искусственного интеллекта она всегда будет применять такие принципы, как приоритет педагогики над технологией, прозрачность, человеческий надзор и предоставление права на апелляцию. Такие положительные примеры показывают, что регулирование ЕС уже начинает формировать поведение в отрасли.
На федеральном уровне в США пока нет всеобъемлющего закона об AI, подобного тому, что есть в ЕС. Вместо этого применяется подход адаптации существующих законов к использованию AI и управления с помощью некоторых руководящих принципов. В сфере образования законодательство, сосредоточенное на конфиденциальности студентов и гражданских правах, обеспечивает основу для использования AI. Например, Закон о правах семьи в области образования и неприкосновенности частной жизни (FERPA) защищает конфиденциальность личных дел студентов в школах и предоставляет родителям право доступа/исправления этих записей. Если школа использует приложение на базе AI для передачи данных студента третьей стороне, она должна действовать в соответствии с FERPA; в противном случае она рискует потерять федеральное финансирование. Закон о защите конфиденциальности детей в Интернете (COPPA) требует согласия родителей на сбор данных у детей младше 13 лет. Следовательно, онлайн-инструменты AI, используемые в начальной и средней школе, должны получать согласие родителей в соответствии с требованиями COPPA. В США также принято множество законов о конфиденциальности студентов на уровне штатов. Согласно отчету Форума будущего конфиденциальности (Future of Privacy Forum), с 2013 года в штатах вступило в силу более 128 законов о конфиденциальности студентов. Эти законы детализируют условия использования и безопасности данных в договорах, которые школы заключают с поставщиками технологий. Например, закон в Калифорнии запретил поставщикам образовательных технологий использовать данные студентов в рекламных целях (Student Online Personal Information Protection Act).
Кроме того, антидискриминационное законодательство также применяется к использованию AI. Управление по гражданским правам Министерства образования США следит за тем, есть ли в школах дискриминация по признаку расы, цвета кожи, национального происхождения (Раздел VI), пола (Раздел IX) или инвалидности (ADA и Раздел 504 Закона о реабилитации). Если приложение искусственного интеллекта недоступно для студентов с ограниченными возможностями (например, несовместимо с программой чтения с экрана для слабовидящих), это может быть расценено как нарушение ADA. Помимо этого, администрация США также выдвинула некоторые руководящие принципы. В 2022 году Белый дом опубликовал «Проект Билля о правах в области AI», в котором изложены пять основных принципов: (1) Безопасные и эффективные системы, (2) Защита от алгоритмической дискриминации, (3) Конфиденциальность данных, (4) Уведомление и объяснение, и (5) Человеческие альтернативы, участие и резервные варианты. Хотя эти принципы не являются юридически обязательными, они были подготовлены для того, чтобы служить руководством для государственных учреждений при использовании технологий.
В заключение, использование искусственного интеллекта в дистанционном образовании — это область, которая неизбежно будет расти, и нормативно-правовая база будет развиваться параллельно. Турция уже предприняла шаги в области защиты данных с такими законами, как KVKK, и изложила свои принципы в национальной стратегии по AI. Однако, поскольку дистанционное образование становится постоянным компонентом, необходимо будет создать сбалансированную правовую базу, которая защищает права студентов и поощряет инновационные приложения. В этом контексте четырьмя основными столпами должны стать обновление законодательства, внутренние руководства, обучение для повышения осведомленности и участие заинтересованных сторон.
Использование искусственного интеллекта в дистанционном образовании представляет собой новую эру в образовании, требуя при этом многоаспектного юридического анализа. Текущая ситуация в Турции показывает, что благодаря цифровизации, ускоренной пандемией, начался осторожный переход к AI. Платформа EBA и некоторые университетские инициативы представили примеры того, как AI может повысить эффективность в образовании. Однако внедрение этих технологий несет с собой риски, такие как защита персональных данных, нарушение частной жизни студентов, алгоритмические ошибки и предвзятости.
Как мы обсуждали в этой статье, обеспечение конфиденциальности и безопасности данных в соответствии с KVKK является одним из самых фундаментальных обязательств. Данные студентов должны собираться только законным образом и в необходимом объеме, а системы искусственного интеллекта при обработке этих данных должны уважать права субъектов данных. Алгоритмическая прозрачность и подотчетность необходимы для установления доверия в такой общественной сфере, как образование; студенты и родители должны быть информированы о том, что делает AI, и иметь возможность возражать против ошибок. Алгоритмы, которые приводят к несправедливым или дискриминационным результатам, неприемлемы ни с технической, ни с юридической точки зрения — использование искусственного интеллекта, подрывающего принцип равных возможностей в образовании, принесет больше вреда, чем предполагаемой пользы.
Кроме того, в таких приложениях, как мониторинг студентов и автоматизированная оценка, должен соблюдаться принцип соразмерности. Тот факт, что технологически возможно отслеживать студентов вплоть до их домов или записывать каждый их шаг, не делает это законным. Здесь всегда следует задавать вопрос: «существует ли менее интрузивный метод?». Например, для обеспечения безопасности дистанционных экзаменов можно рассмотреть различные форматы экзаменов вместо сканирования комнат. В приложениях AI, направленных на поддержку студентов, таких как адаптивные системы обучения, приоритет должен отдаваться прозрачности и уважению к выбору студента.
Административные и этические обязательства призывают учреждения действовать проактивно. Использование искусственного интеллекта в образовании следует рассматривать не как одноразовое решение, а как процесс, требующий постоянного мониторинга и развития. В этом контексте администрации школ и университетов должны создавать свои собственные внутренние механизмы контроля и надзирать за процессом с помощью таких структур, как сотрудники по защите данных и комитеты по этике. Механизмы надзора не должны существовать только на бумаге; они должны быть реализованы через регулярную отчетность, рассмотрение жалоб и открытость для внешних аудитов. Например, университет мог бы ежегодно публиковать «Отчет о влиянии приложений AI», чтобы делиться с общественностью как успехами, так и проблемными областями.
Международные события ценны тем, что служат ориентиром для Турции. AI Act ЕС, вероятно, установит мировые стандарты для AI в образовании, и Турция, скорее всего, будет стремиться к их соблюдению. С другой стороны, примеры из практики в США предупреждают нас о потенциальных подводных камнях: например, непрозрачные алгоритмы или чрезмерный мониторинг могут быть остановлены судебными решениями, что может нанести ущерб репутации учреждений. Поэтому принятие с самого начала подхода «проектирование с учетом ценностей» (design for values), соответствующего закону и этическим нормам, является самым прямым путем.
В заключение, использование искусственного интеллекта в дистанционном образовании — это вопрос баланса. С одной стороны — инновации, эффективность и возможности персонализированного обучения; с другой — конфиденциальность, равенство, доверие и подотчетность. Для достижения этого баланса задачи ложатся как на законодателей, так и на разработчиков образовательной политики и практиков. Конкретные шаги будут включать обновление законодательства (например, в будущем могут быть приняты специальные нормативные акты, такие как «Положение об использовании цифровых технологий в образовании»), усиление просветительской и образовательной работы (например, обучение учителей и студентов вопросам конфиденциальности данных и грамотности в области AI), а также повышение прозрачности технологической инфраструктуры (например, поощрение алгоритмов с открытым исходным кодом).
Не следует забывать, что конечной целью технологии в сфере образования должно быть улучшение учебного опыта и расширение равных возможностей. Искусственный интеллект может быть мощным инструментом для достижения этой цели; однако, если он не будет руководствоваться правильными принципами, он может отклониться от своего предназначения. Право и этика обеспечивают это руководство, помогая внедрять дистанционное обучение с поддержкой AI безопасным, справедливым и эффективным образом. В среде, где этот баланс может быть достигнут, и студенты, и родители, и преподаватели смогут без опасений пользоваться инновациями, которые несет с собой технология. Таким образом, дистанционное образование, обогащенное искусственным интеллектом, сделает еще один шаг к своей цели — предоставлению качественного и справедливого образования всем слоям общества.
