Научные интересы:

  • алгоритмическое управление;
  • предиктивная аналитика в государственном секторе;
  • взаимодействие человека и компьютера.

Аспирант по направлению «Государственное управление в сфере науки и технологий» в Гонконгском университете науки и технологий (Гонконг).

В 2016 году окончил бакалавриат по востоковедению и африканистике НИУ «Высшая школа экономики». В 2015−16 году по программе академического обмена обучался в Международном университете Акиты (Акита, Япония). В 2018 году получил степень магистра, окончив магистратуру по направлению «международное развитие» в Университете Цинхуа (Пекин, Китай). Лауреат стипендий Гонконгского и Китайского правительств.

  • Data for Policy Conference 2020. Университетский колледж Лондона, онлайн, сентябрь 2020.
  • Asia Pacific Public Policy Network Conference. Университет западной Австралии, Перт (Австралия), февраль 2020. Доклад «Семантические сети дискурса национальных стратегий искусственного интеллекта».
  • Шеньчженьская биеннале урбанизма и архитектуры. Шеньчжень (Китай), декабрь 2019. Презентация дизайн-исследования «Presence» и «Shanzhai Sonata».

Взаимодействие человека и искусственного интеллекта: в поисках альтернативного подхода к регулированию

Постановка проблемы

2 декабря 2020 года Тимнит Гебру, соруководитель отдела этики искусственного интеллекта Google, объявила, что ей пришлось уйти из компании [Hao, 2020]. Формальной причиной для этого послужила подача статьи на академическую конференцию, в которой большие вычислительные языковые модели критиковались с финансовой, экологической и этической точек зрения, однако, по словам главы отдела искусственного интеллекта Google Джеффа Дина, данная публикация не «соответствовала нашей планке публикаций» и «проигнорировала слишком много релевантных исследований» [Tiku, 2020].

Скандал вокруг ухода Тимнит Гебру из Google — не первый в области этики искусственного интеллекта (ИИ). Годом ранее бывший директор MIT Media Lab и большой сторонник идеи создания этических принципов для регулирования ИИ Джоичи Ито ушёл в отставку после того, как были обнаружены его финансовые связи с Джеффри Эпштейном. Это заставило некоторых исследователей утверждать, что вся концепция этики ИИ была искусственно создана для лоббирования механизмов саморегулирования технологических компаний, чтобы избежать создания строгих юридически обязательных к исполнению правил [Ochigame, 2019].

Всё это вызывает озабоченность относительно того, действительно ли технологические компании способны к самоконтролю с помощью механизмов «мягкого права» — «различных типов инструментов, которые устанавливают существенные ожидания, но не подлежат прямому исполнению по требованию государства, и включают такие подходы, как профессиональные принципы, частные стандарты, кодексы поведения и передовой практики» [Marchant, 2019].

Хотя некоторые учёные утверждают, что исследований, посвященных ИИ в незападных контекстах недостаточно [van Berkel et al., 2020], другие отмечают, что «несмотря на культурные различия, оказывается, что принципы этики ИИ везде очень похожи» [Coeckelbergh, 2020]. Эти принципы похожи своей антропоцентричностью и стремлением создать правила, гарантирующие понимание логики алгоритмов типа «черный ящик» для человека и не позволяющие алгоритмам принимать непрозрачные решения [Estrada, 2019]. Но этот выбор подхода к регулированию, ориентированного на человека, не очевиден, поскольку он потенциально ограничивает возможности нового инструмента [Danzig, 2020].

Более того, подходы к регулированию, ориентированные на человека, такие как включение людей в цепочку принятия решений (human-in-the-loop), кажутся ещё более сомнительными, поскольку они, как правило, снижают точность работы алгоритмов [Coyle, 2020] и оказываются неэффективными [Rush et al., 2016; Sheridan et al., 1994]. Те же антропоцентрические принципы были выбраны властями в России и формализованы в Указе Президента Российской Федерации «О развитии искусственного интеллекта в Российской Федерации» и «Концепции регулирования технологий ИИ и робототехники».

Исследовательский проект не ставит целью изучение политики, лежащей в основе практики регулирования ИИ, но скорее пытается понять, как принципы регулирования ИИ применяются на практике, и возможна ли и необходима ли альтернатива этим принципам. Также исследовании будет предпринята попытка описать процесс неформального регулирования ИИ через процедурные нормы, которые сложились в компаниях, работающих с этой технологией.

Теоретический контекст

Любое использование новых информационно-коммуникационных технологий в государственном секторе остается малоизученным вопросом, особенно на низовом уровне (street-level) [Buffat, 2015]. Как технология общего назначения [Brynjolfsson et al., 2017] ИИ рождает множество управленческих вызовов, которые в настоящее время решаются с помощью недостаточно артикулированных принципов ИИ [Burt, 2020], часто оказывающихся неэффективными [Haas & Geisler, 2020]. Это вызывает многочисленные опасения по поводу того, достаточно ли принципов мягкого права для регулирования такой технологии и создает пространство для многочисленных интерпретаций, как эту технологию можно проблематизировать и потенциально институционализировать. [Abbott et al., 2000].

При этом ни один другой аспект технологии искусственного интеллекта не освещается так часто в тревожном свете, как сложность интерпретации и непрозрачность работы алгоритмов «черного ящика» [Pasquale, 2015], которые воспринимаются некоторыми пользователями и разработчиками скорее как алхимия, чем как наука [Xu et al., 2019].

Однако самой большой трудностью оказывается отсутствие механизмов, которые объясняли бы решения, принимаемые ИИ, не инженерам, а тем, на кого эти решения напрямую влияют [Mittelstadt et al., 2019]. Это связано с тем, что механизм взаимодействия между системами алгоритмического принятия решений и людьми, которых затрагивают эти решения, непрозрачны. Таким образом, возникает двусмысленность в понимании ценности этого руководящего принципа, поскольку, в конце концов, «объяснимость возможна только через взаимодействие между человеком и машиной» [Adadi & Berrada, 2018]. Но понять, что и кому нужно объяснить, не всегда просто.

На сегодняшний день литературы на стыке дисциплин государственного управления и взаимодействия человека и компьютера мало, поскольку такой подход редко используется для анализа вопросов государственного управления [Lazar et al., 2016; Thomas et al., 2017]. Распространено мнение, что существующие модели регулирования новых технологий не учитывают контекстуальный опыт их практического применения, что, в свою очередь, ведёт к разрыву между нормативными квази-правовыми принципами и применением этих технологий на местах [Urquhart & Rodden, 2017].

Эти несоответствия, устанавливающие нереалистичные принципы без учёта процедурных норм взаимодействия человека и машины [Huelss, 2019], направлены на включение человека в цикл (human-in-the-loop) [Hedman, 2020] и создание ощущения видимого контроля над системой, которая непостижима для человека, её контролирующего [Barbosa & Barbosa, 2020]. Коулу (2020) ставит под сомнение такой подход и посредством критики принципов ориентированного на человека искусственного интеллекта (human-centered AI] утверждает, что исторически человеческий надзор за автоматизацией оказался неэффективным. Причины такой неэффективности варьируются от предвзятости к автоматизации (automation bias] до обычной усталости, но, тем не менее, чаще всего оказываются атрибутами поведения человека, а не машины. Автор подчёркивает, что существующие исследования по этим вопросам, как правило, не проникают в политический дискурс из-за культивируемой дихотомии между человеком и ИИ. В подобном дискурсе потенциальная возможность потери человеческого контроля над машиной рассматривается как серьёзная проблема, поскольку все опасные действия, ведущие к ошибке, приписываются исключительно машине.

Концептуализация исследования

Теоретическая рамка исследования основана на трёх ключевых терминах: машинном поведении [Rahwan et al., 2019], алгоритме низового уровня (street-level algorithm) [Alkhatib & Bernstein, 2019] и планах и ситуативных действиях [Suchman, 2006].

Поведение машин — это область исследований, в которой интеллектуальные машины рассматриваются не как инженерные артефакты, а как субъекты с определенными моделями поведения и действиями [Rahwan et al., 2019].

Концепция алгоритмов низового уровня — это новая интерпретация общепринятой концепции бюрократии низового уровня (street-level bureaucracy) [Lipsky, 1980], которую можно понимать как «алгоритмические системы, которые напрямую взаимодействуют с людьми и принимают решения в отношении людей в социотехнической системе» [Alkhatib & Bernstein, 2019].

Понятие планов и ситуативных действий [Suchman, 2006] широко используется в дисциплине взаимодействия человека с компьютером. Планы отражают то, как машины должны работать, а ситуативные действия — то, как машины используются на самом деле.

Эти три термина составляют основу аналитической рамки исследования, потому что они признают существенную роль машин в принятии решений и позволяют исследовать взаимодействие с машинами через призму менее антропоцентрического анализа.

Сама исследовательская рамка состоит из двух частей. Первая посвящена исследованию способов, которыми алгоритмы низового уровня влияют на поведение разработчиков систем ИИ и людей на улицах. Вторая часть меняет эту логику на противоположную и исследует способы, которыми разработчики и люди влияют на поведение алгоритмов низового уровня. В этой структуре нас особенно интересует способ коммуникации между алгоритмами низового уровня, людьми и разработчиками, а также то, как этот способ коммуникации формирует ситуативные действия, возникающие в этом взаимодействии. Образно говоря, этот подход позволяет понять «язык» общения между алгоритмами низового уровня и людьми, в то же время обращая пристальное внимание на «слова», которые используются в этом общении. Этот новый взгляд на проблему может выявить неочевидные модели поведения, которые возникают между людьми и системами искусственного интеллекта, с помощью которых могут быть выведены потенциально отличные принципы регулирования, поскольку они будут более тесно связаны с процессами, происходящими на «земле», создавая, таким образом, возможность дизайна подхода к регулированию снизу-вверх.

Исследовательские вопросы

Исследование стремится понять как принципы регулирования ИИ, изложенные в регуляторных документах, применяются на практике. Таким образом, основные исследовательские вопросы следующие:

  • существуют ли механизмы надзора за применением этих принципов на практике, и какая организация занимается надзором?
  • считают ли респонденты, что эти принципы могут быть применены в их практике в принципе?
  • какие формы неформального регулирования ИИ, основанные на процедурных нормах, а не на регламентированных правилах, сложились в исследуемых компаниях?
  • могут ли принципы регулирования систем ИИ быть выведены из процедурных норм повседневного взаимодействия между системами ИИ и людьми?

Методы исследования

Исследование будет состоять из двух методологических частей — экспертных интервью и анализа кейса.

Будут проинтервьюированы представители фирм городского консалтинга, которые занимаются проектами умного города с применением технологий ИИ.

Все интервью будут транскрибированы, и их текст будет проанализирован в компьютерной программе для качественного анализа NVivo 12 for Mac. Интервью будут кодированы построчно.

Вторая часть исследования будет рассматривать кейс применения системы на базе искусственного интеллекта, которая использует методы машинного зрения для назначения штрафов автовладельцам, которые не соблюдают правила дорожного движения (в основном тем, кто превышает скорость). В настоящее время эта система внедрена в Москве и эксплуатируется государственной организацией — Центром организации дорожного движения города Москвы. Данные для анализа этого исследования будут собраны из открытых источников, таких, как сообщения из СМИ, а также из интервью с сотрудниками организации.

Источники

Abbott, K. W., Keohane, R. O., Moravcsik, A., Slaughter, A.-M., & Snidal, D. (2000). The Concept of Legalization. International Organization, 54(3), 401−419.

Adadi, A., & Berrada, M. (2018). Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI). IEEE

Alkhatib, A., & Bernstein, M. (2019). Street-Level Algorithms: A Theory at the Gaps Between Policy and Decisions. Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, 1−13.

Barbosa, G., & Barbosa, S. (2020). You should not control what you do not understand: The risks of controllability in AI. 231−236.

Brynjolfsson, E., Rock, D., & Syverson, C. (2017). Artificial Intelligence and the Modern Productivity Paradox: A Clash of Expectations and Statistics (No. w24001). National Bureau of Economic Research.

Buffat, A. (2015). Street-Level Bureaucracy and E-Government. Public Management Review, 17(1), 149−161.

Burt, A. (2020, November 9). Ethical Frameworks for AI Aren’t Enough. Harvard Business Review.

Coeckelbergh, M. (2020). AI Ethics. MIT Press.

Coyle, D. (2020, September 15). The tensions between explainable AI and good public policy. Brookings.

Danzig, L. (2020). The Case for Explainable AI (XAI). InfoQ.

Estrada, D. (2019). Human Supremacy as Posthuman Risk. Computer Ethics — Philosophical Enquiry (CEPE) Proceedings, 2019(1).

Haas, L., & Geisler, S. (2020, April 28). In the realm of paper tigers — exploring the failings of AI ethics guidelines. AlgorithmWatch.

Hao, K. (2020). We read the paper that forced Timnit Gebru out of Google. Here’s what it says. MIT Technology Review.

Hedman, A. (2020). A View from Outside the Loop.

Huelss, H. (2019). Deciding on Appropriate Use of Force: Human-machine Interaction in Weapons Systems and Emerging Norms. Global Policy, 10(3), 354−358. doi.org/10.1111/1758−5899.12 692

Koulu, R. (2020). Human control over automation: EU policy and AI ethics. European Journal of Legal Studies, 12, 9−46. doi.org/10.2924/EJLS.2019.019

Lazar, J., Abascal, J., Barbosa, S., Barksdale, J., Friedman, B., Grossklags, J., Gulliksen, J., Johnson, J., McEwan, T., Martínez-Normand, L., Michalk, W., Tsai, J., Van der Veer, G., Von Axelson, H., Walldius, A., Whitney, G., Marco Winckler, M., Wulf, V., Churchill, E. F., … Wentz, B. (2016). Human-computer interaction and international public policymaking: A framework for understanding and taking future actions. Foundations and Trends in Human-Computer Interaction 9 (2), 69−149. dx.doi.org/10.1561/1 100 000 062

Lipsky, M. (1980). Street-level bureaucracy: Dilemmas of the individual in public services. Russell Sage Foundation.

Marchant, G. (2019). ‘Soft Law' Governance Of Artificial Intelligence | AI Pulse. aipulse.org/soft-law-governance-of-artificial-intelligence/

Mittelstadt, B., Russell, C., & Wachter, S. (2019). Explaining Explanations in AI. Proceedings of the Conference on Fairness, Accountability, and Transparency, 279−288. doi.org/10.1145/3 287 560.3287574

Ochigame, R. (2019). How Big Tech Manipulates Academia to Avoid Regulation. theintercept.com/2019/12/20/mit-ethical-ai-artificial-intelligence/

Pasquale, F. (2015). The Black Box Society: The secret algorithms that control money and information. Harvard University Press.

Rahwan, I., Cebrian, M., Obradovich, N., Bongard, J., Bonnefon, J.-F., Breazeal, C., Crandall, J. W., Christakis, N. A., Couzin, I. D., Jackson, M. O., Jennings, N. R., Kamar, E., Kloumann, I. M., Larochelle, H., Lazer, D., McElreath, R., Mislove, A., Parkes, D. C., Pentland, A. ‘Sandy', … Wellman, M. (2019). Machine behaviour. Nature, 568(7753), 477−486. doi.org/10.1038/s41586−019−1138-y

Rush, J. L., Ibrahim, J., Saul, K., & Brodell, R. T. (2016). Improving Patient Safety by Combating Alert Fatigue. Journal of Graduate Medical Education, 8(4), 620−621. doi.org/10.4300/JGME-D-16−186.1

Sheridan, T. B., Skaar, S. B., & Ruoff, C. F. (1994). Human Enhancement And Limitation In Teleoperation. In Teleoperation and Robotics in Space (Vol. 1−0, pp. 43−86). American Institute of Aeronautics and Astronautics. doi.org/10.2514/5.9 781 600 866 333.0043.0086

Suchman, L. (2006). Human-machine reconfigurations: Plans and situated actions (2nd Edition).

Thomas, V., Remy, C., Hazas, M., & Bates, O. (2017). HCI and Environmental Public Policy: Opportunities for Engagement. Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, 6986−6992. doi.org/10.1145/3 025 453.3025579

Tiku, N. (2020). Google hired Timnit Gebru to be an outspoken critic of unethical AI. Then she was fired for it. Washington Post. www.washingtonpost.com/technology/2020/12/23/google-timnit-gebru-ai-ethics/

Urquhart, L., & Rodden, T. (2017). New directions in information technology law: Learning from human-computer interaction. International Review of Law, Computers & Technology, 31(2), 150−169. doi.org/10.1080/13 600 869.2017.1 298 501

van Berkel, N., Papachristos, E., Giachanou, A., Hosio, S., & Skov, M. B. (2020). A Systematic Assessment of National Artificial Intelligence Policies: Perspectives from the Nordics and Beyond. Proceedings of the 11th Nordic Conference on Human-Computer Interaction: Shaping Experiences, Shaping Society, 1−12. doi.org/10.1145/3 419 249.3420106

Xu, F., Uszkoreit, H., Du, Y., Fan, W., Zhao, D., & Zhu, J. (2019). Explainable AI: A Brief Survey on History, Research Areas, Approaches and Challenges. In J. Tang, M.-Y. Kan, D. Zhao, S. Li, & H. Zan (Eds.), Natural Language Processing and Chinese Computing (pp. 563−574). Springer International Publishing. doi.org/10.1007/978−3-030−32 236−651