Научные интересы:

  • методология юридической науки;
  • теория аргументации;
  • социология науки и техники;
  • правовая информатика (Legal Tech) и информационное право;
  • искусственный интеллект и право (AI & Law).

Аспирантка Санкт-Петербургского государственного университета (СПбГУ) по специальности «Теория и философия права». Преподаватель кафедры теории и истории государства и права СПбГУ.

В 2014 году получила степень бакалавра права в СПбГУ, в 2016-м там же получила степень магистра права, окончив магистратуру по специальности «Медицинское право». Соорганизатор петербургского отделения Legal Hackers — некоммерческого движения, объединяющего специалистов и энтузиастов из различных отраслей для развития сферы правовой информатики. Участвовала в научно-исследовательских проектах, финансируемых Центром изучения Германии и Европы СПбГУ и Университетом Билефельда (Германия), Фондом «Сколково», Российским фондом фундаментальных исследований, Национальным исследовательским университетом «Высшая школа экономики» (НИУ ВШЭ).

Научные публикации:

  • Gracheva Anastasia, Naumov Victor. Cyber Incident Response and Data Breach Notification (Russian Federation) // Thomson Reuters Practical Law Data Privacy Advisor. — 2019.
  • Gracheva Anastasia, Naumov Victor. Information Security Considerations (Russian Federation) // Thomson Reuters Practical Law Data Privacy Advisor. — 2019.
  • Грачева А. В. От правовой информатики до Legal Tech: история развития в россиии за рубежом // Закон. — 2019. — №. 5. — С. 56−65.
  • Васильев В. В., Грачева А. В., Блеканов И. С., Родионов А. И. Графические методы определения семантически значимых текстов судебных решений // Управление процессами и устойчивость. — 2019 — № 6 (1). — С. 234−239.
  • Manzhosov, S. Gracheva, A. Nogaylieva, F. Vas’kova, E. Zezekalo, A. Constitutional Law / Droit constitutionnel 2017 Russia / Russie // European Review of Public Law. — Vol. 31. — No. 2. — pp. 557−598.

Избранные выступления на конференциях и семинарах:

  • XIII международная научно-практическая конференция «История науки и техники. Музейное дело». Москва, 2019. Доклад «Бесправный пользователь: искусственный интеллект на службе органов публичной власти».
  • Sino-Russia Legal Comparison & International Law Forum. Санкт-Петербург, 2019. Доклад «Legal Knowledge Based Systems: Legal Theory and A. I.».
  • E-health: Grand challenges and Legal Concerns. Роттердам (Нидерланды), 2014. Доклад «Telemedicine consultation in Russia: current trends, technical standards and guidelines of care».

Доверие юриста к информационной системе: представления, установки и практики использования.

Постановка проблемы

Параллельно с автоматизацией самых различных областей жизни, благодаря универсальным принципам, которые предлагают исследователи в области этики и права, идёт процесс гуманизации технологий. Группа учёных из Гарварда проанализировала [Fjeld et al., 2020] тридцать шесть основополагающих статей о принципах, которые должны быть заложены в технические решения с искусственным интеллектом, и объединила их в восемь групп. Эти принципы можно выразить единой формулой: по мнению учёных, технологии должны быть человеко-ориентированными, надёжными и понятными. Как раз эти условия формируют основу для доверия между людьми, а теперь такие требования исследователи начинают предъявлять и к взаимодействию человека и машины.

Тема гуманизации автоматизированных систем в общественных дискурсах возникает сегодня в качестве генеральной — от критики предвзятых рекомендаций Facebook для политической агитации [Confessore, 2018] до судебной системы COMPAS, обвинённой в расовой дискриминации (Larson, 2016], и системы Amazon по подбору персонала, отдающей предпочтение кандидатам мужского пола [Dastin, 2018]. Программное обеспечение не всегда способно соответствовать ценностям конкретного пользователя, а потому может возникнуть недоверие к решениям, которые оно предлагает.

Несмотря на общественную дискуссию о рисках, связанных с технологиями, существуют и иные тенденции — делегирования юридического техническому. К примеру, юридическая фирма Frederick J. Hanna & Associates полагалась исключительно на автоматизированную систему и вспомогательный персонал без юридического образования для взыскания долгов через суд [Eidelman, 2015]. Другая юридическая фирма, Pressler & Pressler, LLP использовала автоматизированную систему подготовки претензий. Перед подачей иска в суд адвокаты рассматривали каждое дело менее 30 секунд — автоматизированная система собирала доступные ей данные о задолженности, при этом адвокаты не проверяли и не подтверждали дополнительными доказательствами как наличие таковой, так и верность обозначенной в иске суммы [Darragh, 2019]. В обоих случаях суд и регулятор были обеспокоены не только самим использованием автоматизированной системы, но масштабами и ролью, которые они играли при принятии юридически важного решения — обращения квалифицированного юриста в суд.

Объектом исследования стало доверие юриста к системам поддержки принятия решения по оценке риска. Цель исследования — расшифровать парадокс между двумя тенденциями: недоверием к технике и делегированием ей профессиональных компетенций. Почему взаимодействие происходит по-разному: в одних случаях возникает доверие и (или) происходит делегирование юридических компетенций, а в других — нет?

Теоретический контекст

Концепт «доверия» в социальных науках остаётся постоянным предметом споров и дискуссий, тем более если речь идёт о доверии к технологиям. Некоторые исследователи считают [Friedman et al., 2000], что между человеком и техникой нет отношений доверия, так как это исключительно человеческая категория, которая не может применяться к техническому. Однако такая критика направлена только на один вид определения доверия к технологии — как полностью тождественного доверию межличностному («человек — человек»), которое прослеживается через категории доброжелательности, компетентности и честности. Другие исследователи [Shi et al., 2015] считают, что доверие формируется между людьми и институтами, например, через доверие к компании-разработчику и её ценностям опосредованно формируется отношение к системе.

Иная популярная линия описания доверия между человеком и технологией — так называемая модель принятия технологии (technology acceptance model), которая используется в качестве объяснительной модели поведения пользователей [Pavlou, 2003]. Но её инструментальный характер позволяет проанализировать только конкретную систему на предмет технических характеристик и восприятия их пользователями, не давая ответы на вопросы об общих закономерностях доверительного взаимодействия человека и машины (Lim et al., 2018].

Авторы публикаций в области доверия к технологиям за редким исключением (исследования, посвященные автономным транспортным средствам, например, Buckley, 2018; Waytz et. al, 2014; Lee et al., 2016], останавливаются на осознаваемых пользователями практиках использования или берут во внимание только телесные практики взаимодействия человека и машины. Настоящее исследование попытается охватить сразу три уровня — представления, установки и телесные практики, как осознаваемые пользователем, так и неосознаваемые, для выявления признаков доверительного взаимодействия между юристом и автоматизированной системой.

Концептуализация и дизайн исследования

В качестве теоретической оптики исследование опирается на трёхэлементное деление фреймов в терминологии И. Гофмана [Гофман, 2004]: мировоззренческие, объектные и прагматические.

Мировоззренческие фреймы конкретизируются через труды Дж. Александера [Александер, 2013] и Ф. Смита [Смит, 2008]: аппарат культурсоциологии через восприятие техники как знаковой системы позволяет символически осмыслить технологии и выявить представления юристов о них. Александер и Смит предлагают также обратиться к осознанию риска через концепт «общество риска» Ульриха Бека, что помогает раскрыть глубже восприятие технологии как сакрального или профанного [Alexander et al., 1996].

Объектные фреймы позволяют вычленить установки юристов в отношении конкретного технического объекта — системы поддержки принятия решений по оценке риска. Для анализа таковых исследование обращается к системной теории Д. Х. Макнайта [McKnight, 2011], оперирующей дефинициями «доверия» и «недоверия» к технологии, а также параметрами для их идентификации [McKnight et al., 2001]. Концепция исходит из зеркальности понятий доверия и недоверия, где доверие описывается через три следующих параметра: надёжность, функциональность и полезность. Теория Д. Х. Макнайта берётся во внимание, так как она содержит наиболее цельную концепцию доверия к автоматизации: от понятия доверия и недоверия [McKnight et al., 2001], сравнения формирования доверия между людьми и человека к технологии [Lankton et al., 2015] до параметров измерения доверия к технологии [McKnight et al., 2011]. Помимо этого, автор в своей концепции доверия исходит из того, что общее отношение человека к информационным технологиям влияет на доверие к конкретному технологическому решению, что позволяет не только уточнить объектные фреймы, но и соотнести их с мировоззренческими установками, изложенными выше.

На уровне прагматических фреймов возможна фиксация реакций пользователя, которые могут служить дополнительным фактором определения доверия или недоверия пользователя к системе. Дж. Д. Ли и К. А. Си утверждают, что «многие исследования показывают, что люди социально реагируют на технологии и относятся к компьютерам так же, как и к другим людям, сотрудничающим с ними» [Lee et al., 2004]. Это позволяет рассмотреть область доверия к автоматизации (trust to automation studies), в которой существует большой корпус литературы, посвященный доверию к беспилотным автомобилям. Для определения неосознаваемых пользователем реакций, свидетельствующих о возможном доверии и недоверии, выражаемых телесными практиками, используются невербальные коммуникативные паттерны, с помощью которых через средства видеофиксации анализируется эмоциональное состояние [Waytz, 2014]. И здесь, в первую очередь, исследование будет отталкиваться от сигналов недоверия (эмоционально окрашенных жестов и мимики — отодвигании компьютера, битья по клавиатуре, попыток взаимодействия с последующим отказом от такового при обнаружении ошибки и так далее). Помимо эмоциональных состояний юриста, необходимо обратить внимание на набор практик и приёмов в процессе взаимодействия с системой. Стоит учесть адресность вербальных и невербальных актов юриста, определение им значения «мест», «зон», «дистанций» и «перемещений» и прочего [Вахштайн, 2011], чтобы увидеть элементы метакоммуникативных сообщений, поддерживающих фрейм.

Кроме трёх типов фреймов, которые позволяют на основе их соотношения выявить типы связей между тремя уровнями, важным понятием исследования представляется «делегирование» в терминологии Б. Латура [Latour, 1992]. В контексте исследования под делегированием понимается передача когнитивных функций системе, которая в контексте работы с системой по оценке риска заключается в практиках юристов, безусловно учитывающих результат системы (высокий, средний или низкий риск) без поиска объяснений и интерпретаций, без перепроверки результатов.

Исследовательские вопросы

  • Как соотносятся мировоззренческие представления юриста, установки доверия и недоверия к конкретной системе и телесные практики её использования?
  • Какие типы взаимодействия на основе связей между тремя уровнями можно выявить?
  • Как соотносятся типы взаимодействия с делегированием юристом системе своих компетенций?

Методы исследования

Исследование состоит из двух основных методологических частей: полевой и лабораторной. Полевая часть будет представлять собой не менее двух недель включённого наблюдения за использованием юристом правовой системы поддержки принятия решений по оценке рисков, а также глубинное интервью с пользователем системы. Интервью будет строиться вокруг следующих параметров:

  • восприятие юристом технического риска, а также будущего связанным с ним юридического риска, в том числе от установки на избегание риска и опасности;
  • доверие к конкретной системе, индикаторы которого категоризированы системной теорией Д. Х. Макнайта.

Наблюдение необходимо для уточнения переменных, формулирования первичных выводов и гипотез перед экспериментом, а также для выявления возможных типов взаимодействия на основе связей между тремя уровнями: мировоззренческих представлений юриста, установки доверия или недоверия к конкретной системе и телесных практик её использования.

Следующая часть исследования состоит из эксперимента с предварительным анкетированием участников, а также интервью участников после эксперимента. Будет сформировано четыре группы практикующих юристов по двум признакам: с доступом к информационной системе по оценке риска или без такового, с пользовательским опытом и без него. В рамках эксперимента будет произведена видеофиксация экрана и самого участника эксперимента. После эксперимента предполагается серия полуструктурированных интервью с участниками для уточнения типов взаимодействия юриста и информационной системы, а также их соотношения с делегированием.

Источники

Александер, Дж. Смыслы социальной жизни: культурсоциология / под науч. ред. Д. Ю. Куракина, пер. Г. К. Ольховиков. М.: Праксис, — 2013 — 680 с.

Вахштайн, В.С. Социология повседневности и теория фреймов / В.С.Вахштайн. — СПб.: Изд-во Европейского ун-та в СПб, — 2011 — 334 с.

Вахштайн В. С. Теория фреймов как инструмент социологического анализа повседневного мира: автореф. дисс. на соиск. учен. степ. канд. соц. наук (22.00.01) / Вахштайн Виктор Семенович; ГУ-ВШЭ, Институт научной информации по общественным наукам РАН. — Москва, 2007. — 25 с.

Гофман, И. Анализ фреймов: эссе об организации повседневного опыта / пер. с англ. Р.Е. Бумагина, Ю.А. Данилова, А.Д. Ковалева, О.А. Оберемко, под ред. Г. С. Батыгина и Л. А. Козловой. — М.: Институт социологии РАН; ФОМ, — 2004 — 752 с.

Гоффман, И. Поведение в публичных местах: заметки о социальной организации сборищ / под ред. М. Соколова, пер. с англ. А. Корбута. — М.: Элементарные формы, — 2017 — 382 с.

Смит, Ф., Тартаковская, И., Куракин, Д. Рассуждения о гильотине: карательная техника как миф и символ / Ф. Смит, И. Тартаковская, Д. Куракин // Социологическое обозрение. — 2008. — Т. 7. — №. 2. — С. 3−23.

Alexander, J. C., Smith, P. (1996). Social Science and Salvation: Risk Society as Mythical Discourse. Zeitschrift für Soziologie, 25(4), 251−262.

Buckley, L., Kaye, S. A., & Pradhan, A. K. (2018). A qualitative examination of drivers' responses to partially automated vehicles. Transportation Research Part F: Traffic Psychology and Behaviour, 56, 167−175.

Castelfranchi, C., Falcone, R. (2000). Trust and Control: a Dialectic Link. Applied Artificial Intelligence, 14(8), 799−823.

Confessore, N. (2018). Cambridge Analytica and Facebook: The Scandal and the Fallout So Far. New York Times.

Darragh, T. (2019). N.J. law firm, debt collector fined over consumer lawsuits. NJ.

Dastin, J. (2018). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters.

Eidelman, S. (2015). The Winding Road of Litigation Against Frederick J. Hanna Nears End With CFPB Filing Proposed Consent Order Today; Hanna and NARCA Respond. InsideARM.

Fjeld, J., Achten, N., Hilligoss, H., Nagy, A., and Srikumar, M. (2020). Principled Artificial Intelligence: Mapping Consensus in Ethical and Rights-based Approaches to Principles for AI. Berkman Klein Center for Internet & Society.

Friedman, Batya, Peter H. Khan Jr, and Daniel C. Howe. (2000) Trust online. Communications of the ACM.

Hu, Y. J. (2001). Some Thoughts on Agent Trust and Delegation. Proceedings of the Fifth International Conference on Autonomous Agents, 489−496.

Lankton N. K., McKnight D. H., Tripp J. (2015). Technology, humanness, and trust: Rethinking trust in technology. Journal of the Association for Information Systems.

Larson, J. et al. (2016). How We Analyzed the COMPAS Recidivism Algorithm. ProPublica.org.

Latour, B. (1992). Where are The Missing Masses? Sociology of a few mundane artifacts. In: Shaping Technology-Building Society. Studies in Sociotechnical Change, 225−259.

Latour, B. (1996). On Interobjectivity. Mind, Culture, and Activity. An International Journal, 3(4), 228−245.

Lee, J. D., See, K. A. (2004). Trust in Automation: Designing for Appropriate Reliance. Human factors, 46(1), 50−80

Lee, J., Kim, N., Imm, C., Kim, B., Yi, K., & Kim, J. (2016). A Question of Trust: An Ethnographic Study of Automated Cars on Real Roads. Proceedings of the 8th International Conference on Automotive User Interfaces and Interactive Vehicular Applications — Automotive’UI.

Lim, W. M. (2018). Dialectic antidotes to critics of the technology acceptance model: Conceptual, methodological, and replication treatments for behavioural modelling in technology-mediated environments. Australasian Journal of Information Systems, 22.

Mahler, T. (2010). Tool-Supported Legal Risk Management: A Roadmap. European Journal of Legal Studies, 3, 146−167.

McKnight D. H. et al. (2011). Trust in a specific technology: An investigation of its components and measures. ACM Transactions on management information systems (TMIS)

McKnight D. H., Chervany N. L. (2001). Trust and distrust definitions: One bite at a time. Trust in Cyber-societies. Springer.

McKnight, D. H. et al. (2011). Trust in a Specific Technology: an Investigation of Its Components and Measures. ACM Transactions on Management Information Systems (TMIS), 2(2), 1−25.

Pavlou, Paul A. (2003). Consumer Acceptance of Electronic Commerce: Integrating Trust and Risk with the Technology Acceptance Model. Int. J. Electron. Commer.

Shi, S., & Chow, W. S. (2015). Trust development and transfer in social commerce: prior experience as moderator. Industrial Management & Data Systems.

Waytz A., Heafner J., Epley N. (2014). The mind in the machine: Anthropomorphism increases trust in an autonomous vehicle. Journal of Experimental Social Psychology.

Yamani, Y., Long, S. K., Itoh, M. (2020). Human-Automation Trust to Technologies for Naïve Users Amidst and Following the COVID-19 Pandemic. Human Factors, 62(7), 1087−1094.