Программирование Викиданных/Обзор Викиданных

Факультет компьютерных технологий Иконка программы Pywikibot

Программирование Викиданных Предисловие Тестирование Главы (2021): Обзор Викиданных — Ольга Владимировна Buckets and Balls — Елена Юрьевна Bots in Wikidata — Марина Игоревна Аниме — Евгений Олегович Космос — Евгений Дмитриевич Национальный парк — Екатерина Алексеевна Области России — Татьяна Алексеевна Населённые пункты ‒ Леонид Михайлович Алгоритм работы (для авторов): Алгоритм работы для новых статей ProWD SPARQL — оформление скриптов Иллюстрации в ВВ LaTeX и kaobook Иллюстрация в LaTeX Статья в LaTeX на русском Статья в LaTeX на английском

Обзор Викиданных

Викиданные

Викиданные — это структурированная и совместно редактируемая база данных, созданная Фондом Викимедиа. Проект был официально запущен 30 октября 2012 года, его разработка ведется под руководством Wikimedia Deutschland. Проект создавался за счёт пожертвований Allen Institute for Artificial Intelligence, Gordon and Betty Moore Foundation и Google. В данный момент Викиданные — это бесплатная и свободная база знаний, которая может использоваться и редактироваться людьми и машинами.

Любой объект Викиданных имеет свой уникальный идентификатор и свойства. Эта информация может быть обработана с помощью компьютера, и при этом она понятна пользователям. Сайт Викиданных содержит сервис "Wikidata Query", включающий набор инструментов для построения SPARQL-запросов и их визуализации в виде таблиц, диаграмм, графов или географических карт.

Содержимое Викиданных распространяется по лицензии Creative Commons CC0, которая позволяет повторно использовать информацию самыми разными способами: пользователи могут копировать, изменять, распространять и обрабатывать эти данные в любых целях. Еще одна особенность Викиданных — это многоязычность. Любой человек может редактировать Викиданные более чем на 350 языках.

Викиданные постоянно обновляются, добавляются новые объекты. На 2021 год насчитывается более 95 миллионов страниц и более полутора миллиардов правок. В 2019 года в Викиданных было совершено более 800 тысяч правок, что превзошло количество правок в английской Википедии и сделало Викиданные наиболее редактируемым сайтом Викимедиа.

Объект «математик» в Викиданных — этот раздел не нужен.

Об исследовании Викиданных

В работе "A large-scale collaborative ontological medical database" описываются плюсы использования Викиданных для создания крупномасштабной совместной медицинской базы данных. Основные требования к создаваемой базе данных — это платформа с обновлением в реальном времени, подходящая лицензия для последующего использования полученной информации, свободное редактирование на любом языке. Именно это и есть основные характеристики Викиданных. Во-первых, Викиданные — это открытая, редактируемая база знаний. Любой пользователь без навыков программирования может вносить изменения более чем на 350 языках и диалектах. Во-вторых, информация постоянно обновляется, добавляются новые объекты. В настоящее время Викиданные насчитывают более 18000 редакторов. В-третьих, лицензия Creative Commons CC0 обеспечивает широкое использование полученной информации.

Есть несколько альтернативных вариантов баз знаний:

1. Cyc — проект компании Cycorp (Остин, США) по созданию онтологической базы знаний, позволяющий решать задачи из области искусственного интеллекта. Сейчас Cyc имеет исследовательскую лицензию ResearchCyc. У данной базы знаний есть некоторые недостатки: сложность системы (сложность добавления данных вручную), недостаток документации для изучения системы, неполнота системы.
2. Evi (ранее True Knowledge) – технологическая компания в Кембридже (Англия), которая специализируется на базе знаний и программном обеспечении семантического поиска. Добавление информации в базу знаний осуществляется двумя способами: импорт из «заслуживающих доверия» внешних баз данных (например: Википедия) и из представления пользователей в соответствии с единообразным форматом и подробным процессом ввода. Как и в Википедии, пользователь может изменять данные, «соглашаться» или «не соглашаться» с информацией, представленной True Knowledge. Система может отклонить любые факты, которые семантически несовместимы с другими утвержденными знаниями, в отличие от Викиданных, где могут храниться противоречивые данные.

По мнению авторов статьи, Викиданные являются лучшим вариантом для обработки информации, т.к. можно связывать объекты через их свойства (экземпляр P31, подкласс 279, часть P361, имеет часть P527), создавать SPARQL-запросы, визуализировать их результаты в виде таблиц, графов, диаграмм или сохранять в нужном формате (CSV, JSON, SVG).

Таким образом, авторы призывают обратить внимание на Викиданные, которые могут взять на себя роль централизованного хранилища данных. В статье "Falcon 2.0: An Entity and Relation Linking Tool over Wikidata" приводится пример использования Викиданных в качестве централизованной и общедоступной базы знаний для системы FALCON 2.0. Это инструмент, связывающий сущность и отношения через Викиданные. Эта система идентифицирует сущности в коротком тексте или вопросе, а затем связывает их с соответствующими URL в графе знаний Викиданных.

Неоднозначность объекта Викиданных

Как говорилось ранее любой объект Викиданных имеет свойства. Одно из них – "P31" (instance of – экземпляр класса). Оно определяет класс, к которому принадлежит объект. В правилах Викиданных и в некоторых статьях, которые были найдены с помощью сайта https://scholar.google.com/, написано, что объекту соответствует один класс.

Но в ходе исследований было обнаружено, что это не всегда так. Оказалось, что некоторые объекты являются экземплярами совершенно разных классов. Например, Королевская шведская академия наук (Q191583) является экземплярами сразу трех классов: академии наук, сооружении и королевской академии Швеции. На мой взгляд, такое определение классов в этом случае верно. Поскольку данный объект можно рассматривать как организацию, целью которой является развитие науки, и как архитектурное сооружение.

Разрешением задачи о лексической многозначности занимался ученый Angela Fogarolli из итальянского университета. Результаты исследований были представлены в виде статьи "Word Sense Disambiguation based on Wikipedia Link Structure". Автор выделяет объекты неоднозначностей, которые соответствует нескольким классам в зависимости от контекста и допускает наличие нескольких классов в свойстве "instance of".

Качество Викиданных

В докторской диссертации Alessandro Piscopo рассказывается о социально-технических процессах и качестве данных проекта Викиданные, в котором с даты запуска (2012 год) произошли большие изменения. На данный момент редакторами проекта являются более 200 тысяч пользователей, которые сделали более 50 миллионов правок.

В диссертации рассказывается о том, что пользователи Викиданных имеют возможность добавлять отдельные фрагменты информация, выполнять редактирование через различные интерфейсы и работать с такими платформами как Википедия, но при этом они несут ответственность за поддержание схемы графа знаний. Однако эту работу должна выполнять команда обученных специалистов в соответствии с четко продуманными методами. Эти действия осуществляются с помощью инструментов, которые составляют техническую основу системы.

Особым инструментом как в Викиданных, так и в Википедии являются боты. Это части программного обеспечения, которые автоматически могут выполнять различные действия на платформе с большой скоростью (более тысячи правок в минуту). Их основная задача – редактирование существующих данных, добавление и импорт новых из других ресурсов. Боты создают отчеты, с помощью которых пользователь может исправлять некоторые неточности.

Таким образом, боты являются одним из ключевых технических компонентов Викиданных. Пользователи добавляют и модифицируют данные, а также общаются между собой с помощью веб-интерфейса Викиданных. Также доступны плагины, которые предупреждают редакторов, когда они собираются выполнить ревизию, которая может привести к любым ошибкам в данных.

Также стоит обратить внимание на статью «Сетевая структура научных революций», в которой на примере Википедии рассматривается процесс формирования знаний в виде постоянно растущих сетей из статей и их взаимосвязанных гиперссылок. Эта концепция реализуется за счет заполнения пробелов в знаниях. Авторы сформулировали цель своей работы в одном предложении: "The authors test theories of scientific progress on growing concept networks and reveal data-driven conditions underlying breakthroughs", т.е. авторы проверяют теории научного прогресса на растущих концептуальных сетях и раскрывают управляемые данными условия, лежащие в основе прорывов.

В процессе исследований было проведено ранжирование всех статей Википедии на сети по определенным критериям. Каждый узел сети соответствует определенной статье, имя узла – это заголовок статьи, год рождения узла – это первый год, указанный во введении или в разделе истории как год, когда концепция была задумана. Затем на основе текущего состояния сетей были определены некоторые закономерности в эволюции этих структур на протяжении времени и периоды, когда сеть наиболее быстро менялась.

Полученные результаты показали, что человеческие знания растут и как следствие происходит постепенное изменение сетевой структуры (заполняются некоторые пробелы в знаниях). Авторы статьи считают, что знания, обнаруженные при заполнении пробелов, будут иметь важное значения для научных инноваций.

Данная статья имеет непосредственное отношение к качеству Викиданных, потому что информация для Викиданные чаще всего берется из Википедии. Если будут заполнены пробелы в Википедии, то новые данных обязательно будут добавлены в Викиданные. Следовательно, база знаний будет более подробной.

Литература

• Vrandečić D., Krӧtzsch M. Wikidata: a free collaborative knowledge base // Communications of the ACM. — 2014. — Т. 57. — С. 78-85. — doi:10.1145/2629489
• Turki H., Shafee T., Taieb M. A. A large-scale collaborative ontological medical database // Journal of biomedical informatics (DOI 10.1016/j.jbi.2019.103292). — 2019. — Т. 99. — С. 1—13. — doi:10.1016/j.jbi.2019.103292
• Wikidata: The Free Knowledge Base (рус.).
• Википедия — свободная энциклопедия (рус.).
• Sakor A., Singh K., Patel A., Vidal Maria-Esther Falcon 2.0: An Entity and Relation Linking Tool over Wikidata // IKM ’20: Proceedings of the 29th ACM International Conference on Information Knowledge Management. — 2020. — С. 3141-3148.
• Wikidata: Wikidata: Statistics (eng).
• Академия Google (eng).
• Navigli R. and Ponzetto S. P. BabelNet: Building a very large multilingual semantic network // Proceedings of the 48th annual meeting of the association for computational linguistics. — 2010. — С. 216-225.
• Fogarolli A. Word sense disambiguation based on wikipedia link structure // IEEE Third InternationalConference on Semantic Computing (ICSC 2009). — 2009.
• Piscopo A. Structuring the world’s knowledge: Socio-technical processes and data quality in Wikidata. PhD Thesis // Figshare. — 2011-2021.
• Ju H., Zhou D., Blevins A. S. [et al.] The network structure of scientific revolutions // rXiv.org. — 2020.