Машиночитаемый Викисловарь/Словарные пометы и толкования

Построение файла с пометами и толкованиями

Задача:

• извлечь из базы данных машиночитаемого Викисловаря словарную помету и толкование;
• записать их в файл таким образом, что на каждой строке файла идут
  1. слово (название словарной статьи),
  2. словарная помета (или несколько помет),
  3. текст толкования.

Пример файла:

подвизаться|книжн.|ирон.|осуществлять деятельность, работать, действовать в какой-нибудь области
подвизаться|религ.|совершать подвиг в чём-либо, часто о ежедневном борении
заткнуться|перен.|груб.|то же, что замолчать; перестать говорить, кричать, плакать; замолкнуть

GoEmotions и словарные пометы

• seara/ru_go_emotions
• ru-goemotions (GitHub)
• ru-goemotions/ru-go-emotions-creation.ipynb (Jupyter Notebook)

Цель в два шага:

1. для каждой строки нашего файла (слово, помета, текст) получить по тексту толкования оценки 28 эмоциональных тегов.
2. суммировать, нормировать — получить усреднённые эмоциональные оценки для словарных помет (получить эмоциональный вектор для каждой из словарных помет).

Ссылки

• goemotions // GitHub

Литература

• Demszky, D., Movshovitz-Attias, D., Ko, J., Cowen, A., Nemade, G., & Ravi, S. GoEmotions: A dataset of fine-grained emotions. 2020. arXiv preprint arXiv:2005.00547.