Цифровая филология — одно из направлений цифровых гуманитарных наук (Digital Humanities). В этой рубрике мы рассказываем о применении цифровых технологий в филологических исследованиях и цифровых филологических проектах. Мы пишем о стилометрии, сетевом анализе литературы, литературных корпусах и многом другом. Можно ли с помощью компьютера выделить из текста эмоции и события? А установить автора произведения, отделить его стиль от стиля переводчика и найти самого влиятельного героя пьесы? Узнайте в наших материалах!
«Оставь надежду, всяк сюда входящий» — многие так себя чувствуют, начиная знакомство с творчеством Данте. Но так ли все страшно на самом деле? Как подступиться к его произведениям в XXI веке и нужна ли для этого ученая степень? Показываем, как цифровые проекты снимают барьеры между читателем и одним из ключевых авторов Средневековья
Казалось бы, XIX век в русской литературе изучен вдоль и поперек, и в нем не осталось белых пятен. Но цифровые методы позволяют увидеть неочевидные тенденции: эволюцию жанра, контекст словоупотреблений или стереотипы. В нашей подборке мы собрали наши самые интересные статьи о XIX веке.
Остаётся ли завтрак завтраком, если в течение дня нет ни обеда, ни ужина? С точки зрения лингвистики, это непростой вопрос. В лингвистике существует множество теорий, чтобы описать значение в естественном языке. Большинство из них абстрактны и редко находят практическое применение, но есть исключение — фреймовая семантика. О том, что такое семантический фрейм, как устроены базы данных таких фреймов, как специалисты по NLP применяют их для анализа рынка ценных бумаг и что такое на самом деле «завтрак», читайте в новом материале «Системного Блока»
Акростих — это зашифрованное послание, где первые буквы строк или предложений складываются в отдельные слова или фразы. DH-исследователь Женя Дуненков создал алгоритм для автоматического поиска таких шифров в корпусе из десятков тысяч текстов русской классики. Насколько распространены такие тайные послания на самом деле? Чтобы каждый мог самостоятельно продолжить поиски, мы делимся открытым кодом утилиты и полными результатами авторского исследования.
Владимир Маяковский — революционный поэт не только по содержанию, но и стилистически, что отражается в том числе в игре слов. Экспрессивные неологизмы поэта ярко и точно выражают авторский замысел. Но какова дальнейшая судьба этих дерзких слов? Узнать об этом нам поможет НКРЯ.
Как получить доступ к огромным массивам текстов из Telegram, чтобы изучать язык медиа, тренды или реакцию общества на события в мире? В этом помогут Telegram Desktop, Python и библиотека pyrogram. В гайде с кодом рассказываем о методе «цепной реакции» для поиска и скачивания целых групп связанных каналов. Превратите Telegram в ваш исследовательский полигон!
Слова, как и люди, любят компанию. У каждого есть свой круг «общения» — другие слова, которые часто встречаются рядом с ним в схожих контекстах. Однако этот круг меняется со временем. В XIX веке у слова могли быть одни «приятели», а в XXI — совершенно другие. С помощью Национального корпуса русского языка мы можем заглянуть в прошлое и увидеть, как трансформировались эти семантические окрестности. Сможете ли вы опознать слово, зная лишь его «компанию» из разных эпох? Пройдите наш тест и проверьте свою лингвистическую интуицию!
Что происходит, когда методы открытой науки и алгоритмического анализа встречаются с тысячелетним китайским культурным наследием? Исследовательская группа из Болоньи отправилась в Пекин, чтобы узнать, как Digital Humanities развиваются в крупнейшем университете Китая. Мария Левченко, участница группы, рассказывает об итогах этой поездки.
Можно ли с помощью нейросетей находить скрытые цитаты, аллюзии и сближения в художественных текстах? Конечно! Что будет, если объединить силу LLM с экспертизой литературоведов, — читайте в материале математика, специалиста по Computer Science и одновременно литературоведа Евгения Обухова.
Все мы читали сказки, где предметы действуют, как люди: печка помогает скрыться от Бабы-яги, дубинка сама решает, кого ей побить, а ковер летит куда хочет. Сказки братьев Гримм — не исключение. Филологи из Дармштадта решили разобраться, как работает эта литературная магия, и обучили компьютер отличать живое от неживого в текстах. Рассказываем, как цифровые методы помогают исследовать одушевленность в волшебных сказках.
Каждый, кто говорит по-русски, знает, что роль играют, условия выдвигают, а глаза бывают карими, но не коричневыми. Такие устойчивые словосочетания называются коллокациями, и существовать без них не может ни один язык. Мы уже рассказывали о том, как коллокации помогают гуманитариям, а теперь сделали тест, который поможет вам разобраться в этой теме. Готовы проверить свои знания?
Аллюзиями в литературе называют отсылки на другие художественные произведения, известные высказывания и реальные исторические события, которые могут быть хорошо известны читателю. Аллюзии создают межтекстовый диалог, служат данью уважения классикам жанра и делают повествование более многоуровневым. Но как быть с текстами на латыни, где для понимания аллюзий надо понимать контекст культуры и истории Древнего Рима? Рассказываем о проекте Tesserae, который помогает находить аллюзии и цитаты в древнеримской литературе.
Подумайте о своем любимом книжном персонаже. Как он выглядит? что думает? как взаимодействует с другими? Мы можем описать образ героя, перечислив эти и другие черты, или проанализировать его, используя другие внутритекстовые данные. Рассказываем, как с этой задачей справятся большие языковые модели.
Ухемоль, лоландер, рудада — спорим, вы не слышали таких слов? Мы тоже, пока не начали составлять этноботаническую базу данных PhytoLex. Рассказываем, для чего используется эта база данных и что можно узнать с ее помощью: от этимологии слова до его эволюции сквозь века.
Коллокации — это словосочетания, в которых слова часто встречаются рядом. Рассказываем, как устроены коллокации и какие есть способы их выявлять. А также изучим с помощью коллокаций в НКРЯ, что представлял собой антисемитизм в Российской империи второй половины XIX века.
Выдающийся филолог-структуралист Ролан Барт полагал, что каждый текст — это интертекст, то есть в каждом тексте присутствуют в более или менее узнаваемых формах тексты предшествующих и настоящих культур. Рассказываем о свежем цифровом исследовании интертекстуальности в корпусе французских текстов и пробуем разобраться, как функционируют канон и жанр в литературном процессе.
Можно ли применять алгоритмы определения авторства к текстам древних исландских саг? Какие гипотезы о создателях этих текстов помогает подтвердить метод дельты, который ранее применяли для поиск поддельных стихов XIX века и раскрытия псевдонима Джоан Роулинг? Рассказываем про исследование исландского лингвиста Хёйка Торгейрссона.
В 2024 году А. С. Пушкину исполнилось 225 лет, а его фамилия стала словом года. Возможно ли собрать двухсотлетнее наследие Пушкина и пушкинистики в единую систему? Рассказываем о проекте, который сэкономит фанатам поэта 58 лет чтения.
Иногда сложно понять, что же хотел сказать автор своим сочинением, а пересказать текст кажется нереальной задачей — из-за необычной структуры повествования или при использовании разных рассказчиков. Как справляются с подобными задачами LLM? Ученые Колумбийского университета спросили у самих писателей.
Борис Ярхо — один из самых недооцененных филологов знаменитого поколения «русских формалистов» 1910-х — 1920-х. В отличие от куда более известных Проппа, Шкловского, Тынянова и Эйхенбаума, Ярхо оставался неизвестен на Западе и малоизвестен в России вплоть до начала XXI века, когда его пионерские работы по количественному литературоведению стали актуальны с приходом цифровых методов. Чтобы немного восстановить справедливость, «Системный Блокъ» подготовил «посмертное интервью» с Ярхо на основе его главной книги.
Что такое «гипотеза Поллианны»? Как она проявляется в зарубежной детской и юношеской литературе? Какие существуют методы, чтобы ее подтвердить или опровергнуть? В материале рассказываем о том, как исследователи провели сентимент-анализ корпусов англоязычной и немецкоязычной детской литературы и какие результаты они получили.
Что важнее для создания целостного образа персонажа в литературе: его слова или его действия? Как выбор глаголов отражает индивидуальность героя? Рассказываем о недавнем исследовании корпуса английской прозы, которое даёт ответы на эти (и не только) вопросы.
В мире почти 7000 языков, и они очень разные. Лингвистическая типология — раздел науки о языке, описывающий эти различия. Часто, хотя и не всегда, сходство языков обусловлено географически — тогда языки можно даже объединить в языковые ареалы. Но выделять их вручную — задача трудоёмкая и полная неоднозначностей. Тут на помощь исследователям приходят вычислительные методы.
Знакомясь с новой книгой, вы наверняка замечали, что с чем-то подобным вам уже приходилось сталкиваться. Герой покидает дом в поисках чего-то ценного. Герой находит большую любовь в конце истории или, наоборот, трагически погибает. Таинственный незнакомец приносит вести, становящиеся фундаментом для завязки сюжета. А как выглядит «усреднённая» история? Существуют ли слова, которые наиболее характерны для завязки или финала книги? Попробуем разобраться, используя методы цифровой гуманитаристики!
«Системный Блокъ» часто пишет о стилометрии и выпустил несколько учебных материалов (базовый, продвинутый и ещё один) о том, как провести собственное исследование с помощью библиотеки Stylo для языка R. А что делать тем, для кого Python удобнее? Рассказываем в новом тьюториале о стилометрии для англоязычных текстов, используя библиотеку Faststylometry.
Что влияет на распределение содержательных слов в тексте сильнее: литературная традиция или внешние факторы? Кирилл Маслинский, исследователь литературы, сотрудник Пушкинского дома и создатель Деткорпуса, изучает процесс создания контента. Он использует модель роста словаря, чтобы оценить разнообразие концептов семантической области «животные» в разных жанрах детской литературы, и вычисляет, какие животные вероятнее встретятся в каждом жанре. В ужастиках, конечно, на первом месте — змеи, а вот в научной фантастике частыми гостями неожиданно становятся морские обитатели. Расскажем о методе и результатах этого исследования.
Лингвистика и программирование. Филология и программирование. Нужны ли они друг другу? Нужно ли гуманитариям вообще уметь программировать или же все учёные чётко делятся на физиков и лириков? «Системный Блокъ» считает, что их знания можно взболтать, но не смешивать. Читаем интервью «Системного Блока» о том, насколько важно современным гуманитариям знание Python и нейросетей.
«Системный Блокъ» продолжает публикацию цикла статей о том, как развивалась идея библиотечного каталога с XVI века и до наших дней. В третьей части исследователь истории науки и техники, сотрудник Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ Антон Басов рассказывает, как каталожные карточки и библиотечные коды стали мировым стандартом и как картотеки повышают работоспособность философов.
Как Линней придумал таксономию живых организмов, в чём польза игральных карт для каталогизации знания и сколько человек нужно, чтобы описать 30 тыс. книг? Исследователь истории науки и техники, сотрудник Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ Антон Басов продолжает рассказывать о том, как развивалась идея библиотечного каталога с XVI века и до наших дней, на страницах издания «Системный Блокъ».
Информация бесполезна, если мы не знаем, как и где её найти. С появлением книгопечатания проблема упорядочивания выпущенных книг занимала учёных всё больше. Исследователь истории науки и техники, сотрудник Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ Антон Басов изучил, как развивалась идея библиотечного каталога с XVI века и до наших дней. В этом материале он рассказывает, зачем разрезать конспекты книг на полоски и как крючки в шкафу заменяли библиотекарям теги.
В исследованиях по определению авторства и количественному анализу стиля широко используется метод Дельта филолога Джона Бёрроуза. Однако Дельта — не единственная придуманная им стилометрическая мера. Дж. Бёрроуз также является автором меры зета, с помощью которой можно сравнивать корпуса текстов. Расчёты на её основе встроены в одну из функций пакета Stylo — oppose().
Историю можно изучать не только по летописям или книгам, но и по частным источникам, или эго-документам: письмам, дневникам, записным книжкам. Рассказываем об эго-документах и связанных с ними цифровых исследованиях.
Национальному корпусу русского языка — 20 лет! По этому поводу мы приготовили для вас тест по уникальным словам русских писателей. Пройдите его — и узнаете, в чьих текстах раздавалось «хохотание» и происходило «требоисправление».
Мы собрали лучшие материалы «Системного Блока», посвящённые главной цифровой коллекции текстов на русском языке: художественных, научных, церковнославянских, диалектных, списанных с бересты, поэтических, памятников литературы с XI века и многих других.
Продолжаем наше руководство по анализу текста с помощью Voyant Tools. В прошлом материале мы рассказали, как загрузить и подготовить корпус. Теперь рассмотрим, как исследовать и визуализировать ваши материалы. Автор материала — Екатерина Волженина, выпускница DH-магистратуры НИУ ВШЭ в Москве, историк, менеджер центра глубинного обучения и байесовских методов ФКН.
«Системный Блокъ» пополняет свою коллекцию гайдов. Сегодня покажем, как сделать анализ текстов с помощью Voyant Tools, популярного инструмента среди цифровых гуманитариев. Разнообразные визуализации, частотный анализ, тренды, коллокации — вот только часть возможностей инструмента. Автор материала — Екатерина Волженина, выпускница DH-магистратуры НИУ ВШЭ в Москве, историк, менеджер центра глубинного обучения и байесовских методов ФКН.
Филологи уже долгое время подозревают, что одна из пьес чешского драматурга Карела Штайгервальда на самом деле принадлежит перу Милана Кундеры. Рассказываем, что по этому поводу думают цифровые филологи и специально обученные ими модели стилометрии
У вас есть аудиофайл от информанта и вам его нужно расшифровать? Возможно, вы пытаетесь при этом жонглировать несколькими программами сразу: у вас открыты медиаплеер, в котором вы слушаете звук, текстовый файл, в который вы записываете транскрипцию, мессенджер, в котором вы видите корректировки от руководителя. Но расшифровку можно сделать гораздо быстрее и удобнее — с помощью программы ELAN, которая была создана как раз для аннотирования звуковых и видеофайлов.
Сегодня гуманитарии стремительно осваивают цифровой мир и уже совсем по-другому смотрят на литературные произведения. В этой статье мы проанализировали книгу Филиппа Дзядко «Радио Мартын» с помощью языка программирования R и отразили в цифрах уникальность авторского стиля писателя
Идиостиль — это авторский стиль писателя. И если на небольших стихах его изучать удобно, то вот на текстах Льва Толстого — очень непросто. Рассказываем, как филолог Борис Орехов использует векторно-семантические модели для анализа идиостиля Толстого.
«Системный Блокъ» уже рассказывал, что такое стилометрия, и как сделать её своими руками с помощью библиотеки Stylo на языке программирования R. В новом гайде мы познакомим вас с функцией rolling.classify(), которая может помочь в исследований произведений, написанных в соавторстве.
Пройдите тест и узнайте, какую информацию можно получить из корпусов художественных текстов с помощью дальнего чтения.
Применить цифровые технологии к пьесам Шекспира? Да легко! Если вы хотите проанализировать связи между персонажами драматических текстов, то в этом вам поможет интернет-ресурс DraCor. Пройдите наш тест и проверьте, насколько хорошо вы знаете, как работает DraCor!
Сильвия Плат — американская поэтесса, основательница жанра «исповедальной поэзии». Ее жизнь была коротка (30 лет) и трагична, и эволюция творчества Плат отражает эту печальную динамику. Рассказываем, как менялись цвета и другие составляющие поэзии Сильвии Плат
Стилометрия — количественный метод определения авторства, который проверен на десятках современных языков. А что там с языками древними? Историк философии Ольга Алиева исследовала, как работает Дельта и другие стилометрические меры на древнегреческих текстах. Разбираемся вместе с ней, может ли стилометрия отличить Аристотеля от Платона, а Геродота от Плутарха.
Друг, жена, а может быть, сестра? Пройдите тест и узнайте, какое письмо отправил бы вам Антон Павлович
Еще до появления нашумевшей ChatGPT нейросети генерировали связные тексты на разные темы и в разных жанрах. Сейчас с помощью больших языковых моделей (LLM) можно написать мотивационное письмо, оригинальный рецепт вареников, диплом… и даже художественное произведение. Но правда ли, что нейросети скоро заменят живых писателей, или людям пока не о чем беспокоиться? Мы решили провести эксперимент при участии писателя Александра Сорге
Как научить нейросеть писать в стиле Набокова? И насколько хорошо (или плохо) у нейросетей вообще получается писать художественные тексты? Могут ли нейросети привести филологов к мировому господству? Ответы на эти и другие вопросы нам дали цифровой филолог Борис Орехов и исследователь в области глубинного обучения Михаил Ким.
Может ли нейросеть заменить писателя? И да и нет. Есть творческие задачи, с которыми современные языковые модели справляются легко: например, стилизовать сказку под триллер, а трагедию Шекспира — под дворовую байку. Но есть многое, в чем им нужна помощь или хотя бы руководство человека. Разбираемся, какие литературные задачи можно делегировать ChatGPT, а какие пока не стоит.
Кого Лев Толстой называл голышом и где в усадьбе тырла? Кем лучше быть ― келарем или щелкопёром? Писатель был знатоком редких и диковинных слов. Пройдите наш тест и попробуйте отгадать их значения
Точные методы в гуманитарных науках появились задолго до компьютеров — и в России их история перевалила уже за полтора века. Вспоминаем, как филологи, историки, лингвисты, математики и другие исследователи развивали количественные подходы к анализу литературы, языка и других гуманитарных объектов — и создавали базу для становления на российский почве Digital Humanities
Статья Агаты Холобут и Яна Рыбицкого The Stylometry of Film Dialogue: Pros and Pitfalls показывает связь между жанровыми особенностями кино и лексикой диалогов: с помощью стилометрии и сентимент-анализа авторы исследуют 178 фильмов из разных эпох. Рассказываем, что же у них получилось
Цифровые филологи научились «измерять стиль»: у «Системного Блока» есть подборка статей о стилометрии и гайд о том, как провести собственное стилометрическое исследование. Нейросети зашли еще дальше: современные технологии уже позволяют выделять стиль текстов и даже подражать ему (об этом мы писали здесь). Сегодня мы расскажем о новом эксперименте Бориса Орехова, в котором исследователь оценивает, насколько хорошо модель может скопировать узнаваемый авторский стиль
Подкорпус Национального корпуса русского языка, в котором можно изучать ударения русских слов, содержит произведения поэтов-любителей с сайта Стихи.ру. Каким образом они могут быть полезны для науки — читайте в нашем материале
Представляем результаты авторского цифрового исследования: граф социальных связей персоналий Серебряного века на основе материалов проекта «Устная история». Центральная фигура — Владимир Маяковский.
Владимир Набоков известен тем, что писал и на русском, и на английском. Сможет ли компьютер распознать его оригинальный стиль? Этот вопрос исследовал цифровой филолог Борис Орехов. О том, как стилометрия при помощи статистики справляется с филологическими задачами – в материале «Системного Блока».
Стилометрический анализ позволяет определить, принадлежат ли тексты одному и тому же автору. Но что если писатель творит под несколькими литературными масками, у каждой из которых есть индивидуальность? Рассказываем, как португалец Фернандо Пессоа и француз Ромен Гари «обманули» стилометрию — а ученые Борис Орехов и Даниил Скоринкин исследовали и визуализировали это.
В апреле 2023 года разработчики самой популярной программы для сетевого анализа Gephi представили её веб-версию. Базовые функции сервиса теперь доступны в браузере, и пользоваться им стало гораздо проще.
Писатели-фантасты представляли будущее по-разному. Мы уже рассказывали о том, как им удалось предвидеть современные информационные технологии от мессенджеров до генеративных нейросетей. Теперь пришла ваша очередь подобрать себе грядущее по душе. Тест подскажет, какое будущее из фантастических книг разных столетий подойдет вам лучше всего.
Пройдите тест и узнайте, разбираетесь ли вы в творчестве «КиШ»а лучше «Системного Блока»!