Новый подход к машинному обучению применительно к анализу текста
Любое решение, предназначенное для обработки неструктурированных данных (т. е. языка, а именно текста в большинстве случаев), сегодня основано на одном из двух основных подходов: машинном обучении и символьном. И то, и другое может быть доставлено несколькими способами (разные алгоритмы в случае ML, от поверхностной лингвистики до семантической технологии в случае Symbolic), но до сих пор мало что было сделано в области гибридных подходов. В то время как выбор одного над другим всегда будет представлять собой компромисс между преимуществами и недостатками (более высокая точность достигается за счет символического, большая гибкость достигается за счет машинного обучения), гибридный ИИ — или гибридный NL — это революционный путь к решить лингвистические проблемы, которые могут использовать лучшее из обоих миров и, в конечном счете, перевести ваши практики НЛП в НЛУ (понимание естественного языка). Я не буду тратить время на объяснение того, как работают ML или Symbolic, так как об этом уже есть тонна литературы, вместо этого я сосредоточу эту страницу на Hybrid.
Чтобы сформулировать этот разговор в практической форме, мы должны рассмотреть два аспекта: разработка и рабочий процесс. На этапе разработки гибридный означает, что символическое решение будет поддерживать создание модели машинного обучения, чтобы либо сократить усилия, либо повысить ее качество. С другой стороны, на этапе производства наш рабочий процесс может поддерживаться как ML, так и Symbolic для получения более точного результата. В проекте, в котором часть машинного обучения рассматривается как стержень решения, первый тип интеграции помещает Symbolic вверху (даже до создания модели машинного обучения), а второй — внизу ( курирование или улучшение конечного результата). Естественно, оба этих гибридных способа могут одновременно присутствовать в лингвистическом проекте.
Пример реализации Hybrid на этапе разработки: допустим, нам нужно классифицировать документы, в которых говорится о разных видах спорта, правильно пометив их тегом, описывающим вид спорта, обсуждаемый в каждом документе; если у нас нет миллионов предварительно помеченных документов для обучения нашего алгоритма машинного обучения, простой просмотр слов, присутствующих в документе, скорее всего, даст плохо работающую модель (поскольку только небольшой процент слов будет исключать спорт или другой). Символическое решение может быть размещено перед фазой обучения, предварительно выбирая и предварительно помечая документы с целью сделать вещи более понятными и простыми для алгоритма машинного обучения, что в конечном итоге приведет к созданию более точной модели. . Такое символическое решение часто требует очень небольших усилий, если выбрана правильная технология (например, семантика, основанная на надежном графе знаний). Другими словами, на данном этапе символическая технология может добавлять значительный объем информации к каждому документу, который алгоритм машинного обучения будет анализировать в учебных целях (темы, концепции, основные действующие лица, местоположение, компании, настроения, отношения и т. д.), следовательно, алгоритму не придется полагаться только на слова или другие нелингвистические функции.
Пример отношения, извлеченного из предложения: «Heuking Kühn Lüer Wojtek вместе с командой под руководством доктора Джона Смита и доктора Фрэнка Брауна консультировали Volkswagen GmbH по вопросам приобретения Porsche». Эта информация может стать частью разработки функций в алгоритме машинного обучения.
Пример гибрида на этапе производства: если бы нам нужно было собрать решение, которое должно извлекать имена профессиональных игроков и личностей из документов и правильно помечать их в зависимости от вида спорта, к которому они относятся, мы можем представить себе использование модели машинного обучения. чтобы быстро определить вид спорта, обсуждаемый в каждом документе, а затем использовать символьное решение для извлечения имен. Еще более распространенное применение гибридного ИИ в производственном рабочем процессе наблюдается, когда символический подход используется для уточнения выходных данных модели машинного обучения, которая может иметь высокую полноту, но только умеренную точность (подробнее об этом « здесь"); в этом случае символическая часть не должна быть сверхточной, потому что она полагается на модель ML, избавляющую от большого количества шума, и в то же время модель ML не должна быть чрезвычайно точной, потому что она полагается на символической части в конце производственного конвейера, чтобы отфильтровать ошибки. Этот пример должен показать, насколько гибкой может быть такая система, когда нам предлагается найти правильный баланс между двумя подходами и заставить их работать согласованно.
С точки зрения архитектуры стоит отметить, что Hybrid на этапе разработки разделяет ML и Symbolic (алгоритм ML доверяет качеству обучающих данных, с которыми он работает, не полностью осознавая, кто или что произвел эти данные), в то время как Hybrid на этапе производства Этап представляет собой более длинный конвейер, в котором участвуют как Symbolic, так и ML и вносят свой вклад в конечный результат. Это следует учитывать, когда речь идет о скорости и времени обработки, когда приложение оказывается требовательным в этих отношениях. На заметку, глава, которая была бы слишком длинной, чтобы быть в этой статье, связана с потреблением энергии и временем обработки, а также с тем фактом, что они не обязательно увеличиваются в гибридном приложении; это, безусловно, зависит, как и многое другое, от конкретной задачи, но в настоящее время модели ML стали чрезвычайно тяжелыми, и чаще всего добавление Symbolic в рабочий процесс позволяет упростить модель, и следовательно, весь гибридный конвейер оказывается менее ресурсоемким, чем эквивалент, основанный только на гораздо более мощном решении ML.
Эта статья предназначена только для того, чтобы стать вводной статьей о гибридном ИИ, поэтому я не буду углубляться во многие другие аспекты и преимущества (которые я, вероятно, буду рассматривать по очереди в следующих статьях), но я Было бы упущением, если бы я кратко не упомянул некоторые из них: помимо сокращения усилий и повышения точности, гибридная система может быстро реагировать на изменения; если возникает проблема, если меняется язык, если за одну ночь появляется новый игрок или терминология, символическая часть пайплайна может быть быстро обновлена с точностью лазерного фокуса, в то время как чистую систему машинного обучения придется переобучать (со всеми неопределенностями с точки зрения работы и времени, которые приходят с этим курсом действий). Даже если бы мы ограничили этот разговор ценностью в самом строгом смысле, это конкретное преимущество имеет измеримое влияние, и не только с точки зрения усилий, но и с точки зрения реагирования (что имеет первостепенное значение в случаях использования обслуживания клиентов, упущенные возможности в финансовых услугах). промышленность и т. д.) Гибридная система, позволяющая упростить модель машинного обучения, помимо окупаемости инвестиций, также имеет еще одно преимущество: снижение воздействия на окружающую среду; потребление энергии стало серьезной темой в мире машинного обучения, и, когда Symbolic становится частью лингвистического решения, оно приносит знания, которые модели ML больше не нужно изучать.
