- Федеративная нечеткая нейронная сеть с эволюционным обучением правил (arXiv)
Автор: Лейцзе Чжан, Е Ши, Ю-Чэн Чанг, Чин-Тэн Линь.
Аннотация: Распределенные нечеткие нейронные сети (DFNN) в последнее время привлекают все большее внимание из-за их способности к обучению при обработке неопределенностей данных в распределенных сценариях. Однако DFNN сложно обрабатывать случаи, когда локальные данные не являются независимыми и одинаково распределенными (не IID). В этой статье мы предлагаем федеративную нечеткую нейронную сеть (FedFNN) с обучением по эволюционным правилам (ERL), чтобы справиться с проблемами, не связанными с IID, а также с неопределенностями данных. FedFNN поддерживает глобальный набор правил на сервере и персонализированное подмножество этих правил для каждого локального клиента. ERL вдохновлен теорией биологической эволюции; он поощряет изменения правил, активируя более высокие правила и деактивируя подчиненные правила для локальных клиентов с данными, отличными от IID. В частности, ERL состоит из двух этапов итерационной процедуры: этапа взаимодействия правил, который обновляет глобальные правила путем агрегирования локальных правил на основе их статусов активации, и этапа эволюции правил, на котором развиваются глобальные правила и обновляются статусы активации локальных правил. Эта процедура улучшает как обобщение, так и персонализацию FedFNN для решения проблем, не связанных с IID, и неопределенностей данных. Обширные эксперименты, проведенные на ряде наборов данных, демонстрируют превосходство FedFNN над современными методами.
2. Иерархические нечеткие нейронные сети с сохранением конфиденциальности для разнородных больших данных (arXiv)
Автор: Лейцзе Чжан, Е Ши, Ю-Чэн Чанг, Чин-Тэн Линь.
Аннотация: Гетерогенные большие данные создают много проблем в машинном обучении. Его огромный масштаб, высокая размерность и присущая ей неопределенность затрудняют почти каждый аспект машинного обучения, от обеспечения достаточной вычислительной мощности до поддержания точности модели и защиты конфиденциальности. Однако, пожалуй, самая серьезная проблема заключается в том, что большие данные часто перемежаются с конфиденциальными личными данными. Следовательно, мы предлагаем сохраняющую конфиденциальность иерархическую нечеткую нейронную сеть (PP-HFNN) для решения этих технических проблем, а также для решения проблем конфиденциальности. Сеть обучается с помощью двухэтапного алгоритма оптимизации, а параметры на нижних уровнях иерархии изучаются по схеме, основанной на известном методе множителей переменного направления, который не раскрывает локальные данные другим агентам. Координация на верхних уровнях иерархии осуществляется методом попеременной оптимизации, который сходится очень быстро. Вся процедура обучения является масштабируемой, быстрой и не страдает от проблем с исчезновением градиента, таких как методы, основанные на обратном распространении. Всестороннее моделирование, проведенное как для задач регрессии, так и для задач классификации, демонстрирует эффективность предлагаемого режима.
