Самостоятельные тренировки: как заниматься дома и в зале

Затишье. Недавно прошли оружейные выставки в Лас-Вегасе и Нюрнберге, матчи проходят где-то далеко, на другой стороне земного шара. А у нас соревновательный сезон начнется еще не скоро, через несколько месяцев. Сейчас самое тренировочное время и лучший момент, чтобы шлифовать стрелковые навыки, отрабатывать различные элементы и стрельбу по мишеням разной сложности.

Сегодня я бы хотела написать о самостоятельных тренировках. Все успешные спортсмены, вне зависимости от вида спорта, всегда тренируются с тренером. А уж чемпионов, которые тренируются самостоятельно, без тренера не найти совсем. Однако в практической стрельбе, так уже получилось, большинство стрелков не занимаются с тренером постоянно. Эта статья для тех, кто чаще всего тренируется самостоятельно, для тех, у кого тренер — интернет.

Большую часть времени моих занятий практической стрельбой, я занималась самостоятельно. И могу сказать, что опыт в построении тренировок у меня достаточно большой. По моему выстраданному и устоявшемуся мнению, тренироваться самостоятельно очень и очень сложно.

Путь самостоятельных тренировок — это путь в темноте, когда на ощупь, методом проб и ошибок находишь результативную технику, оттачиваешь ее и потом проверяешь на соревнованиях, основываясь только и исключительно на своих собственных ощущениях. На тренировках очень сложно не скатиться в рекреативную стрельбу, — то есть стрелять то, что нравится и получается.

Со стороны может казаться, что если спортсмен пришёл в тир и ведет стрельбу по мишеням, то он тренируется. И если при этом он хорошо попадает по мишеням, значит, тренировка проходит успешно и стрелок совершенствуется. Но это не совсем так, каждая успешная тренировка — это выполнение определенной задачи, развитие новых навыков. Прогресс достижим только при условии сложной и напряженной работы. Бывает, что на тренировке стрелок легко и точно стреляет, показывает хорошие результаты без напряжения и усилий. Но такая работа не несет никакого полезного эффекта. Результат тренировки оценивается только по достигнутому прогрессу в навыке.

Опытные тренера знают, что при отработке дополнительного элемента в навыке, прочие уже отработанные элементы могут временно проседать. Другими словами, работая над правильностью движения при выхватывании пистолета из кабуры, время первого выстрела обязательно возрастет, может упасть точность, только потому, что все внимание уходит на работу рук. Поэтому не стоит приравнивать результаты тренировки к пробоинам в мишени.

Как уже давно было замечено в пулевой стрельбе, эффективность всех стрелковых тренировок очень низкая. Момент выстрела, ради которого спортсмен приходит в тир, длится сотые доли секунд. Даже если сделать 200 выстрелов — а это очень большая тренировка, все равно время собственно выстрелов займет от силы полторы — две секунды. Поэтому задача стрелка максимально эффективно распоряжаться этими секундами.

Несколько важных советов по построению самостоятельно тренировки:

1. На одну тренировку лучше всего отрабатывать только один элемент (вынос, выхват из кабуры, перенос, и т.д.).
2. Все элементы отрабатывать только очень медленно. При этом свое внимание последовательно переносить от одного аспекта техники, к другому. Рассматривая каждую деталь практически под микроскопом.
3. Поскольку рядом нет никого, кто мог бы проконтролировать правильность, ткнуть пальцем в ошибку, поддержать правильный момент, то максимальное внимание уделять своим ощущениям, восприятию и оценке каждого своего действия. Нет смысла бездумно механически повторять сотни раз одно неправильное движение. Только вдумчивая и кропотливая работа приведет к улучшениям.
4. Каждое действие с патроном лучше предварительно несколько раз пройти вхолостую. Можно мысленно представлять себе правильную технику, а потом повторять ее, сохраняя только что проговоренные ощущения. Каждый выстрел должен быть осознанным и полностью контролируемым.
5. Хвалите себя за каждое правильно совершенное действие. И игнорируйте неправильные — не стоит себя ругать, закрепляя в памяти неправильный шаблон действий. Спортивные психологи давно доказали, что поощрение за правильное действие дает намного лучший прогресс в результатах, чем наказание за неправильное.
6. Чаще отдыхайте на тренировках. Как только стрелок устает, его внимание его рассеивается, ему сложно оценить правильность своих действий. Тогда настает опасный момент, когда вместо заучивания правильной техники может вкрасться ошибка, и механическое повторение этой ошибки сведет на нет всю тренировку.
7. При отработке элемента меняйте акценты внимания. Например, отработку выхвата из кабуры и первого выстрела можно разделить на: собственно выхват из кабуры, формирование хвата, наводку на мишень, прицеливание и перенос зрения с мишени на мушку, обработку спуска, удержание после выстрела. При желании, этот список можно еще более детализировать.
8. Разминку делать обязательно. Разминка отделяет вас от остального мира на момент тренировки, настраивает на стрельбу, приводит организм, мысли, все действия к рабочему состоянию. Опытный стрелок использует разминку, чтобы вспомнить ощущение идеального выстрела, сохраняет это ощущение и старается использовать его во время всей тренировки.
9. Оставляйте себе на конец тренировки 5- 10 патронов «на десерт». Используйте эти патроны для поощрения себя за проделанную работу. Постреляйте то, что очень хочется, не на результат, а исключительно для удовольствия.
10. Время от времени устраивайте себе «экзамены». Например, раз в три месяца делайте одинаковые несложные упражнения: — первый выстрел по попперу на 15м, выстрел-перезарядка-выстрел, выстрел-порт через 5м-выстрел. Объективные цифры времени и попаданий покажет прогресс на тренировках. Мое любимое классификационное упражнение: четыре позиции на 24-18-12-6м и три картона на одной линии через 2м. Нужно пройти от самого дальнего порта до самого ближнего с обязательной сменой магазина, поражая три картона из каждого порта двумя выстрелами. За последние два года мое время с 24 секунд пришло к 17.

Перед началом тренировки обязательно иметь план с расписанными патронами на каждое упражнение, ниже я привожу пример такого плана.

Мой план одной из самостоятельных тренировок.

Задача: отработка переносов/>

В любом случае, начиная заниматься практической стрельбой лучше под руководством опытных инструкторов. Вначале лучше получить базу на мастер-классе или сборах. А вот выработав представление о правильной технике, уже можно смело приступать к тренировкам самому или с друзьями.

Но самое главное, одна тренировка с тренером по эффективности равна, наверное, десяти проведенным самостоятельно. Поэтому ищите тренеров, посещайте мастер-классы и сборы — и тогда будет гарантированный прогресс.

Самостоятельная тренировка Вацлава Виндушки

Лавка стрелка

5 950

ДТК AlienTech для Сайги-МК .223 и 5,45

700

Контргайка универсальная для трубы телескопического приклада

2 000

Ударник Tanfoglio Custom large frame

600

Чехол оружейный мягкий на ремне

120

Флажок безопасности

частично контролируемое обучение, объяснение | АлтексСофт

Как это иногда бывает, когда один подход не помогает решить проблему, вы пробуете другой. Когда и этот подход не работает, может быть хорошей идеей объединить лучшие части обоих. По крайней мере, так часто бывает с технологическими задачами. И машинное обучение не исключение. Вы, наверное, слышали о двух основных методах машинного обучения — обучении с учителем и обучении без учителя. Соединение обеих этих технологий породило золотую середину, известную как 9.0005 частично контролируемое обучение .

В этой статье мы углубимся в термин, объясним, как работает этот процесс машинного обучения и какие проблемы, связанные с двумя другими типами машинного обучения, он решает. Пока мы этим занимаемся, мы также рассмотрим несколько полу-контролируемых примеров из реальной жизни.

Что такое частично контролируемое обучение?

Вкратце, частично контролируемое обучение (SSL) — это метод машинного обучения, который использует небольшую часть размеченных данных и большое количество неразмеченных данных для обучения прогностической модели.

Чтобы лучше понять концепцию SSL, мы должны рассмотреть ее через призму двух ее основных аналогов.

Контролируемое, неконтролируемое и частично контролируемое машинное обучение в двух словах

Контролируемое обучение обучает модель машинного обучения с использованием помеченного набора данных. Органические метки часто доступны в данных, но в процессе может участвовать человек-эксперт, который добавляет теги к необработанным данным, чтобы показать модели целевые атрибуты (ответы). Проще говоря, метка — это в основном описание, показывающее модели то, что она должна предсказать.

У контролируемого обучения есть несколько ограничений. Этот процесс

• медленный (требуется, чтобы специалисты-люди вручную маркировали обучающие примеры один за другим) и
• дорого (модель должна быть обучена на больших объемах размеченных вручную данных, чтобы обеспечить точные прогнозы).

Неконтролируемое обучение , с другой стороны, это когда модель пытается выявить скрытые закономерности, различия и сходства в неразмеченных данных самостоятельно, без наблюдения со стороны человека. Отсюда и название. В рамках этого метода точки данных группируются в кластеры на основе сходства.

Хотя обучение без присмотра и является более дешевым способом выполнения учебных заданий, оно не панацея. Обычно сценарий

• имеет ограниченную область приложений (в основном для целей кластеризации) и
• дает менее точных результатов .

Полуконтролируемое обучение объединяет методы контролируемого и неконтролируемого обучения для решения основных задач. С его помощью вы обучаете начальную модель на нескольких помеченных образцах, а затем итеративно применяете ее к большему количеству немаркированных данных.

• В отличие от неконтролируемого обучения, SSL работает для решения множества задач, от классификации и регрессии до кластеризации и ассоциации.
• В отличие от обучения с учителем, метод использует небольшие объемы размеченных данных, а также большие объемы неразмеченных данных, что снижает затраты на ручное аннотирование и сокращает время подготовки данных.

Говоря об обучении с учителем, у нас есть информативное 14-минутное видео, объясняющее, как для него готовятся данные. Убедитесь, что вы проверить это.

Поскольку неразмеченных данных много, их легко получить и они дешевы, полууправляемое обучение находит множество применений, при этом точность результатов не страдает.

Давайте рассмотрим один из реальных сценариев, например обнаружение мошенничества. Скажем, компания с 10 миллионами пользователей проанализировала пять процентов всех транзакций, чтобы классифицировать их как мошеннические или нет, а остальные данные не были помечены тегами «мошенничество» и «немошенничество». В этом случае обучение с полуучителем позволяет обрабатывать всю информацию без необходимости нанимать целую армию аннотаторов или жертвовать точностью. Ниже мы объясним, как именно работает эта магия.

Как работает обучение с полуучителем

Представьте, что вы собрали большой набор неразмеченных данных, на которых хотите обучить модель. Ручная маркировка всей этой информации, вероятно, будет стоить вам целое состояние, не говоря уже о том, что на завершение аннотаций уйдут месяцы. Вот когда на помощь приходит полууправляемый метод машинного обучения.

Принцип работы довольно прост. Вместо того, чтобы добавлять теги ко всему набору данных, вы просматриваете и маркируете вручную лишь небольшую часть данных и используете ее для обучения модели, которая затем применяется к океану неразмеченных данных.

Самообучение

Одним из простейших примеров частично контролируемого обучения является самообучение.

Самообучение — это процедура, в которой вы можете взять любой метод с учителем для классификации или регрессии и изменить его, чтобы он работал в полуконтролируемом режиме, используя преимущества размеченных и неразмеченных данных. Стандартный рабочий процесс выглядит следующим образом.

Метод самообучения с частичным учителем

• Вы выбираете небольшое количество помеченных данных, например, изображения кошек и собак с соответствующими тегами, и используете этот набор данных для обучения базовой модели с помощью обычных контролируемых методов.
• Затем вы применяете процесс, известный как псевдо-маркировка — когда вы берете частично обученную модель и используете ее для прогнозирования остальной части базы данных, которая еще не помечена. Сгенерированные после этого метки называются псевдо , поскольку они создаются на основе исходно размеченных данных, которые имеют ограничения (например, может быть неравномерное представление классов в наборе, что приводит к смещению — больше собак, чем кошек).
• С этого момента вы берете наиболее надежные прогнозы, сделанные с помощью вашей модели (например, вам нужна уверенность более 80 процентов в том, что на определенном изображении изображена кошка, а не собака). Если какие-либо из псевдометок превышают этот уровень достоверности, вы добавляете их в помеченный набор данных и создаете новые комбинированные входные данные для обучения улучшенной модели.
• Процесс может пройти несколько итераций (часто 10 – стандартное количество), при этом каждый раз добавляется все больше и больше псевдометок. При условии, что данные подходят для процесса, производительность модели будет увеличиваться на каждой итерации.

Хотя есть успешные примеры использования самообучения, следует подчеркнуть, что производительность может сильно варьироваться от одного набора данных к другому. И есть много случаев, когда самообучение может снизить производительность по сравнению с контролируемым маршрутом.

Совместное обучение

Основанный на подходе к самообучению и являющийся его улучшенной версией, совместное обучение — это еще один полуконтролируемый метод обучения, используемый, когда доступна лишь небольшая часть помеченных данных. В отличие от обычного процесса, совместное обучение обучает два отдельных классификатора на основе двух представлений данных.

Представления — это в основном разные наборы функций, которые предоставляют дополнительную информацию о каждом экземпляре, что означает, что они независимы для данного класса. Кроме того, достаточно каждого представления — класс выборочных данных можно точно предсказать только по каждому набору признаков.

В оригинальном исследовательском документе о совместном обучении утверждается, что этот подход может быть успешно использован, например, для задач классификации веб-контента. Описание каждой веб-страницы можно разделить на два представления: одно со словами, встречающимися на этой странице, и другое со словами-якорями в ссылке, ведущей на нее.

Метод совместного обучения с полуучителем

Итак, простыми словами, как работает совместное обучение.

• Сначала вы обучаете отдельный классификатор (модель) для каждого представления с помощью небольшого количества размеченных данных.
• Затем добавляется больший пул немаркированных данных для получения псевдометок.
• Классификаторы совместно обучают друг друга, используя псевдометки с наивысшим уровнем достоверности. Если первый классификатор уверенно предсказывает подлинную метку для выборки данных, а другой допускает ошибку предсказания, то данные с уверенными псевдометками, назначенными первым классификатором, обновляют второй классификатор, и наоборот.
• Последний шаг включает в себя объединение прогнозов от двух обновленных классификаторов для получения одного результата классификации.

Как и в случае с самообучением, совместное обучение проходит через множество итераций, чтобы создать дополнительный обучающий помеченный набор данных из огромного количества неразмеченных данных.

SSL с распространением меток на основе графа

Популярным способом запуска SSL является представление помеченных и немаркированных данных в виде графиков, а затем применение алгоритма распространения меток . Он распространяет сделанные человеком аннотации по всей сети передачи данных.

Типичный пример распространения метки

Если вы посмотрите на график, вы увидите сеть точек данных, большинство из которых не помечены четырьмя несущими метками (две красные точки и две зеленые точки для представления разных классов). Задача состоит в том, чтобы разнести эти цветные метки по всей сети. Один из способов сделать это — выбрать, скажем, точку 4 и подсчитать все различные пути, которые проходят через сеть от 4 до каждого цветного узла. Если вы сделаете это, вы обнаружите, что пять проходов ведут к красным точкам и только четыре прохода ведут к зеленым. Отсюда можно предположить, что точка 4 относится к красной категории. И затем вы будете повторять этот процесс для каждой точки на графике.

Практическое использование этого метода можно увидеть в системах персонализации и рекомендаций. Благодаря распространению меток вы можете прогнозировать интересы клиентов на основе информации о других клиентах. Здесь мы можем применить вариант предположения о непрерывности — если, например, два человека связаны в социальных сетях, весьма вероятно, что у них будут общие интересы.

Примеры полуконтролируемого обучения

Поскольку объем данных постоянно растет как на дрожжах, нет возможности своевременно их пометить. Подумайте об активном пользователе TikTok, который в среднем загружает до 20 видео в день. И есть 1 миллиард активных пользователей. В таком сценарии обучение с полуучителем может похвастаться широким спектром вариантов использования от распознавания изображений и речи до веб-контента и классификации текстовых документов.

Распознавание речи

Маркировка аудио — очень ресурсоемкая и трудоемкая задача, поэтому для преодоления трудностей и повышения производительности можно использовать частично контролируемое обучение. Facebook (теперь Meta) успешно применил полуконтролируемое обучение (а именно метод самообучения) к своим моделям распознавания речи и улучшил их. Они начали с базовой модели, которая была обучена на 100 часах аудиоданных, аннотированных человеком. Затем были добавлены 500 часов неразмеченных речевых данных и использовалось самообучение для повышения производительности моделей. Что касается результатов, частота ошибок в словах (WER) снизилась на 33,9.процентов, что является значительным улучшением.

Классификация веб-контента

При наличии миллиардов веб-сайтов, представляющих все виды контента, для классификации потребовалась бы огромная группа человеческих ресурсов, чтобы упорядочить информацию на веб-страницах путем добавления соответствующих меток. Варианты полуконтролируемого обучения используются для аннотирования веб-контента и его соответствующей классификации для улучшения взаимодействия с пользователем. Многие поисковые системы, в том числе Google, применяют SSL к своему компоненту ранжирования, чтобы лучше понимать человеческий язык и релевантность результатов поиска-кандидатов запросам. С помощью SSL поиск Google находит контент, наиболее релевантный конкретному запросу пользователя.

Классификация текстовых документов

Другим примером успешного использования частично контролируемого обучения является создание классификатора текстовых документов. Здесь метод эффективен, потому что людям-аннотаторам действительно сложно читать многословный текст, чтобы присвоить базовую метку, например, тип или жанр.

Например, классификатор может быть построен на основе нейронных сетей глубокого обучения, таких как сети LSTM (длинная кратковременная память), которые способны находить долгосрочные зависимости в данных и переобучать прошлую информацию с течением времени. Обычно для обучения нейронной сети требуется много данных с метками и без них. Полууправляемая среда обучения работает просто отлично, поскольку вы можете обучить базовую модель LSTM на нескольких текстовых примерах с помеченными вручную наиболее релевантными словами, а затем применить ее к большему количеству немаркированных образцов.

Текстовый классификатор SALnet, созданный исследователями из Университета Йонсей в Сеуле, Южная Корея, демонстрирует эффективность метода SSL для таких задач, как анализ настроений.

Когда использовать и не использовать полууправляемое обучение

При минимальном количестве помеченных данных и большом количестве неразмеченных данных полууправляемое обучение показывает многообещающие результаты в задачах классификации, оставляя двери открытыми для других задач машинного обучения. По сути, этот подход может использовать практически любой контролируемый алгоритм с некоторыми необходимыми модификациями. Кроме того, SSL хорошо подходит для целей кластеризации и обнаружения аномалий, если данные соответствуют профилю. Хотя полуконтролируемое обучение является относительно новой областью, оно уже доказало свою эффективность во многих областях.

Но это не значит, что обучение с полуучителем применимо ко всем задачам. Если часть помеченных данных не является репрезентативной для всего распределения, подход может оказаться неэффективным. Скажем, вам нужно классифицировать изображения цветных объектов, которые по-разному выглядят под разными углами. Если у вас нет большого количества размеченных данных, результаты будут иметь низкую точность. Но если мы говорим о большом количестве размеченных данных, то полууправляемое обучение — не лучший вариант. Нравится вам это или нет, но многие реальные приложения по-прежнему нуждаются в большом количестве размеченных данных, поэтому обучение с учителем никуда не денется в ближайшем будущем.

Понимание алгоритмов глубокого обучения, использующих неразмеченные данные, часть 1: самообучение

Глубокие модели требуют большого количества обучающих примеров, но размеченные данные трудно получить. Это мотивирует важное направление исследований по использованию немаркированных данных, которые часто более доступны. Например, большое количество немаркированных данных изображений можно получить путем обхода Интернета, в то время как помеченные наборы данных, такие как ImageNet, требуют дорогостоящих процедур маркировки. В недавних эмпирических разработках модели, обученные с использованием немаркированных данных, начали приближаться к полностью контролируемой производительности (например, Chen et al., 2020, Sohn et al., 2020).

В этой серии сообщений в блоге будет обсуждаться наша теоретическая работа, направленная на анализ последних эмпирических методов, использующих немаркированные данные. В этом первом посте мы проанализируем самообучение , которое представляет собой очень эффективную алгоритмическую парадигму для полууправляемого обучения и адаптации предметной области. Во второй части мы будем использовать связанные теоретические идеи для анализа алгоритмов контрастивного обучения с самоконтролем, которые оказались очень эффективными для обучения репрезентации без учителя.

Фон: самообучение

Сначала мы предоставим базовый обзор алгоритмов самообучения, которым посвящена эта статья. Основная идея состоит в том, чтобы использовать некоторый уже существующий классификатор \(F_{pl}\) (называемый «псевдо-метками») для прогнозирования (называемых «псевдо-метками») на большом немаркированном наборе данных, а затем повторно обучать новую модель с псевдо-метками. Например, при полууправляемом обучении псевдометка получается в результате обучения на небольшом размеченном наборе данных, а затем используется для прогнозирования псевдометок на большом неразмеченном наборе данных. Затем новый классификатор \(F\) переобучается с нуля, чтобы он соответствовал псевдометкам, используя дополнительную регуляризацию. На практике \(F\) часто будет более точным, чем исходный псевдометчик \(F_{pl}\) (Lee 2013). Процедура самообучения показана ниже.

Весьма удивительно, что самообучение может так хорошо работать на практике, учитывая, что мы переобучаемся на наших собственных предсказаниях , то есть на псевдометках, а не на истинных метках. В оставшейся части этого поста мы поделимся нашим теоретическим анализом, объясняющим, почему это так, и покажем, что повторное обучение самообучению доказуемо повышает точность по сравнению с исходным псевдо-метчиком.

Наш теоретический анализ сосредоточен на самообучении на основе псевдометок, но есть и другие варианты. Например, минимизация энтропии, которая по существу обучается на изменении псевдометок, создаваемых \(F\), а не на фиксированных псевдометках из \(F_{pl}\), также может интерпретироваться как самообучение. К этим алгоритмам применяются соответствующие методы анализа (Cai et al. 21).

Важность регуляризации для самообучения

Прежде чем обсуждать основные части нашей теории, мы сначала настроим анализ, показав, что регуляризация на этапе переобучения необходима для того, чтобы самообучение работало хорошо.

Рассмотрим этап переобучения описанного выше алгоритма самообучения. Предположим, мы минимизируем кросс-энтропийную потерю, чтобы соответствовать псевдометкам, как в случае с глубокими сетями. Можно довести нерегулируемую кросс-энтропийную потерю до 0, увеличив предсказания \(F_{pl}\) до бесконечности. Как показано на рис. 2 ниже, это означает, что этап переобучения не даст никакого улучшения по сравнению с \(F_{pl}\), поскольку граница решения не изменится. Это говорит о том, что в нашем анализе может потребоваться регуляризация, если самообучение должно привести к доказуемым улучшениям по сравнению с псевдометчиком.

Эмпирически один из методов, который приводит к существенным улучшениям после этапа переобучения, состоит в том, чтобы поощрять классификатор к согласованным прогнозам на соседних парах примеров. Мы называем такие методы формами регуляризации непротиворечивости ввода . В литературе встречаются различные способы определения «соседних пар», например, примеры, близкие по \(\ell_2\) расстоянию (Miyato et al., 2017, Shu et al., 2018), или примеры, которые являются разными сильными дополнениями данных одного и того же изображения (Xie et al. , 2019)., Berthelot et al., 2019, Xie et al., 2019, Sohn et al., 2020). Сильное увеличение данных, которое применяет более сильные изменения к входному изображению, чем традиционно используемое в контролируемом обучении, также очень полезно для самоконтролируемого контрастного обучения, которое мы проанализируем в последующем сообщении в блоге. Наш теоретический анализ рассматривает регуляризатор, который вдохновлен эмпирической работой по регуляризации согласованности ввода.

Основные составы для теоретического анализа

Из обсуждения выше становится ясно, что для того, чтобы понять, почему самообучение помогает, нам нужен принципиальный подход к регуляризатору для самообучения. Регуляризация непротиворечивости входных данных эффективна на практике, но как ее абстрагировать, чтобы анализ был податлив? Кроме того, какие свойства данных использует регуляризатор согласованности ввода, чтобы быть эффективным? В следующем разделе мы представим граф аугментации , ключевая концепция, которая позволяет нам четко решить обе проблемы. Основываясь на графе увеличения, в последующих разделах будет официально представлен регуляризатор и предположения о данных.

График увеличения данных о населении

Мы вводим увеличивающий граф для данных о населении, ключевую концепцию, которая позволяет нам формализовать регуляризатор согласованности входных данных и обосновывает естественные предположения о распределении данных.

Интуитивно понятно, что граф расширения — это граф с точками данных в качестве вершин со свойством, что семантически подобные точки данных будут связаны последовательностями ребер. Мы рассмотрим двудольный граф \(G’\), показанный на рисунке 3 ниже, набор вершин которого состоит из всех естественных изображений \(X\), а также множества \(\tilde{X}\) расширенных версий изображений в \(X\). Граф содержит ребро (выделено розовым цветом) между \(x \in X\) и \(\tilde{x} \in \tilde{X}\), если \(\tilde{x}\) получено путем применения увеличения данных к \(x\).

Анализ несколько упростится, если мы будем работать с графом \(G\), полученным коллапсом \(G’\) на множество вершин \(X\). Ребра \(G\) показаны черным цветом и соединяют вершины \(x_1, x_2 \in X\), которые имеют общего соседа в \(G’\). Естественные образы \(x_1, x_2 \in X\) являются соседями в \(G\) тогда и только тогда, когда они имеют общего соседа в \(G’\). В нашем следующем посте об алгоритмах контрастного обучения с самостоятельным учителем мы также рассмотрим граф, полученный путем схлопывания \(G’\) на \(\tilde{X}\), ребра которого показаны коричневым цветом на рисунке выше.

Для простоты мы рассматриваем только невзвешенные графики и фокусируемся на аугментациях данных, которые размывают изображение небольшим \(\ell_2\)-ограниченным шумом, хотя граф аугментации может быть построен на основе произвольных типов аугментации данных. На рисунке выше показаны примеры соседних изображений в \(G\), с парными цветными стрелками, указывающими на их общие дополнения в \(\tilde{X}\). Обратите внимание, что, следуя по ребрам в \(G\), можно пройти путь между двумя довольно разными изображениями, даже если соседние изображения в \(G\) очень похожи и должны иметь небольшое \(\ell_2\) расстояние друг от друга. Важно подчеркнуть, что \(G\) является графом на популяция данных, а не только обучающая выборка — это различие имеет решающее значение для типа предположений, которые мы будем делать относительно \(G\).

Формализация регуляризатора

Теперь, когда мы определили граф увеличения, давайте посмотрим, как эта концепция поможет нам сформулировать наш анализ. Во-первых, граф увеличения мотивирует следующую естественную абстракцию для регуляризатора непротиворечивости входных данных:

В этом определении окрестность \(N(x)\) — это множество всех \(x’\), таких что \(x\) и \(x’\) соединены ребром в графе увеличения. Конечная цель самообучения населения, которую мы проанализируем, представляет собой сумму регуляризатора и потери при подборе псевдометки и тесно связана с эмпирически успешными целями, такими как в (Xie et al., 2019, Sohn et al., 2020).

Предположения о данных

Теперь мы проведем мысленный эксперимент, чтобы понять, почему регуляризатор полезен, и при этом обосновать два ключевых предположения для нашего анализа. Рассмотрим идеализированный случай, когда классификатор имеет идеальную входную согласованность, т. е. \(R(F, x) = 0\) для всех \(x\). Если данные удовлетворяют соответствующей структуре, обеспечение идеальной согласованности ввода может быть очень полезным, как показано ниже.

На приведенном выше рисунке показано, что если класс собак соединен в \(G\), обеспечение идеальной согласованности ввода гарантирует, что классификатор будет делать одинаковые прогнозы для всех собак. Это связано с тем, что идеальная согласованность ввода гарантирует, что одна и та же метка будет распространяться по всем окрестностям примеров собак, в конечном итоге охватывая весь класс. Это полезно, чтобы избежать переобучения для неправильно псевдомаркированных примеров.

Имелись два неявных свойства распределения данных на рис. 4, которые гарантировали, что идеальная непротиворечивость входных данных была полезной: 1) класс собаки был связан в \(G\) и 2) классы собаки и кошки были далеко друг от друга. На рис. 5 показаны случаи отказа, когда эти условия не выполняются, поэтому идеальная согласованность ввода не помогает. Слева показано, что если класс собаки не связан в \(G\), идеальная согласованность ввода может не гарантировать, что классификатор предсказывает одну и ту же метку во всем классе. Справа показано, что если классы собак и кошек слишком близки друг к другу, идеальная согласованность ввода будет означать, что классификатор не сможет различить два класса.

Наши основные предположения, описанные ниже, являются естественными формализациями вышеприведенных условий.

Предположение 1 (Расширение внутри классов): Граф расширения имеет хорошую связность внутри классов. Формально для любого подмножества \(S\) изображений в пределах истинного класса \(P(N(S)) > cP(S)\) для некоторого \(c > 1\).

Рисунок выше иллюстрирует предположение 1. В предположении 1 \(N(S)\) относится к окрестности \(S\), которая содержит \(S\) и объединение окрестностей примеров в \(S\). Мы ссылаемся на предположение 1 как на предположение «расширения», потому что оно требует, чтобы окрестность \(S\) расширялась на постоянный коэффициент \(c\) по вероятности относительно самого \(S\). Мы называем коэффициент \(с\) коэффициентом разложения. Интуитивно, чем больше \(c\), тем лучше связность, потому что это означает, что каждый набор имеет большую окрестность. Связанные понятия расширения изучались в прошлом в таких условиях, как теория спектральных графов [2, 3], время выборки и смешивания [4], комбинаторная оптимизация [5] и даже полууправляемое обучение в других условиях совместного обучения [1].

Допущение 2 (Разделение между классами): Существует разделение между классами: граф \(G\) действительно содержит очень ограниченное количество ребер между разными классами.

В статье мы приводим примеры распределений, удовлетворяющих расширению и разделению, и считаем, что они являются реалистичными характеристиками реальных данных. Один ключевой момент, который следует повторить, заключается в том, что эти предположения и график \(G\) определены для данных о населении . Действительно, нереалистично иметь такие свойства, как сохранение расширения для обучающей выборки. Если бы мы попытались построить граф \(G\) только на обучающих примерах, он был бы полностью несвязным, потому что вероятность рисования двух i.i.d. образцы, которые оказались соседями (определенные на расстоянии \(\ell_2\)) экспоненциально малы во входном измерении.

Основные теоретические результаты

Теперь мы покажем, что модель, удовлетворяющая низким потерям при самообучении (2), будет иметь хорошую точность классификации. Наш основной результат таков:

Теорема 1 (неформальная): Существует выбор силы регуляризации непротиворечивости входных данных \(\lambda\) такой, что если псевдомаркировщик удовлетворяет базовому уровню точности, т. е. \(\text{Error}(G_{pl}) < 1/3\), то минимизатор \(\hat{F}\) целевой совокупности (2) будет удовлетворять:

Другими словами, предполагая расширение и разделение, самообучение доказуемо приводит к более точному классификатору, чем исходный псевдометчик! Одно из основных достоинств теоремы 1 состоит в том, что она не зависит от параметризации \(F\) и, в частности, верна, когда \(F\) — глубокая сеть. Кроме того, в настройках адаптации домена нам не требуются какие-либо предположения о взаимосвязи между исходным и целевым доменами, пока средство псевдомаркировки достигает базового уровня точности. Предыдущие анализы самообучения были ограничены линейными моделями (например, Kumar et al. 2020, Chen et al. 2020) или настройками адаптации предметной области, где предполагается, что сдвиг предметной области очень мал (Kumar et al. 2020).

Интересным свойством этой границы является то, что она улучшается по мере увеличения коэффициента \(c\) в предположении расширения. Напомним, что \(c\) по существу служит количественным показателем того, насколько связен граф расширения внутри каждого класса, а большее \(c\) указывает на большую связность. Интуитивно связность может улучшить оценку за счет усиления воздействия регуляризатора непротиворечивости входных данных.

Одним из способов улучшить связность графа является использование более сильных расширений данных. На самом деле, этот подход очень хорошо зарекомендовал себя эмпирически: такие алгоритмы, как FixMatch и Noisy Student, достигают самых современных результатов обучения с полуучителем за счет увеличения данных, которое изменяет изображения гораздо сильнее, чем при стандартном обучении с учителем. Теорема 1 предлагает объяснение того, почему сильное увеличение данных так полезно: оно приводит к большему \(c\) и меньшему пределу. Тем не менее, нужно быть осторожным, чтобы не увеличивать силу увеличения слишком сильно — использование слишком сильного увеличения данных может привести к тому, что наше предположение 2 о том, что основные классы истины разделены, больше не будет выполняться.

Доказательство теоремы 1 опирается на интуицию, изложенную в предыдущем пункте. Напомним, что цель состоит в том, чтобы показать, что переобучение на псевдометках может привести к классификатору, исправляющему некоторые ошибки в псевдометках. Причина, по которой классификатор может игнорировать некоторые неправильные псевдометки, заключается в том, что термин регуляризации согласованности входных данных в (2) побуждает классификатор предсказывать одну и ту же метку на соседних примерах. Таким образом, мы можем надеяться, что правильно псевдопомеченные примеры будут распространять свои метки на неправильно псевдопомеченные соседи, что приведет к эффекту шумоподавления на этих соседях. Мы можем сделать эту интуицию строгой, используя предположение о расширении (предположение 1).

Основной результат теоремы 1 и наши предположения были сформулированы для популяционных данных, но несложно преобразовать теорему 1 в гарантии точности для оптимизации (2) на конечном обучающем множестве. Ключевое наблюдение заключается в том, что даже если мы оптимизируем только обучающую версию (2), из-за обобщения потери популяции также будут малы, что на самом деле достаточно для достижения гарантий точности теоремы 1.

Заключение

В этом сообщении блога мы обсудили, почему самообучение на неразмеченных данных повышает точность. Мы построили граф увеличения данных таким образом, чтобы соседние примеры были связаны ребром. Мы предположили, что два примера из одного класса могут быть связаны последовательностью ребер в графе. В рамках этого предположения мы показали, что самообучение с регуляризацией повышает точность псевдометки, заставляя каждый связанный подграф иметь одну и ту же метку.