Метод скользящего экзамена

Время на прочтение
5 мин

Количество просмотров 2.4K

…птимальный вектор  параметров размытости для непараметрической оценки уравнения разделяющей поверхности допускает упорядочение в виде неравенств:

То v-я компонента вектор x имеет наименьшее влияние на точность восстановления уравнения разделяющей поверхности в данном наборе признаков.

В случае зависимых признаков правило формирования обучающей выборки  информативных признаков и состоит из следующих этапов:

1) в пространстве вектора исходных признаков проводится оптимизация непараметрической оценки уравнения разделяющей поверхности по вектору.

2) Составляется вариационный ряд из коэффициентов размытости и исключается из обучающей выборки признак соответствующий максимальному значению.

3) В пространстве оставшихся признаков вновь проводится оптимизация, и неинформативные признаки исключаются по правилу.

4) Процедура формирования выборки из информативных признаков продолжается до тех пор, пока число оставшихся признаков после отбрасывания неинформативных не будет равным заданному количеству.

20. Гибридные модели в задаче восстановления стохастических зависимостей.

 Пусть при восстановлении однозначной зависимости  кроме выборки  известны частичные сведения (либо принимается гипотеза)  о виде преобразования  с точностью до набора параметров .

Увеличение объема априорной информации и требование наиболее полного его использования в задаче восстановления  позволяют расширить область применения принципов теории обучающихся систем. Один из эффективных подходов решения указанной проблемы состоит в предварительном исследовании аппроксимационных свойств параметрической модели  зависимости  путем организации вычислительного эксперимента на статистических данных V с формированием выборки расхождений (невязок)  . По ней восстанавливается зависимость  представляющая собой функцию невязки между  и .    с помощью непараметрической процедуры. Гибридная модель формируется как некоторая комбинация  и , зависящая от введенного преобразования q .

Строим модель корректирующей функции (преобразование q) в виде непараметрической регрессии

Гибридная модель записывается в виде  

На основании двух моделей можно построить коллектив

Второй этап

, уточняем  и строим корректирующую функцию .

где  — расхождение между новыми экспериментальными данными и первой гибридной выборкой;

 — корректирующая функция второго этапа в виде непараметрической регрессии;

 — гибрид второго этапа.

21. Многоуровневые системы принятия решений в обработке разнотипных данных

Имеется обучающая выборка

V=(xⁱ, uⁱ, vⁱ,δ(i), i=1,k);

V_x=(xⁱ, δ(i), i=1,n);

V_u=( uⁱ, δ(i), iЄI/ Ω₁(x)∩Ω₂(x)); δ(i)=1, М – указания учителя о принадлежности ситуации xⁱ к одному из М классов. Непрерывные и дискретные признаки являются случайными векторами с неизвестными функциями распределения.

Используется условно-последовательная процедура распознавания образов

Где алгоритм  осуществляет классификацию на j-ом этапе в пространстве однотипных признаков  при условии принадлежности  области пересечения классов.

Качество решения задачи распознавания образов определяется исходя из минимума принятой ошибки классификации.

Требуется разобрать методику синтеза и анализа системы распознавания образов на основе последовательной процедуры принятия решений m(x)={m_t(x(t)),t=1,T}, характеризующейся решающими правилами m_t, t=1,T, в пространстве наборов разнотипных признаков х=(x(t),t=1,T).

Последовательные методы обработки данных дают возможность разбиения на ряд задач принятия решений по ограниченным наборам признаков.

V=(xⁱ, uⁱ, vⁱ,δ(i), i=1,k); V_x=(xⁱ, δ(i), i=1,n); V_u=( uⁱ, δ(i), iЄI/ Ω₁(x)∩Ω₂(x));

22. Обучающийся алгоритм формирования наборов информативных признаков

1. Получение информации для решения данной задачи.

Возьмем некоторый признак

2.

3. Анализ полученной информации

Построим информационный граф G(X,A) множество вершин Х которого соответствует множеству признаков (Х=к), а ребра между двумя вершинами  существуют, если    (достоверно с уровнем значимости β не отличается от ошибки в пространстве этих признаков). Это выполняется, когда признаки независимы.

 – это независимость.

Можно отбросить одну из групп, у которой ошибка минимальна.

4. Выделить сильные компоненты (сильно связанные подграфы – каждая пара вершин связана ребром) этого графа, провести их анализ и определить соответствующие им ошибки распознавания образов…… которому будет соответствовать сильная компонента с минимальной ошибкой.

23. Алгоритмы принятия решений в условиях малых выборок

V=(xⁱ,i=1,n)

Восстановим зависимость по выборке

1. Разбиваем по признакам

x=(x(1)…x(T))

k – Набор признаков k₁+…+k_T=K

Обобщенная модель               

Веса, обозначающие значимость модели —

2. x=(x(1)…x(T)), признаки не зависят друг от друга                                           

1) Определяем интервал вокруг каждой точки         

2) Сопоставим каждому интервалу датчик СВ. с некоторым законом распределения P_j(x₂) на интервале x_i±β

3) Осуществим генерацию случайных чисел х₂ с помощью ДСВ:

x₂ имеет нулевое мат. ожидание и находится на интервале 2β, по полученной выборке построить оценку плотности вероятности P(x).

Задача продолжения случайной последовательности 

Строим ДСВ P(x) –> xⁱ, i=1,n xⁱ, i=1,n получить xⁿ⁺¹, xⁿ⁺². Выбрать случайным образом из интервала [0,n1] выбираем точку с адресом x₃.

Оценка плотности вероятности  если n –> бесконечно и m тоже, то оценка сходится .

Если n конечно, то нельзя добиться асимптотической сходимости но результат можно получить

25. Статистические методы принятия решений в условиях больших выборок

Вычислительная эффективность непараметрических алгоритмов во многом зависит от объёма n статистических данных и снижается по мере его увеличения, что проявляется в росте временных затрат обработки информации. Поэтому возникает задача уменьшения объёма выборки, таким образом, чтобы не повлиять на точность оценки плотности вероятности.

n^’<<n выбрать некоторые точки, остальные выбросить (из сотен тысяч выбрать тысячу)

 сжать информацию и решать задачу на основании новой выборки.

Методика синтеза оценки плотности вероятности для одномерного случая.

Имеем выборку   V=(xⁱ,i=1,n)

1. Разобьем выборку на N равных интервалов длиной обозначим центр интервала z^j, j=1,N

2. По выборке V=(xⁱ,i=1,n) сформировать . P^j – оценка вероятности попадания СВ в интервал j, в предположении, что в этом интервале искомая плотность вероятности является равномерной. Тогда частота будет равна:

 — количество , попавших в этот интервал.

3. Зная высоту ступеньки, можем перейти от частоты к оценке плотности .

Отличается задача оптимизации

4. При оценивании плотности вероятности будем использовать модель стохастической зависимости, чтобы модель хорошо сходилась с экспериментальными данными. Возьмем в качестве модели непараметрической регрессии оценку оптимального решающего правила (условное математическое ожидание)

5. Воспользуемся данной моделью непараметрической регрессии при оценке плотности вероятности по выборке  для этого построим модификацию данной модели

 имеет равномерную плотность вероятности, т.к. находится на одинаковых расстояниях. У нормированной плотности S=1, если P(z)

 — регрессионная оценка плотности вероятности, построенная на сжатости для выбора параметра с используется критерий:   в многомерном случае оценка примет вид

26. Метод скользящего экзамена и его применение при оптимизации алгоритмов принятия решения

Пусть дана выборка  статистически независимых наблюдений случайной величины, распределённой с неизвестным законом.

       Методика формирования регрессионной оценки плотности вероятности:

       1. Разобьём область определения  на N непересекающихся интервалов длинной  таким образом, чтобы в каждый интервал попало минимум 2-3 наблюдения.

       Пусть  количество наблюдений в каждом -м интервале.

       2. Находим оценки вероятностей попадания наблюдений в каждый -й интервал по формуле:

.

       3. Предполагаем, что в каждом интервале имеет место равномерный закон распределения наблюдений. Исходя из этого, находим высоты полученных прямоугольников. Площади прямоугольников соответствуют оценкам вероятности попадания случайной величины  в j-й интервал. Так как площадь, то высота прямоугольников (оценка плотности вероятности для -го интервала) .

       4. На основе полученной информации сформируем статистическую выборку, где  — центры введённых интервалов.

В итоге после сокращений получаем формулу регрессионной оценки плотности вероятности

и если  — многомерная случайная величина, то регрессионная оценка плотности вероятности имеет вид:

Оптимизация регрессионной оценки плотности вероятности по коэффициенту размытости     

Преимущество предлагаемых в повышении вычислительной эффективности непараметрических алгоритмов, за счёт сжатия исходной обучающей выборки;

в упрощении задачи оптимизации коэффициента размытости, например, с помощью метода «скользящего экзамена» по выборке  при конкретном значении .

Оптимизация коэффициента размытости с помощью метода «скользящего экзамена».

Оптимизация регрессионной оценки плотности вероятности по коэффициентам размытости осуществляется по выборке  из условия минимума эмпирического критерия оценок плотности вероятности заключается:

.

Идея метода «скользящего экзамена» заключается в том, что каждое  наблюдение обучающей выборки подаётся на контроль и исключается из процесса обучения при оценивании плотности вероятности. Вычисляется квадратическое расхождение её значения с  оценкой плотности вероятности для каждого j-го интервала. Данная процедура повторяется для всех ситуаций обучающей выборки и формируется критерий, минимум которого определяет оптимальный коэффициент ядерной функции c.

27. Статистические методы принятия решений в условиях малых выборок

Восстановим зависимость по выборке V=(xⁱ,yⁱ,i=1,n); x=(x_v,v=1,k); n/k<30 искусственно наращиваем выборку

1)        Используя принцип индексации 2) используя принцип декомпозиции систем (метод

группового учета аргументов МГУА)

Этапы:

1. Выбрать некоторых 2 признака из исходного набора (x_v,x_j,) сформировать из них выборку V=(xⁱ_v, xⁱ_j, yⁱ ,i=1,n)

2. По этой выборке построить модель в пространстве этих признаков, когда отношение n/2>>30 (искусственное повышение отношения n/k методом декомпозиции) модель строим т.о., чтобы минимизировать критерий отражающий качество аппроксимации:

3. Повторить этап 2 для всех сочетаний (x_v,x_j) (число сочетаний равно  по два признака из k)

4. Выбрать некоторую модель  из условия, что,  которая в пространстве двух признаков дает минимальную ошибку из всех возможных сочетаний

5. Сформировать выборку формируем в процессе проведения вычислительного эксперимента с моделью .

6. Построить модель по выборке  . Вычисляем критерий

7. Повторить этап 6 для

8. Выбрать модель , для которой справедливо такой признак  , который в паре с  дает наилучшую аппроксимацию исходной зависимости.

9. Сформировать выборку

10. По выборке  строим модель ,  вычисляем для нее ошибку аппроксимации и выбираем такой признак, который в паре с  дает наименьшую аппроксимацию исходной зависимости

Условия прекращения: 1. Когда использовали все k признаков 2. Когда результат приемлемый (одновременно выбираем наиболее приемлемые признаки)

28. Принятие решений в пространстве дискретных признаков

Заменяем в булевой системе 0 и 1 на a₁a₂ и т.д.

Надо ввести меру близости

Каждому признаку присваивается коэффициент

1) a₁+a₅+a₇

2) a₁+a₆+a₇

Алгоритм распознавания образов в условиях дискретных признаков

V_u=(uⁱ,s(i), i=1,n) u=(001101)

Чтобы оценить вероятности надо исследовать признаки u_v,v=1,m на их независимость и на этой основе оценить искомые вероятности.

Предположим, что признаки независимы, тогда  — частота встречаемости значений признака u_v в первом классе .

29. Непараметрические алгоритмы автоматической классификации

Задача: разбить эти точки на группы, когда количество групп неизвестно.

Существует 3 группы алгоритмов автоматической классификации:

1. Эвристические, т.к. не обоснована процедура формирования параметра r (алгоритм Форель, Взаимного поглощения)
2. Алгоритмы основанные на понятии класса (метод профессора Васильева)
3. Оптимизационные методы

Обобщенный непараметрический алгоритм автоматической классификации

1. Выделяем центры классов  и

Для выделения центров классов назначим   — некоторый уровень совместной плотности вер-ти.

Из выборки V выбрать точки, для которых  (сюда входят точки, которые принадлежат центрам классов)

1. Используя базовый алгоритм, проводим классификацию точек.

Базовый алгоритм

Из выборки берем некоторую точку , условие, что расстояние между классами  и

Проводим классификацию оставшихся точек (n-1) в соответствии с алгоритмом:

Обозначим через  — множество номеров точек отнесенных алгоритмом  к классу j и  точку, а через — обозначим множество номеров точек 

— количество точек отнесенных к j-ому классу

Проводим классификацию в соответствии с алгоритмом

Продолжаем до тех пор, пока на S-ом этапе значение функции обратится в 0 во всех точках, оставшимся точкам присвоить значение.

Т.к. на втором этапе классы не выделяются, переходим к первому и назначаем уровень , здесь классы выделяются, но т.е. не соблюдается условие базовой классификации.

Переходим к  и т.д., при некотором значении  получим границу между классами:

На основе этой границы строим решающее правило:

Продолжается пока не будут идентифицированы все точки. Данный закон хорошо работает, пока законы распределения симметричны.

—  проверяется на однородность, т.к. это может быть совокупностью классов, а не один класс.

30. Синтез байесовских решающих функций

Рассмотрим объект с входом , который может быть вектором , и выходом y – скаляр. Выходная переменная y является дискретной случайной величиной.

Рис. 4.1. Объект исследования.

Существует некоторая неизвестная зависимость между входом и выходом . Необходимо оценить данную зависимость, построив модель

Пусть дана выборка  статистически независимых наблюдений случайной величины x, распределённых с неизвестной плотностью – «указания учителя» о принадлежности ситуации  к тому либо иному классу .

Под классом понимается совокупность наблюдений, связанных между собой каким либо свойством или целью.

Необходимо построить решающее правило,  позволяющее в  автоматизированном режиме принимать решение о принадлежности новых ситуаций  к классам .

При наличии двух классов y принимает значения  и. Если классифицируемые объекты характеризуются двумя признаками, то двухальтернативная задача распознавания образов иллюстрируется, где  – разделяющая поверхность (решающая функция) между классами  и . В результате преабразований оптимальная граница находится в точке пересечения двух классов. Полученная разделяющая поверхность между классами называется байесовской решающей функцией и имеет вид

Исходя из этого, решающее правило будет иметь вид:

Решающее правило, соответствующее данной байесовской разделяющей поверхности, называется правилом максимального правдоподобия.

       Далее рассмотрим ситуацию когда, априорные вероятности  классов разные. Пусть n – общее количество наблюдений; n₁– количество наблюдений первого класса; n₂– количество наблюдений второго класса.

Найдём минимум суммарной ошибки по границе  и получим байесовскую разделяющую поверхность

.

       Тогда решающее правило, соответствующее данной разделяющей поверхности, будет иметь вид

и называется правилом  максимума  апостериорной  вероятности.

31.  Метод взаимного поглощения.

Пусть имеются точки, вокруг которых построены гиперсферы с радиусом .   – гиперсферы;  – их пересечение. Они имеют область взаимного поглощения, если в область пересечения попадает как точка , так и точка :

Рисунок 2. Область взаимного поглощения

Класс образуют те точки, которые попадают в область взаимного поглощения.

Алгоритм:

1) Вокруг каждой точки построить гиперсферу радиуса .

2) Определить область взаимного поглощения с максимальным количеством точек (они относятся к первому классу).

3) Отбросить эти точки из выборки, и из оставшихся точек найти область взаимного поглощения с максимальным количеством точек и так далее.

Значение радиуса  берем равным максимальному расстоянию между точками.

32. Принятие решений в пространстве разнотипных признаков.

Лингвистические переменные – переменные, которые выражаются в виде словесных инструментов.

υ=(хорошо, не хорошо, очень хорошо)

Необходимо использовать многоуровневую систему принятия решения и свести признаки к дискретному виду:

Порядковые и номинальные признаки можно свести к булевым.

33. Алгоритм «Форель».

Он предполагает:

1. Ввести параметр r (как среднее расстояние между точками) окрестности для каждой точки xⁱ.

2. Взять xⁱ из исходной выборки V и отнести эту точку к исходному классу Ώ₁, xv -> Ώ₁.

3. Проводим классификацию оставшихся точек в соответствии с алгоритмом m₁(x^j): x^j Ώ₁, если x^jD_i, j=1,n;j≠i

Точки из выборки, которые попадают в окрестность r, относятся к тому же классу что и центральные xⁱ.

4. Провести классификацию оставшихся точек в соответствии с алгоритмом:

m₂(x^j): x^j Ώ₁, если x^jUD_t, tI₁, j=II₁¹

I₁² – множество точек которые на четвертом этапе были отнесены  к первому классу.

m₃(x^j): x^j Ώ₁, если x^jUD_t, tI₁², j=II₁¹U I₁²

Эта процедура продолжается пока на некотором S-ом этапе к первому классу не будет отнесена ни одна из оставшихся точек, т.е. первый класс сформирован.

Точки первого класса исключаем из выборки V. Из оставшихся точек выбираем любую и относим ее ко второму классу. Далее процесс классификации точек аналогичен процедуре формирования первого класса. Далее третий класс и т.д.

34. Оптимизация непараметрических и гибридных моделей стохастических зависимостей.

35. Метод группового учета аргументов в задачах восстановления стохастических зависимостей.

Входные параметры — y=φ(x), v=(xⁱ,yⁱ,i=1,n) n/k<30

1. Выбираем из исходного набора два признака (x_v,x_j), v_vj=(x_vⁱ, x_jⁱ, i=1,n)
2. , т.е. искусственно повышаем отношение n/k за счет декомпозиции

1. Повторить этап 2 для всех сочетаний x_v,x_j. Это число различных сочетаний по два признака из k (c²k).
2. Выбираем некоторую модель  из условия, что W₁(μ,q)=minW(v,j),   .
3. Сформировать выборку , она является частью v.

Для определения  — организовать вычислительный эксперимент с моделью:

1. По выборке v₂ построить модель
2. Повторить этап 6 для v=1,k; v≠μ; v≠q. При построении модели на этапе 6 вычисляется критерий:

1. Выбрать модель  для которой справедливо

W₂(r)=minW₂(v); v=1,k; v≠μ; v≠q

Это значит, что мы выбираем такой признак, который в паре с y₁ дает наилучшую аппроксимацию исходной зависимости.

1. Аналогично этапу 5

Формируем . v₃ часть v.

1.   . v₄ часть v.

И так идет усложнение, пока ошибка аппроксимации W не станет нас удовлетворять или пока мы не используем все k признаков.

36. Непараметрические коллективы решающих правил в задачах распознавания образов.

37. Асимптотические свойства непараметрических алгоритмов принятия решений.

1.   Асимптотическая несмещенность

2.   Сходимость среднеквадратического

3.   Состоятельность

38. Непараметрические модели временных процессов коллективного типа

Рассматриваются непараметрические модели временных зависимостей, являющихся основными элементами структуры пространственно распределённых временных систем. Представляемые модели развивают результаты научных исследований, опубликованных в работах.

Синтез непараметрических моделей временных зависимостей.

Пусть V(xt, yt, t=1,n) — выборка наблюдений стохастического процесса y(t)=ψ(x(t)), измеряемых в дискретном времени t = 1,n. При этом объем исходной выборки n сопоставим с размерностью пространства p входных признаков. Случайные величины xt, yt в каждый момент времени t распределены с неизвестными плотностями вероятности p(xt, yt) и p(xt)> 0 . Априори вид нелинейной стохастической зависимости y(t)=ψ(x(t)) не задан.

Для инерционных процессов, когда y(t) зависит от x(t) и предыдущих значений выходной переменной, в предлагаемом методе изменяется лишь размерность пространства входных факторов.

Для восстановления временных зависимостей в условиях малых выборок предлагаются непараметрические модели коллективного типа.

В многомерном случае, наряду с линейными, в качестве опорных также могут быть использованы нелинейные опорные функции. Однако, при формировании подобных опорных функций необходим больший объем времени по сравнению с линейными, что существенно влияет на вычислительные характеристики непараметрического коллектива.

39. Нелинейные непараметрические коллективы в задаче восстановления стохастических зависимостей.

Идея предлагаемого подхода состоит в декомпозиции исходной задачи, построении семейства локальных решающих функций на основании однородных частей обучающей выборки и последующей их организации в едином нелинейном решающем правиле с помощью методов непараметрической статистики. Однородная часть обучающей выборки содержит её элементы, удовлетворяющие одному или нескольким требованиям, таким как наличие однотипных признаков (непрерывные, дискретные, лингвистические и др.), отсутствие либо наличие пропусков данных, что порождает широкий круг условий синтеза непараметрических решающих правил. Однородные части обучающей выборки могут отличаться размерностью и количеством элементов.

На основании однородных частей обучающей выборки сформируем наборы признаков (х(j), j=1,m)  из исходных x =( x₁ ,K , xk ) и построим семейство частных моделей φ(j)( х(j), j=1,m) на основании обучающих выборок V_j =( xⁱ (j) yⁱ ,i=1, n) j=1, m.

 Интеграция частных моделей в нелинейном коллективе решающих правил осуществляется в соответствии с процедурой:

Где  — модели частных зависимостей и объединяющего их нелинейного оператора. Структура предлагаемого коллектива решающих правил при восстановлении многомерной стохастической зависимости представлена на рисунке:

При построении частных моделей  могут быть использованы известные методы аппроксимации, включая непараметрическую регрессию

Обобщение частных моделей в едином решающем правиле осуществляется с помощью непараметрической статистики

Оптимизация непараметрического коллектива  по коэффициентам размытости ядерных функций производится в режиме «скользящего экзамена» из условия минимума эмпирического критерия 

40. Двойное коллективное оценивание

Объектом исследования является временная зависимость:

Где преобразование  при каждом  имеет, по крайней мере, две первые ограниченные производные по . Такой класс преобразований будем обозначать через .

Априорная информация о временной зависимости представлена в выборке статически независимых наблюдений . Причем вид плотности вероятности   неизвестен.

Для восстановления зависимости воспользуемся модифицированной методикой синтеза непараметрических моделей коллективного типа, основанной на построении системы упрощенных аппроксимаций, и последующим объединением их в коллективе решающих правил. В предлагаемом подходе система упрощенных аппроксимаций формируется последовательно в двух направлениях от начального  и от конечного  условий, что позволяет в два раза увеличить их количество. Причем организация полученных аппроксимаций в обобщенной модели осуществляется с помощью двойного коллективного оценивания (непараметрического и параметрического).

Данная идея реализуется следующим алгоритмом:

1. Принять t=1.

2.  Сформировать выборку

3. Построить упрощенную аппроксимацию  зависимости с учетом условий:

В соответствии с приведенными условиями упрощенная аппроксимация  проходит через точку  и близка в среднеквадратическом ко всем последующим ситуациям

4. Если , перейти к этапу 2 при , в противном случае – к этапу 5.

5. Построить непараметрическую модель коллективного типа зависимости в виде статистики:

6. Принять t=n.

7. Сформировать выборку

8. Построить упрощенную аппроксимацию , проходящую через точку  при , параметры которой удовлетворяют условию:

9.  t>k, перейти к этапу 7 при t=t-1, иначе – к этапу 10.

10. Систему упрощенных аппроксимаций  организовать в непараметрический коллектив

11. Построить обобщенную коллективную модель зависимости в соответствии с процедурой

Где параметр  определяется из условия минимума эмпирического критерия:

Изложенный метод основан на двойном коллективном оценивании.

41. Нелинейные непараметрические коллективы в задаче распознавания образов

Так же как и в 54 вопросе! (?).

42. Асимптотические свойства непараметрической оценки уравнения разделяющей поверхности.

1. Асимптотическая несмещенность

2. Сходимость среднеквадратического

43. Статистические модели пространственно распределенных временных систем в однородных условиях.

Непараметрические модели однородных процессов. Идея разработанного подхода состоит в построении статистических моделей вре­менных процессов

соответствующих пространственным координатам  на­блюдении за процессом  и последующей их интеграции в единой решающей функции с помощью не параметрической оценки услов­ного математического ожидания.

Для восстановления временных зависимостей предлагается использовать методику синтеза непараметрических моделей коллек­тивного типа, обеспечивающих наиболее полный учет информации обучающих выборок  на основе сочетания преимуществ параметрических и локальных аппроксимаций [1].

Поставим в соответствие каждому наблюдению  подвыборку  и линейный полином, параметры которого удовлетворяют условиям

в виде непараметрической модели коллективного типа [2]

Ф(-) — ядерные функции, удовлетворяющие условиям положитель­ности, симметричности и нормированности [3].

Непараметрическая модель коллективного типа характери­зуется высоким уровнем помехозащищенности, что обеспечивается двойным сглаживанием при формировании системы упрощенных аппроксимаций , и путем их усреднения в соответ­ствии с процедурой.

Оптимизация непараметрической модели по параметрам размытости — оценки среднеквадратических отклонений осуществляется из условия минимума эмпирического критерия

отражающего меру близости между экспериментальными данными  и результатами их оценивания по модели (6.3).

Выбор параметров с осуществляется в режиме «скользящего эк­замена»: ситуация представляемая на контроль, ис­ключается из процесса обучения в процедуре (6.3), что выполняется  .

Для построения обобщенной статистической модели процесса в однородных условиях воспользуемся оператором условного математического ожидания в пространстве z, непараметрическая оценка которого имеет вид:

44. Методы формирования “опорных” ситуаций в непараметрических коллективах решающих правил.

Предлагаются два подхода формирования системы опорных точек в процессе синтеза структуры непараметрической модели коллективного типа.

Первый подход основан на моделировании опорных точек с законом распределения, соответствующим значениям восстанавливаемой зависимости. Второе направление базируется на итерационной процедуре последовательного формирования упрощённых аппроксимаций, минимизирующих на каждом этапе относительную эмпирическую ошибку расхождения между восстанавливаемой зависимостью и её коллективной моделью.

Моделирование системы опорных точек.

Пусть  — исходная обучающая выборка, а  — система опорных точек,  . Мощность множества  . Плотность вероятности опорных точек  , соответствующая y(x), минимизирует главный член дисперсии коллективной модели.

Отсюда следует, что одно из возможных направлений формирования системы опорных точек состоит в их случайном выборе с законом распределения . При этом основной проблемой является построение соответствующего датчика случайных величин.

На оси случайных чисел  с равномерным законом распределения определим интервалы:

для каждой точки   обучающей выборки. Нетрудно заметить, что длина такого интервала пропорциональна значению восстанавливаемой зависимости, а их сумма равна 1.

Для снижения влияния помех на вероятностные свойства целесообразно предварительно сгладить значения экспериментальных данных, тогда алгоритм выбора системы опорных точек представляется следующей последовательностью действий:

1. Принять j=1.

2. Обратиться к датчику случайных величи

Метод скользящего экзамена (K-fold cross-validation) является наиболее часто используемым методом оценивания качества решений в задачах машинного обучения. Несмотря на большое число работ, посвященных исследованию данного подхода, остается открытой проблема оценивания точности получаемых
оценок качества. В частности, в настоящее время неизвестны доверительные интервалы для оценки скользящего экзамена, существуют лишь очень грубые оценки
таких интервалов.

Основной идеей работы является схема статистического моделирования, которая позволяет использовать реальные данные для получения статистических оценок,
которые обычно получаются только при использовании модельных распределений. Предложенный подход позволяет достаточно точно вычислять как общую погрешность оценок скользящего экзамена, так и отдельные ее компоненты (смещение, дисперсию), а также оценивать связь этой погрешности с различными статистиками.

Использование повторяющегося скользящего экзамена со случайным разбиением на подвыборки также не дает принципиального выигрыша в точности. Результаты экспериментов позволяют сформулировать эмпирическую оценку, что точность оценок, полученных методом скользящего экзамена приблизительно такая же, как точность оценок, полученных по контрольной выборке, вдвое меньшего объема. Этот результат легко объяснить тем фактом, что все объекты контрольной выборки независимы, а оценки, построенные скользящим экзаменом на разных подвыборках, не являются независимыми.

1. Bayle P., Bayle A., Janson L., Mackey L. Cross-validation Confidence Intervals for Test Error // Advances in Neural Information Processing Systems. 2020. Vol. 33. P. 16339–16350
2. Beleites C., Baumgartner R., Bowman C., Somorjai R., Steiner G., Salzer R., Sowa M. G. Variance reduction in estimating classication error using sparse datasets // Chemometrics and Intelligent Laboratory Systems. 2005. Vol. 79, Iss. 1-2. P. 91—100. https://doi.org/10.1016/j.chemolab.2005.04.008
3. Franc V., Zien A., Sch¨olkopf B. Support Vector Machines as Probabilistic Models // Proc. of the International Conference on Machine Learning (ICML). ACM, New York, USA, 2011. P. 665–672.
4. Friedman J., Hastie T., Tibshirani R. Additive logistic regression: a statistical view of boosting // Annals of Statistics. 2000. Vol. 28. P. 337–407. https://doi.org/10.1214/aos/1016218223
5. Кельманов А. В., Пяткин А. В. NP-трудность некоторых квадратичных евклидовых задач 2-кластеризации // Доклады Академии наук. 2015. Т. 464, №
   5. С. 535–538. https://doi.org/10.7868/S0044466916030091
6. Лбов Г. С., Старцева Н. Г. Сравнение алгоритмов распознавания с помощью программной системы «Полигон» // Анализ данных и знаний в экспертных системах. Новосибирск, 1990. Вып. 134 : Вычислительные системы. С. 56–66.
7. Лбов Г. С., Старцева Н. Г. Логические решающие функции и вопросы статистической устойчивости решений. Новосибирск : Институт математики СО РАН, 1999. 211 с.
8. Lugosi G., Vayatis N. On the bayes-risk consistency of regularized boosting methods // Annals of Statistics. 2004. Vol. 32. P. 30–55. https://doi.org/10.1214/aos/1079120129
9. Mease D., Wyner A. Evidence contrary to the statistical view of boosting // Journal of Machine Learning Research. 2008. Vol. 9. P. 131–156. https://doi.org/10.1145/1390681.1390687
10. Motrenko A., Strijov V., Weber G.-W. Sample Size Determination For Logistic Regression // Journal of Computational and Applied Mathematics. 2014. Vol.
    255. P. 743–752. https://doi.org/10.1016/j.cam.2013.06.031
11. Krasotkina O. V., Turkov P. A., Mottl V. V. Bayesian Approach To The Pattern Recognition Problem In Nonstationary Environment // Lecture Notes in Computer
    Science. 2011. Vol. 6744. P. 24–29. https://doi.org/10.1007/978-3-642-21786-9_6
12. Красоткина О. В., Турков П. А., Моттль В. В. Байесовская логистическая регрессия в задаче обучения распознаванию образов при смещении решающего
    правила // Известия Тульского государственного университета. Технические науки. 2013. № 2. C. 177–187.
13. Nedel’ko V. M. Misclassification probability estimations for linear decision functions. // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 2004. Vol. 3138. P. 780–787. https://doi.org/10.1007/978-3-540-27868-9_85
14. Nedel’ko V. Decision trees capacity and probability of misclassification // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial
    Intelligence and Lecture Notes in Bioinformatics). LNAI. 2005. Vol. 3505. P. 193–199. https://doi.org/10.1007/11492870_16
15. Неделько В. М. Регрессионные модели в задаче классификации // Сибирский журнал индустриальной математики. 2014. Т. 27, № 1. C. 86–98.
16. Неделько В. М. К вопросу об эффективности бустинга в задаче классификации // Вестник Новосибирского государственного университета. Серия: математика, механика, информатика. 2015. Т. 15, вып. 2. C. 72–89. https://doi.org/10.17377/PAM.2015.15.206
17. Torshin I. Yu., Rudakov K. V. On the Theoretical Basis of Metric Analysis of Poorly Formalized Problems of Recognition and Classification. Pattern Recognition and Image Analysis (Advances in Mathematical Theory and Applications). 2015. Vol. 25, N 4. P. 577–587. https://doi.org/10.1134/S1054661815040252
18. Vanwinckelen G., Blockeel H. On estimating model accuracy with repeated crossvalidation // BeneLearn 2012: Proceedings of the 21st Belgian-Dutch Conference
    on Machine Learning. 2012. P. 39–44.
19. Vorontsov K.V. Exact Combinatorial Bounds on the Probability of Overfitting for Empirical Risk Minimization // Pattern Recognition and Image Analysis (Advances in Mathematical Theory and Applications). 2010. Vol. 20, N 3. P. 269–285. https://doi.org/10.1134/S105466181003003X