Пример. Метод Граббса для обнаружения отклонений

Функции > Анализ данных > Отклонения и NaN > Пример. Метод Граббса для обнаружения отклонений

Статистика критерия Граббса

Рассчитайте статистику критерия Граббса, как в функции Grubbs, чтобы обнаружить отклонения. Сравните статистику критерия Граббса со статистикой критериев отклонений.

1. Задайте набор данных, который описывает эксперимент с тепловым потоком, и постройте его график.

Щелкните для копирования этого выражения

<region id="ID0EMASU" top="326.40000000000003" left="19.200000000000003" height="235.157894736842" width="561.473684210526" xmlns="http://schemas.mathsoft.com/worksheet50">
  <plot origin-positioning="true">
    <xyPlot>
      <title class="- topic/title " wwtype:type="Paragraph" xmlns:wwtype="urn:WebWorks-Type-Schema" />
      <legend />
      <traces>
        <trace resultRef="58">
          <traceStyle color="#FF00008B" symbol="x" line-weight="1" line-style="None">lines</traceStyle>
        </trace>
        <trace resultRef="59">
          <traceStyle color="#FF000000" symbol="none" line-weight="1" line-style="Solid">lines</traceStyle>
        </trace>
      </traces>
      <graph-size width="461.473684210526" height="177.557894736842" />
      <axes>
        <xAxis rank="1" legend-position="PlotBoundaryBottom" start="0" end="200">
          <axisLine position="bottom" positionticmark="-1" legendWidth="92.1466666666667" />
          <axisGrid>
            <gridFrequency>11</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="60">
                <id xml:space="preserve" xmlns="http://schemas.mathsoft.com/math50">range</id>
              </math>
              <math resultRef="61">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </startValue>
            <endValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </endValue>
          </xyDomain>
        </xAxis>
        <yAxis rank="1" legend-position="PlotBoundaryLeft" start="9.175" end="9.355">
          <axisLine position="origin" positionticmark="0" legendWidth="66.1366666666667" />
          <axisGrid>
            <gridFrequency>13</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="62">
                <id xml:space="preserve" xmlns="http://schemas.mathsoft.com/math50">y</id>
              </math>
              <math resultRef="63">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
            <plotEquation>
              <math resultRef="64">
                <id xml:space="preserve" xmlns="http://schemas.mathsoft.com/math50">m</id>
              </math>
              <math resultRef="65">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </startValue>
            <endValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </endValue>
          </xyDomain>
        </yAxis>
      </axes>
    </xyPlot>
  </plot>
</region>

2. Определите критическое значение распределения Стьюдента с N - 2 степенями свободы и уровнем значимости, равным alpha/(2N).

<region id="ID0EECSU" top="652.80000000000007" left="19.200000000000003" height="47.2" width="197.51" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="72">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <function>
        <id labels="*" xml:space="preserve">t</id>
        <boundVars>
          <id labels="*" xml:space="preserve">alpha</id>
        </boundVars>
      </function>
      <apply>
        <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">qt</id>
        <sequence>
          <apply>
            <div />
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">alpha</id>
            <apply>
              <mult />
              <real>2</real>
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">N</id>
            </apply>
          </apply>
          <apply>
            <minus />
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">N</id>
            <real>2</real>
          </apply>
        </sequence>
      </apply>
    </define>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

Функция qt рассчитывает обратную кумулятивную плотность вероятности распределения Стьюдента.

3. Определите статистику критерия Граббса как функцию с переменной альфа.

<region id="ID0EBFSU" top="748.80000000000007" left="19.200000000000003" height="66.865333527326584" width="299.03933330357074" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="74">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <function>
        <id labels="*" xml:space="preserve">crit</id>
        <boundVars>
          <id labels="*" xml:space="preserve">alpha</id>
        </boundVars>
      </function>
      <apply>
        <mult />
        <apply>
          <div />
          <apply>
            <minus />
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">N</id>
            <real>1</real>
          </apply>
          <apply>
            <nthRoot />
            <placeholder />
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">N</id>
          </apply>
        </apply>
        <parens>
          <apply>
            <nthRoot />
            <placeholder />
            <apply>
              <div />
              <apply>
                <pow />
                <apply>
                  <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">t</id>
                  <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">alpha</id>
                </apply>
                <real>2</real>
              </apply>
              <apply>
                <plus />
                <apply>
                  <minus />
                  <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">N</id>
                  <real>2</real>
                </apply>
                <apply>
                  <pow />
                  <apply>
                    <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">t</id>
                    <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">alpha</id>
                  </apply>
                  <real>2</real>
                </apply>
              </apply>
            </apply>
          </apply>
        </parens>
      </apply>
    </define>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

4. Определите уровень значимости для доверительной вероятности, равной 90 %.

5. Вызовите функцию Grubbs, чтобы обнаружить отклонения.

<region id="ID0EFISU" top="864.00000000000011" left="19.200000000000003" height="44.2" width="339.71999999999997" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="78">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <id labels="*" xml:space="preserve">outlier</id>
      <eval>
        <apply>
          <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">Grubbs</id>
          <sequence>
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
            <apply>
              <minus />
              <real>1</real>
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">α</id>
            </apply>
          </sequence>
        </apply>
        <unitOverride>
          <placeholder />
        </unitOverride>
      </eval>
    </define>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

Функция Grubbs может принять матрицу в качестве входных данных, в этом случае функция возвращает вложенные пары индексов для расположений массивов отклонений.

6. Сравните статистику критерия Граббса со статистикой критериев отклонений.

Статистика критериев этих двух отклонений больше, чем статистика критерия Граббса. Даже если возвращено более одного индекса, это не означает, что все варианты являются отклонениями. Причина этого в том, что критическое значение и статистика критерия изменяются в случае удаления какого-либо варианта. Оба эти показателя зависят от N.

Поскольку критерий Граббса рассчитан на нормальные данные, стоит проверить, являются ли используемые данные нормальным распределением. Например, можно перед тем, как продолжить работу, прибегнуть к визуальному тестированию, такому как построение графика нормальной вероятности.

GrubbsClassic

Используйте функцию GrubbsClassic для поиска в наборе данных точки, которая с наибольшей вероятностью является отклонением.

1. Рассчитайте наибольшую статистику критерия для приведенного выше набора данных.

<region id="ID0E6MSU" top="1286.4" left="38.400000000000006" height="51.2" width="267.96333333333337" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="82">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <id labels="*" xml:space="preserve">Gmax</id>
      <eval>
        <apply>
          <div />
          <apply>
            <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">max</id>
            <apply>
              <vectorize />
              <apply>
                <absval />
                <apply>
                  <minus />
                  <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
                  <apply>
                    <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">mean</id>
                    <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
                  </apply>
                </apply>
              </apply>
            </apply>
          </apply>
          <apply>
            <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">stdev</id>
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
          </apply>
        </apply>
        <unitOverride>
          <placeholder />
        </unitOverride>
      </eval>
    </define>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

2. Определите значение альфа для доверительного интервала, равного 98 %.

3. Сравните статистику критерия Граббса со значением Gmax.

На данном уровне значимости не обнаружено отклонений.

4. Вызовите функцию GrubbsClassic.

Точка, возвращенная функцией GrubbsClassic, не является отклонением, но это точка данных, которая с наибольшей вероятностью может им быть.

Предельная вероятность обнаружения отклонений

Используйте специальное построение root для расчета предельной вероятности, с которой могут быть обнаружены отклонения.

<region id="ID0EBUSU" top="1670.4000000000003" left="38.400000000000006" height="25.6" width="302.86" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="92">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <id labels="VARIABLE" xml:space="preserve">α_limit</id>
      <eval>
        <apply>
          <id labels="KEYWORD" xml:space="preserve">root</id>
          <sequence>
            <apply>
              <minus />
              <apply>
                <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">crit</id>
                <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">α</id>
              </apply>
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">Gmax</id>
            </apply>
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">α</id>
          </sequence>
        </apply>
        <unitOverride>
          <placeholder />
        </unitOverride>
      </eval>
    </define>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

Отклонения могут быть обнаружены, когда значение альфа больше α_limit или, другими словами, когда доверительный интервал составляет меньше, чем (1- α_limit):

Это согласуется с приведенными выше примерами. Для доверительного интервала, составляющего 98 %, не было найдено отклонений, но для доверительного интервала в 90 % было найдено два отклонения.

Похожие темы

Обнаружение и удаление отклонений

Было ли это полезно?