예제: 이상치 검출을 위한 그럽스 방법

함수 > 데이터 분석 > 이상치 및 NaN > 예제: 이상치 검출을 위한 그럽스 방법

그럽스 검사 통계값

이상치를 검출하기 위해 Grubbs 함수에 사용되는 그럽스(Grubbs) 검사 통계값을 계산합니다. 그럽스 검사 통계값을 이상치의 검사 통계값과 비교합니다.

1. 열 흐름 실험을 설명하는 데이터 집합을 정의하고 도표화합니다.

<region id="ID0ETKHU" top="326.40000000000003" left="19.200000000000003" height="235.157894736842" width="561.473684210526" xmlns="http://schemas.mathsoft.com/worksheet50">
  <plot origin-positioning="true">
    <xyPlot>
      <title class="- topic/title " wwtype:type="Paragraph" xmlns:wwtype="urn:WebWorks-Type-Schema" />
      <legend />
      <traces>
        <trace resultRef="58">
          <traceStyle color="#FF00008B" symbol="x" line-weight="1" line-style="None">lines</traceStyle>
        </trace>
        <trace resultRef="59">
          <traceStyle color="#FF000000" symbol="none" line-weight="1" line-style="Solid">lines</traceStyle>
        </trace>
      </traces>
      <graph-size width="461.473684210526" height="177.557894736842" />
      <axes>
        <xAxis rank="1" legend-position="PlotBoundaryBottom" start="0" end="200">
          <axisLine position="bottom" positionticmark="-1" legendWidth="92.1466666666667" />
          <axisGrid>
            <gridFrequency>11</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="60">
                <id xml:space="preserve" xmlns="http://schemas.mathsoft.com/math50">range</id>
              </math>
              <math resultRef="61">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </startValue>
            <endValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </endValue>
          </xyDomain>
        </xAxis>
        <yAxis rank="1" legend-position="PlotBoundaryLeft" start="9.175" end="9.355">
          <axisLine position="origin" positionticmark="0" legendWidth="66.1366666666667" />
          <axisGrid>
            <gridFrequency>13</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="62">
                <id xml:space="preserve" xmlns="http://schemas.mathsoft.com/math50">y</id>
              </math>
              <math resultRef="63">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
            <plotEquation>
              <math resultRef="64">
                <id xml:space="preserve" xmlns="http://schemas.mathsoft.com/math50">m</id>
              </math>
              <math resultRef="65">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </startValue>
            <endValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </endValue>
          </xyDomain>
        </yAxis>
      </axes>
    </xyPlot>
  </plot>
</region>

2. 자유도를 N - 2로 하고 유의 수준을 alpha/(2N)로 하여 스튜던트의 t 분포에 대한 임계치를 정의합니다.

<region id="ID0ELMHU" top="652.80000000000007" left="19.200000000000003" height="47.2" width="197.51" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="72">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <function>
        <id labels="*" xml:space="preserve">t</id>
        <boundVars>
          <id labels="*" xml:space="preserve">alpha</id>
        </boundVars>
      </function>
      <apply>
        <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">qt</id>
        <sequence>
          <apply>
            <div />
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">alpha</id>
            <apply>
              <mult />
              <real>2</real>
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">N</id>
            </apply>
          </apply>
          <apply>
            <minus />
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">N</id>
            <real>2</real>
          </apply>
        </sequence>
      </apply>
    </define>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

qt 함수는 스튜던트의 t 분포에 대한 역 누적 확률 밀도를 구하는 데 사용됩니다.

3. 그럽스 검사 통계값을 알파의 함수로 정의합니다.

<region id="ID0EHPHU" top="748.80000000000007" left="19.200000000000003" height="66.865333527326584" width="299.03933330357074" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="74">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <function>
        <id labels="*" xml:space="preserve">crit</id>
        <boundVars>
          <id labels="*" xml:space="preserve">alpha</id>
        </boundVars>
      </function>
      <apply>
        <mult />
        <apply>
          <div />
          <apply>
            <minus />
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">N</id>
            <real>1</real>
          </apply>
          <apply>
            <nthRoot />
            <placeholder />
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">N</id>
          </apply>
        </apply>
        <parens>
          <apply>
            <nthRoot />
            <placeholder />
            <apply>
              <div />
              <apply>
                <pow />
                <apply>
                  <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">t</id>
                  <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">alpha</id>
                </apply>
                <real>2</real>
              </apply>
              <apply>
                <plus />
                <apply>
                  <minus />
                  <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">N</id>
                  <real>2</real>
                </apply>
                <apply>
                  <pow />
                  <apply>
                    <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">t</id>
                    <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">alpha</id>
                  </apply>
                  <real>2</real>
                </apply>
              </apply>
            </apply>
          </apply>
        </parens>
      </apply>
    </define>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

4. 신뢰 수준 90%에 대한 유의 수준을 정의합니다.

5. Grubbs 함수를 호출하여 이상치를 검출합니다.

<region id="ID0EKSHU" top="864.00000000000011" left="19.200000000000003" height="44.2" width="339.71999999999997" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="78">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <id labels="*" xml:space="preserve">outlier</id>
      <eval>
        <apply>
          <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">Grubbs</id>
          <sequence>
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
            <apply>
              <minus />
              <real>1</real>
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">α</id>
            </apply>
          </sequence>
        </apply>
        <unitOverride>
          <placeholder />
        </unitOverride>
      </eval>
    </define>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

Grubbs 함수에는 행렬을 입력으로 사용할 수 있습니다. 행렬을 사용하는 경우 이 함수는 배열에서의 이상치 위치를 중첩된 지수 쌍으로 반환합니다.

6. 그럽스 검사 통계값을 이상치의 검사 통계값과 비교합니다.

이상치 두 개의 검사 통계값이 그럽스 검사 통계값보다 큽니다. 지수가 여러 개 반환된다고 해서 모든 후보값이 이상치라는 의미는 아닙니다. 후보값을 제거하면 임계치와 검사 통계값이 달라지기 때문입니다. 두 이상치는 모두 N에 종속되어 있습니다.

그럽스 검사에서는 데이터의 정규화를 전제로 하기 때문에 데이터가 정규 분포를 따르는지 확인해 볼 필요가 있습니다. 예를 들어 작업을 계속 진행하기 전에 정규 확률 도표 같은 시각적 검사 방법을 사용할 수 있습니다.

GrubbsClassic

GrubbsClassic 함수를 사용하여 데이터 집합에서 이상치일 가능성이 가장 높은 점을 찾습니다.

1. 위의 데이터 집합에 대해 가장 큰 검사 통계값을 계산합니다.

<region id="ID0ECXHU" top="1286.4" left="38.400000000000006" height="51.2" width="267.96333333333337" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="82">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <id labels="*" xml:space="preserve">Gmax</id>
      <eval>
        <apply>
          <div />
          <apply>
            <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">max</id>
            <apply>
              <vectorize />
              <apply>
                <absval />
                <apply>
                  <minus />
                  <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
                  <apply>
                    <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">mean</id>
                    <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
                  </apply>
                </apply>
              </apply>
            </apply>
          </apply>
          <apply>
            <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">stdev</id>
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
          </apply>
        </apply>
        <unitOverride>
          <placeholder />
        </unitOverride>
      </eval>
    </define>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

2. 98% 신뢰 구간에 대한 알파를 정의합니다.

3. 그럽스 검사 통계값을 Gmax와 비교합니다.

이 유의 수준에서는 이상치가 검출되지 않습니다.

4. GrubbsClassic 함수를 호출합니다.

GrubbsClassic으로 구한 점이 이상치는 아니지만 이 데이터 점이 이상치일 가능성이 매우 높은 것 또한 사실입니다.

이상치 검출의 극한 확률

특수 구문 root를 사용하여 이상치가 검출되는 극한 확률을 계산합니다.

<region id="ID0EC5HU" top="1670.4000000000003" left="38.400000000000006" height="25.6" width="302.86" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="92">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <id labels="VARIABLE" xml:space="preserve">α_limit</id>
      <eval>
        <apply>
          <id labels="KEYWORD" xml:space="preserve">root</id>
          <sequence>
            <apply>
              <minus />
              <apply>
                <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">crit</id>
                <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">α</id>
              </apply>
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">Gmax</id>
            </apply>
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">α</id>
          </sequence>
        </apply>
        <unitOverride>
          <placeholder />
        </unitOverride>
      </eval>
    </define>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

알파가 α_limit보다 큰 경우, 즉 신뢰 구간이 (1 - α_limit)보다 작은 경우 이상치가 검출됩니다.

이는 앞서 확인한 결과와 일치합니다. 98% 신뢰 구간에서는 이상치가 검출되지 않았지만 90% 신뢰 구간에서는 이상치 두 개가 검출되었습니다.