예제: 이상치 검출

Grubbs, GrubbsClassic, ThreeSigma 및 boxplot 함수를 사용하여 이상치를 찾습니다. 이상치를 검출하는 데는 서로 다른 세 가지 방법이 사용됩니다.

1. 열 흐름을 설명하는 벡터를 정의합니다.

2. 데이터와 데이터의 평균을 도표화합니다.

<region id="ID0ES3FU" top="345.6" left="38.400000000000006" height="189.343997192383" width="572" xmlns="http://schemas.mathsoft.com/worksheet50">
  <plot>
    <xyPlot>
      <title class="- topic/title " wwtype:type="Paragraph" xmlns:wwtype="urn:WebWorks-Type-Schema" />
      <legend />
      <traces>
        <trace resultRef="73">
          <traceStyle color="#FF00008B" symbol="x" line-weight="1" line-style="None">lines</traceStyle>
        </trace>
        <trace resultRef="74">
          <traceStyle color="#FF000000" symbol="none" line-weight="1" line-style="Solid">lines</traceStyle>
        </trace>
      </traces>
      <graph-size width="472" height="131.743997192383" />
      <axes>
        <xAxis rank="1" legend-position="PlotBoundaryBottom" start="0" end="200">
          <axisLine position="bottom" positionticmark="-1" legendWidth="60.93" />
          <axisGrid>
            <gridFrequency>11</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="79">
                <id xml:space="preserve" xmlns="http://schemas.mathsoft.com/math50">x</id>
              </math>
              <math resultRef="80">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue resultRef="76">
              <real xmlns="http://schemas.mathsoft.com/math50">0</real>
            </startValue>
            <endValue resultRef="78">
              <real xmlns="http://schemas.mathsoft.com/math50">200</real>
            </endValue>
          </xyDomain>
        </xAxis>
        <yAxis rank="1" legend-position="PlotBoundaryLeft" start="9.17" end="9.39">
          <axisLine position="ticknumberlock" positionticmark="0" legendWidth="66.1366666666667" />
          <axisGrid>
            <gridFrequency>12</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="85">
                <id xml:space="preserve" xmlns="http://schemas.mathsoft.com/math50">y</id>
              </math>
              <math resultRef="86">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
            <plotEquation>
              <math resultRef="87">
                <id xml:space="preserve" xmlns="http://schemas.mathsoft.com/math50">m</id>
              </math>
              <math resultRef="88">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue resultRef="82">
              <real xmlns="http://schemas.mathsoft.com/math50">9.17</real>
            </startValue>
            <endValue resultRef="84">
              <real xmlns="http://schemas.mathsoft.com/math50">9.37</real>
            </endValue>
          </xyDomain>
        </yAxis>
      </axes>
    </xyPlot>
  </plot>
</region>

이상치일 가능성이 있는 지점을 찾아내는 데는 산점도가 유용한 것이 사실이지만, 다른 데이터로부터 크게 벗어나 있고 매우 드물게 발생하는 이상치가 아니라면 이를 검출하기가 어려울 수 있습니다. 어떤 점이 이상치인지 판별하기 위해 양적 측정 기준을 계산할 수 있습니다.

3. 유의 수준을 정의합니다.

4. Grubbs 함수를 호출하여 데이터 집합의 이상치를 식별합니다.

<region id="ID0EZ6FU" top="710.40000000000009" left="38.400000000000006" height="44.2" width="343.75333333333333" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="101">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <id labels="*" xml:space="preserve">Outlier</id>
      <eval>
        <apply>
          <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">Grubbs</id>
          <sequence>
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
            <apply>
              <minus />
              <real>1</real>
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">α</id>
            </apply>
          </sequence>
        </apply>
        <unitOverride>
          <placeholder />
        </unitOverride>
      </eval>
    </define>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

첫째 열은 이상치로 확인된 각 점의 지수를 나타냅니다. 이상치로 확인된 점이란 해당 검사 통계값이 그럽스(Grubbs) 검사 통계값을 초과하는 점을 말합니다.

둘째 열은 각 이상치의 검사 통계값을 나타냅니다. 이는 평균과 이상치 사이의 거리를 절대값으로 표시한 것입니다.

<region id="ID0ELBGU" top="883.20000000000016" left="38.400000000000006" height="58.400000000000006" width="169.95" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="107">
    <eval xmlns="http://schemas.mathsoft.com/math50">
      <apply>
        <absval />
        <apply>
          <div />
          <apply>
            <minus />
            <apply>
              <indexer />
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
              <real>3</real>
            </apply>
            <apply>
              <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">mean</id>
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
            </apply>
          </apply>
          <apply>
            <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">stdev</id>
            <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
          </apply>
        </apply>
      </apply>
      <unitOverride>
        <placeholder />
      </unitOverride>
    </eval>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

셋째 열은 그럽스 검사 통계값과 각 이상치의 검사 통계값 사이의 거리를 나타냅니다.

5. GrubbsClassic을 호출하여 이상치일 가능성이 가장 높은 점 하나를 찾습니다.

<region id="ID0EQDGU" top="1036.8000000000002" left="38.400000000000006" height="25.6" width="335.30000000000007" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="111">
    <eval xmlns="http://schemas.mathsoft.com/math50">
      <apply>
        <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">GrubbsClassic</id>
        <sequence>
          <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">y</id>
          <apply>
            <minus />
            <real>1</real>
            <apply>
              <scale />
              <real>2</real>
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">α</id>
            </apply>
          </apply>
        </sequence>
      </apply>
      <unitOverride>
        <placeholder />
      </unitOverride>
    </eval>
    <resultFormat>
      <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

지수 값이 19인 점이 이상치일 가능성이 가장 높은 것으로 나타났습니다. 열은 Grubbs 함수로 구한 행렬의 열과 같은 의미를 갖습니다.

6. ThreeSigma 함수를 호출하여 3시그마 영역 밖에 있는 데이터 점을 찾습니다.

Grubbs 함수의 경우와 마찬가지로 첫째 열은 이상치의 지수를, 둘째 열은 이상치의 검사 통계값을 나타냅니다.

이 데이터 점 각각의 검사 통계값은 3보다 큽니다.

ThreeSigma는 이상치를 하나도 검출하지 못한 경우 이상치에 가장 가까운 점을 반환합니다.

7. boxplot 함수를 호출하여 사분위수 범위 방법에 따라 이상치를 검출하고 상자 도표를 만들어 이상치를 표시합니다.

<region id="ID0EBIGU" top="1420.8000000000002" left="38.400000000000006" height="312" width="571" xmlns="http://schemas.mathsoft.com/worksheet50">
  <plot origin-positioning="true">
    <xyPlot>
      <title class="- topic/title " wwtype:type="Paragraph" xmlns:wwtype="urn:WebWorks-Type-Schema" />
      <legend />
      <traces>
        <trace resultRef="117">
          <traceStyle color="#FF00008B" symbol="none" line-weight="1" line-style="Solid">boxes</traceStyle>
        </trace>
      </traces>
      <graph-size width="471" height="254.4" />
      <axes>
        <xAxis rank="1" legend-position="PlotBoundaryBottom" start="-1" end="1">
          <axisLine position="bottom" positionticmark="-1" legendWidth="90.2633333333334" />
          <axisGrid>
            <gridFrequency>1</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="118">
                <matrix rows="1" cols="1" xmlns="http://schemas.mathsoft.com/math50">
                  <str xml:space="preserve">A</str>
                </matrix>
              </math>
              <math resultRef="119">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </startValue>
            <endValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </endValue>
          </xyDomain>
        </xAxis>
        <yAxis rank="1" legend-position="PlotBoundaryLeft" start="9.175" end="9.355">
          <axisLine position="left" positionticmark="-1" legendWidth="63.8366666666667" />
          <axisGrid>
            <gridFrequency>13</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="120">
                <id xml:space="preserve" xmlns="http://schemas.mathsoft.com/math50">B</id>
              </math>
              <math resultRef="121">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </startValue>
            <endValue>
              <placeholder xmlns="http://schemas.mathsoft.com/math50" />
            </endValue>
          </xyDomain>
        </yAxis>
      </axes>
    </xyPlot>
  </plot>
</region>

사분위수 범위 방법을 사용하여 이상치 네 개가 검출되었습니다.

잉여 분석을 통해 데이터를 함수에 맞춘 다음 이상치를 검출할 수도 있습니다.