Esempio: rilevamento e rimozione di NaN

Funzioni > Analisi dati > Outlier e NaN > Esempio: rilevamento e rimozione di NaN

Utilizzare la funzione markNaN per contrassegnare gli outlier come NaN (Not a Number) negli insiemi di dati. Utilizzare le funzioni IsNaN, matchNaN e filterNaN per gestire i valori NaN.

1. Leggere un file contenente il numero di macchie solari registrate nel corso degli ultimi tre secoli e tracciare il grafico dei dati.

Fare clic per copiare questa espressione

<region id="ID0EJYWU" top="230.40000000000003" left="19.200000000000003" height="245" width="591.999999999999" xmlns="http://schemas.mathsoft.com/worksheet50">
  <plot background-type="white" origin-positioning="true">
    <xyPlot>
      <title class="- topic/title " wwtype:type="Paragraph" xmlns:wwtype="urn:WebWorks-Type-Schema" />
      <legend />
      <traces>
        <trace resultRef="76">
          <traceStyle color="#FFFF0000" symbol="x" line-weight="1" line-style="None">lines</traceStyle>
        </trace>
      </traces>
      <graph-size width="453.599999999999" height="187.4" />
      <axes>
        <xAxis rank="1" legend-position="PlotBoundaryBottom" start="1700" end="2000">
          <axisLine position="origin" positionticmark="0" legendWidth="100.183333333333" />
          <axisGrid>
            <gridFrequency>11</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="81">
                <apply xmlns="http://schemas.mathsoft.com/math50">
                  <matcol />
                  <id xml:space="preserve">Data</id>
                  <real>0</real>
                </apply>
              </math>
              <math resultRef="82">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue resultRef="78">
              <real xmlns="http://schemas.mathsoft.com/math50">1700</real>
            </startValue>
            <endValue resultRef="80">
              <real xmlns="http://schemas.mathsoft.com/math50">2000</real>
            </endValue>
          </xyDomain>
        </xAxis>
        <yAxis rank="1" legend-position="PlotBoundaryLeft" start="0" end="200">
          <axisLine position="left" positionticmark="-1" legendWidth="100.183333333333" />
          <axisGrid>
            <gridFrequency>11</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <general precision="3" show-trailing-zeros="false" radix="dec" zero-threshold="15" imaginary-value="i" exponential-threshold="3" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="87">
                <apply xmlns="http://schemas.mathsoft.com/math50">
                  <matcol />
                  <id xml:space="preserve">Data</id>
                  <real>1</real>
                </apply>
              </math>
              <math resultRef="88">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue resultRef="84">
              <real xmlns="http://schemas.mathsoft.com/math50">0</real>
            </startValue>
            <endValue resultRef="86">
              <real xmlns="http://schemas.mathsoft.com/math50">200</real>
            </endValue>
          </xyDomain>
        </yAxis>
      </axes>
    </xyPlot>
  </plot>
</region>

2. Utilizzare la funzione ThreeSigma per trovare gli indici degli outlier.

<region id="ID0EL1WU" top="576.00000000000011" left="38.400000000000006" height="46.376000000000005" width="268.09000000000003" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="97">
    <define xmlns="http://schemas.mathsoft.com/math50">
      <matrix rows="2" cols="1">
        <id labels="VARIABLE" xml:space="preserve">i</id>
        <id labels="VARIABLE" xml:space="preserve">j</id>
      </matrix>
      <eval>
        <apply>
          <matcol />
          <apply>
            <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">ThreeSigma</id>
            <apply>
              <matcol />
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">Data</id>
              <real>1</real>
            </apply>
          </apply>
          <real>0</real>
        </apply>
        <unitOverride>
          <placeholder />
        </unitOverride>
      </eval>
    </define>
    <resultFormat>
      <decimal precision="round-trip-decimal-places" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

Gli outlier sono il numero di macchie solari registrate durante l'anno successivo:

3. Utilizzare la funzione markNaN per contrassegnare come NaN gli outlier nella colonna 1 dei dati.

La sostituzione dei dati con valori NaN indica che è stata effettuata una misura, ma che le righe contenenti valori NaN possono essere escluse tramite filtro prima dell'elaborazione.

4. Utilizzare la funzione matchNaN per trovare gli indici delle macchie contrassegnate come NaN.

I dati nelle righe 257 e 278 sono stati sostituiti dalla costante incorporata NaN.

5. Utilizzare la funzione IsNaN per controllare se l'anno 1957 è stato contrassegnato come NaN negli insiemi Data e MarkedData.

<region id="ID0ENCXU" top="1267.2000000000003" left="38.400000000000006" height="38.952000000000005" width="173.48666666666665" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="109">
    <eval xmlns="http://schemas.mathsoft.com/math50">
      <apply>
        <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">IsNaN</id>
        <apply>
          <indexer />
          <parens>
            <apply>
              <matcol />
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">Data</id>
              <real>1</real>
            </apply>
          </parens>
          <real>257</real>
        </apply>
      </apply>
      <unitOverride>
        <placeholder />
      </unitOverride>
    </eval>
    <resultFormat>
      <decimal precision="round-trip-decimal-places" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

<region id="ID0E2CXU" top="1305.6000000000001" left="38.400000000000006" height="38.952000000000005" width="227.67" xmlns="http://schemas.mathsoft.com/worksheet50">
  <math resultRef="111">
    <eval xmlns="http://schemas.mathsoft.com/math50">
      <apply>
        <id labels="FUNCTION" xml:space="preserve" label-is-contextual="true">IsNaN</id>
        <apply>
          <indexer />
          <parens>
            <apply>
              <matcol />
              <id labels="VARIABLE" xml:space="preserve" label-is-contextual="true">MarkedData</id>
              <real>1</real>
            </apply>
          </parens>
          <real>257</real>
        </apply>
      </apply>
      <unitOverride>
        <placeholder />
      </unitOverride>
    </eval>
    <resultFormat>
      <decimal precision="round-trip-decimal-places" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
      <matrix size="12,12" offset="0,0" show-indices="false" expand-nested-arrays="false" />
    </resultFormat>
  </math>
</region>

6. Tracciare il grafico del nuovo insieme di dati e confrontarlo con l'insieme precedente.

<region id="ID0ELEXU" top="1401.6000000000001" left="19.200000000000003" height="264.2" width="595.599999999999" xmlns="http://schemas.mathsoft.com/worksheet50">
  <plot background-type="white" origin-positioning="true">
    <xyPlot>
      <title class="- topic/title " wwtype:type="Paragraph" xmlns:wwtype="urn:WebWorks-Type-Schema" />
      <legend />
      <traces>
        <trace resultRef="113">
          <traceStyle color="#FFFF0000" symbol="star" line-weight="1" line-style="None">lines</traceStyle>
        </trace>
        <trace resultRef="114">
          <traceStyle color="#FF0000FF" symbol="filledRhombus" line-weight="1" line-style="None">lines</traceStyle>
        </trace>
      </traces>
      <graph-size width="399.599999999999" height="187.4" />
      <axes>
        <xAxis rank="1" legend-position="PlotBoundaryBottom" start="1950" end="1970">
          <axisLine position="origin" positionticmark="0" legendWidth="100.183333333333" />
          <axisGrid>
            <gridFrequency>11</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <decimal precision="3" show-trailing-zeros="false" radix="dec" imaginary-value="i" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="119">
                <apply xmlns="http://schemas.mathsoft.com/math50">
                  <matcol />
                  <id xml:space="preserve">Data</id>
                  <real>0</real>
                </apply>
              </math>
              <math resultRef="120">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue resultRef="116">
              <real xmlns="http://schemas.mathsoft.com/math50">1950</real>
            </startValue>
            <endValue resultRef="118">
              <real xmlns="http://schemas.mathsoft.com/math50">1970</real>
            </endValue>
          </xyDomain>
        </xAxis>
        <yAxis rank="1" legend-position="PlotBoundaryLeft" start="0" end="200">
          <axisLine position="origin" positionticmark="-1" legendWidth="154.293333333333" />
          <axisGrid>
            <gridFrequency>11</gridFrequency>
            <gridLabels display="true" />
            <gridLines />
            <tickMarks display="true" />
          </axisGrid>
          <axisLabel />
          <markers />
          <numberFormat>
            <general precision="3" show-trailing-zeros="false" radix="dec" zero-threshold="15" imaginary-value="i" exponential-threshold="3" />
          </numberFormat>
          <plotEquations>
            <plotEquation>
              <math resultRef="125">
                <apply xmlns="http://schemas.mathsoft.com/math50">
                  <matcol />
                  <id xml:space="preserve">Data</id>
                  <real>1</real>
                </apply>
              </math>
              <math resultRef="126">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
            <plotEquation>
              <math resultRef="127">
                <apply xmlns="http://schemas.mathsoft.com/math50">
                  <matcol />
                  <id xml:space="preserve">MarkedData</id>
                  <real>1</real>
                </apply>
              </math>
              <math resultRef="128">
                <placeholder xmlns="http://schemas.mathsoft.com/math50" />
              </math>
            </plotEquation>
          </plotEquations>
          <xyDomain scale-type="linear" auto-scale="true">
            <startValue resultRef="122">
              <real xmlns="http://schemas.mathsoft.com/math50">0</real>
            </startValue>
            <endValue resultRef="124">
              <real xmlns="http://schemas.mathsoft.com/math50">200</real>
            </endValue>
          </xyDomain>
        </yAxis>
      </axes>
    </xyPlot>
  </plot>
</region>

Gli outlier dell'insieme di dati originale non sono evidenziati in blu, in quanto il grafico ignora i valori NaN registrati nell'insieme MarkedData.

7. Utilizzare la funzione filterNaN per filtrare l'insieme MarkedData della matrice in modo da rimuovere le righe contenenti valori NaN.

8. Utilizzare la funzione rows per calcolare il numero di righe negli insiemi Data e FilteredData.

Il numero di righe in FilteredData è diminuito di 2.

9. Utilizzare la funzione mean per calcolare la media degli insiemi MarkedData e FilteredData.

È possibile raccogliere statistiche per l'insieme FilteredData, ma non per l'insieme MarkedData.

Argomenti correlati

Rilevamento e rimozione di NaN

È stato utile?