{"id":29663,"date":"2022-12-14T09:08:07","date_gmt":"2022-12-14T08:08:07","guid":{"rendered":"https:\/\/nearshore-it.eu\/artykuly\/eksploracja-danych\/"},"modified":"2024-11-07T16:01:24","modified_gmt":"2024-11-07T15:01:24","slug":"eksploracja-danych","status":"publish","type":"post","link":"https:\/\/nearshore-it.eu\/pl\/artykuly\/eksploracja-danych\/","title":{"rendered":"Skuteczna eksploracja danych \u2013 metody i techniki data mining\u00a0"},"content":{"rendered":"\n
\n

Id\u017a do:<\/p>\n

    \n
  1. 1. Czym jest eksploracja danych (data mining)?<\/a><\/li>\n
  2. 2. Proces eksploracji danych<\/a><\/li>\n
  3. 3. G\u0142\u00f3wne metody eksploracji danych<\/a><\/li>\n
  4. 4. Jaki model wybra\u0107 i jak skutecznie eksplorowa\u0107 dane?<\/a><\/li>\n
  5. 5. Algorytm dla wybranego modelu<\/a><\/li>\n
  6. 6. Eksploracja danych \u2013 pot\u0119\u017cne narz\u0119dzie firm data driven<\/a><\/li>\n <\/ol>\n<\/div>\n\n\n

    Doszli\u015bmy wi\u0119c do takiego punktu w historii ludzko\u015bci, w kt\u00f3rym dane przetwarzane przez dobrze prosperuj\u0105c\u0105 firm\u0119 staj\u0105 si\u0119 niemo\u017cliwe do przeanalizowania wy\u0142\u0105cznie za pomoc\u0105 tradycyjnych metod, czyli pracy ludzi i ich \u201emocy obliczeniowej\u201d. Czasami tak\u017ce jako\u015b\u0107 danych utrudnia ca\u0142y proces i potrzeba tutaj wsparcia, kt\u00f3re odnale\u017ali\u015bmy w komputerach. Dlatego w\u0142a\u015bnie metody eksploracji danych wykorzystuj\u0105 odpowiednie algorytmy \u2013 najwa\u017cniejsze z nich opisuj\u0119 w artykule.<\/p>\n\n\n\n

    Czym jest eksploracja danych (data mining)?<\/h2>\n\n\n\n

    Data mining, inaczej eksploracja danych, to proces odkrywania regu\u0142, zale\u017cno\u015bci i wzorc\u00f3w w zebranych informacjach w celu uzyskania wiedzy. Jest to technologiczne po\u0142\u0105czenie tradycyjnych metod analizy<\/strong> (czyli relatywnie od dawna ludziom znanej statystyki) ze wsp\u00f3\u0142cze\u015bnie stosowanymi algorytmami i rozwi\u0105zaniami<\/strong> szeroko rozumianej sztucznej inteligencji oraz sposobami na przetwarzanie du\u017cych wolumen\u00f3w danych przez jedn\u0105 lub wi\u0119cej jednostk\u0119 obliczeniow\u0105.<\/p>\n\n\n\n

    Proces eksploracji danych<\/h2>\n\n\n\n
    \"data<\/figure>
    \n
    \n

    \u201eEvery dataset, every database, every spreadsheet has a story to tell\u201d<\/em><\/p>\nStuart Frankel, CEO of Narrative Science<\/cite><\/blockquote>\n<\/div><\/div>\n\n\n\n

    <\/div>\n\n\n\n

    Data mining jest jednym z nieod\u0142\u0105cznych element\u00f3w KDD (ang. Knowledge Discovery in Databases<\/strong>), czyli odkrywania wiedzy zebranej w bazach danych. Proces ten dzielimy na:<\/p>\n\n\n\n

      \n
    1. Ustalenie celu analizy <\/strong>\u2013 zrozumienie problemu, zapoznanie si\u0119 z danymi, potrzebami biznesowymi.<\/li>\n\n\n\n
    2. Integracj\u0119 danych <\/strong>\u2013 \u0142\u0105czenie informacji r\u00f3\u017cnego pochodzenia, niekiedy posiadaj\u0105cych inn\u0105 struktur\u0119 oraz r\u00f3\u017cne modele danych.<\/li>\n\n\n\n
    3. Przetwarzanie wst\u0119pne danych<\/strong> \u2013 pozbycie si\u0119 b\u0142\u0119d\u00f3w ludzkich, liter\u00f3wek, pustych warto\u015bci. Ujednolicenie typ\u00f3w danych dla poszczeg\u00f3lnych informacji. Poszukiwanie i pozbycie si\u0119 duplikat\u00f3w. <\/li>\n\n\n\n
    4. Transformacj\u0119 danych <\/strong>\u2013 to dalsza cz\u0119\u015b\u0107 przetwarzania, jednak skupiona ju\u017c na potrzebach p\u00f3\u017aniejszej eksploracji. Polega na wyr\u00f3\u017cnieniu potencjalnie u\u017cytecznych kolumn, cz\u0119\u015bci danych, wed\u0142ug ustalonego wcze\u015bniej celu. Chodzi o uproszczenie danych tak bardzo, jak to tylko mo\u017cliwe.<\/li>\n\n\n\n
    5. Rozr\u00f3\u017cnienie metod eksploracji oraz wyb\u00f3r odpowiedniego algorytmu<\/strong> \u2013 punkt ten rozwini\u0119ty zosta\u0142 w dalszej cz\u0119\u015bci artyku\u0142u.<\/li>\n\n\n\n
    6. Eksploracj\u0119 danych<\/strong> \u2013 zgodnie z powy\u017csz\u0105 definicj\u0105: poszukiwanie regu\u0142, zale\u017cno\u015bci i wzorc\u00f3w.<\/li>\n\n\n\n
    7. Interpretacj\u0119 i wizualizacj\u0119<\/strong> \u2013 zrozumienie otrzymanych wynik\u00f3w i doprowadzenie ich do stanu czytelnego dla biznesu, utworzenie tabelek, spisanie wniosk\u00f3w, udokumentowanie procesu i uzasadnienie u\u017cytych \u015brodk\u00f3w.
      <\/li>\n<\/ol>\n\n\n\n

      G\u0142\u00f3wne metody eksploracji danych<\/h2>\n\n\n\n

      Obecnie w paradygmacie rozr\u00f3\u017cniamy dwie g\u0142\u00f3wne grupy metod eksploracji, z kt\u00f3rych wybieramy jedn\u0105 na potrzeby naszej analizy. S\u0105 to:<\/p>\n\n\n\n

        \n
      1. Metody predykcyjne (ang. predictive)<\/li>\n\n\n\n
      2. Metody deskrypcyjne \/ opisowe (ang. descriptive)<\/li>\n<\/ol>\n\n\n\n

        Techniki eksploracji danych<\/h3>\n\n\n\n

        W obr\u0119bie ka\u017cdej z nich s\u0105 skategoryzowane 3 techniki eksploracji danych \u2013 najpopularniejsze podej\u015bcia do eksploracji. Oczywi\u015bcie dziedzina ta ci\u0105gle si\u0119 rozwija, przybywa algorytm\u00f3w, jak r\u00f3wnie\u017c podej\u015b\u0107, zatem w tym artykule skupimy si\u0119 w\u0142a\u015bnie na tych kluczowych. Poni\u017cej postaram si\u0119 wyja\u015bni\u0107 ka\u017cd\u0105 grup\u0119 oraz metod\u0119 oraz poda\u0107 przyk\u0142adowe u\u017cycia w celu lepszego zrozumienia.<\/p>\n\n\n\n

        1. Metody predykcyjne<\/strong> \u2013 skupiaj\u0105 si\u0119 na pr\u00f3bie przewidzenia wyniku na podstawie warto\u015bci innych danych wej\u015bciowych. Wyniki tych metod nazywane s\u0105 z j\u0119zyka angielskiego targetem lub warto\u015bciami zale\u017cnymi, natomiast atrybuty wykorzystane do ich uzyskania warto\u015bciami niezale\u017cnymi b\u0105d\u017a wyja\u015bniaj\u0105cymi (ang. explanatory<\/em>). Do tych metod zaliczamy: <\/p>\n\n\n\n