Die verborgenen Juwelen enthüllen: Unerwartetes und seltenes Pattern Mining in Daten erforschen

Beim Pattern Mining geht es darum, statistisch relevante Muster in Daten zu finden, die wertvolle Erkenntnisse und Wissen liefern können. Die meisten bestehenden Pattern-Mining-Methoden verwenden jedoch einen einzigen Schwellenwert, um die Häufigkeit der Muster zu bestimmen, der möglicherweise nicht die Vielfalt und Spezifität der Datenelemente widerspiegelt. Dies kann zu zwei Problemen führen: (1) Wenn der Schwellenwert zu niedrig ist, können zu viele Muster erzeugt werden, von denen viele redundant oder uninteressant sind; (2) wenn der Schwellenwert zu hoch ist, können einige Muster übersehen werden, insbesondere die seltenen, die zwar selten auftreten, aber von großer Bedeutung oder hohem Nutzen sind.

Das Problem der seltenen Muster ist ein herausforderndes und wichtiges Thema im Pattern Mining, da seltene Muster unbekanntes oder verstecktes Wissen darstellen können, das verschiedene Bereiche und Anwendungen, wie z. B. medizinische Diagnose, Betrugserkennung oder Erkennung von Anomalien, informieren und inspirieren kann. In mehreren Studien wurde versucht, dieses Problem zu lösen, indem häufige Muster, einschließlich seltener Muster, unter Verwendung verschiedener Mindestschwellenwerte für die Elementunterstützung (MIS) für jedes Element ermittelt wurden. Dieser Ansatz kann einen vollständigen Satz häufiger Muster erzeugen, ohne dass signifikante Muster verloren gehen. Allerdings ist dieser Ansatz auch sehr kostspielig und ineffizient, da er immer noch viele redundante oder unbrauchbare Muster erzeugen kann, die viel Zeit und Speicherplatz verbrauchen.

Das Hauptziel dieses Projekts ist die Verbesserung einer effizienten und effektiven Methode für die Suche nach seltenen Mustern, ohne den kompletten Satz häufiger Muster zu erzeugen. Die Methode basiert auf dem Mining häufiger geschlossener Elemente, einer Technik, mit der die Anzahl der Muster reduziert werden kann, indem diejenigen eliminiert werden, die in anderen Mustern mit der gleichen Häufigkeit enthalten sind. Die Methode zielt auch darauf ab, eine große Anzahl von Regeln zu vermeiden und stattdessen nur solche Regeln zu entdecken, die selten sind und mehr verwertbare Erkenntnisse liefern. Daher kann die Methode nur die interessantesten Muster ermitteln, d. h. solche, die selten und geschlossen sind und einen hohen Nutzen oder eine hohe Bedeutung haben. Die Methode kann auf verschiedene Datensätze und Bereiche angewandt werden, z. B. auf Gesundheitsdaten, wo seltene Muster seltene Krankheiten, verborgene Zusammenhänge oder komplexe Wechselwirkungen darstellen können. Das Projekt zielt darauf ab, die Leistung und Qualität der Methode zu bewerten und sie mit anderen bestehenden Methoden zur Suche nach seltenen Mustern zu vergleichen. Das Projekt soll auch den Nutzen und die Auswirkungen der Methode demonstrieren und zeigen, wie sie neuartige und faszinierende Muster entdecken kann, die zu sinnvollen Veränderungen führen können.

Unveiling the Hidden Gems: Exploring Unexpected Rare Pattern Mining in Data

Pattern mining is the task of finding statistically relevant patterns in data that can provide valuable insights and knowledge. However, most existing pattern mining methods use a single threshold to determine the frequency of the patterns, which may not reflect the diversity and specificity of the data items. This may lead to two problems: (1) if the threshold is too low, it may generate too many patterns, many of which are redundant or uninteresting; (2) if the threshold is too high, it may miss some patterns, especially the rare ones that occur infrequently but have high significance or utility.

The rare pattern problem is a challenging and important issue in pattern mining, as rare patterns may represent unknown or hidden knowledge that can inform and inspire various domains and applications, such as medical diagnosis, fraud detection, or anomaly detection. Several studies have attempted to address this problem by mining frequent patterns, including rare ones, using different minimum item support thresholds (MIS) for each item. This approach can generate a complete set of frequent patterns without losing any significant ones. However, this approach is also very costly and inefficient, as it may still produce many redundant or useless patterns that consume a lot of time and memory.

The primary objective of this project is to enhance an efficient and effective method for mining rare patterns, without generating the complete set of frequent patterns. The method is based on frequent closed itemset mining, which is a technique that can reduce the number of patterns by eliminating those that are included in other patterns with the same frequency. The method also aims to avoid generating a large number of rules, and instead, to discover only those rules that are rare and generate more actionable insights. Therefore, the method can mine only the most interesting patterns, which are those that are rare, closed, and have high utility or significance. The method can be applied to various data sets and domains, such as health data, where rare patterns may represent rare diseases, hidden connections, or complex interactions. The project aims to evaluate the performance and quality of the method, and to compare it with other existing methods for rare pattern mining. The project also aims to demonstrate the usefulness and impact of the method, and to show how it can discover novel and intriguing patterns that can drive meaningful change.