Create stopwords.py

modules/text_analysis/stopwords.py

@@ -0,0 +1,104 @@
+# modules/text_analysis/stopwords.py
+import spacy
+from typing import Set, List
+
+def get_custom_stopwords(lang_code: str) -> Set[str]:
+    """
+    Retorna un conjunto de stopwords personalizadas según el idioma.
+    """
+    # Stopwords base en español
+    # Símbolos, números y caracteres especiales
+
+    SYMBOLS_AND_NUMBERS = {
+    # Números
+    '0', '1', '2', '3', '4', '5', '6', '7', '8', '9',
+    
+    # Signos de puntuación básicos
+    '.', ',', ';', ':', '!', '¡', '?', '¿', '"', "'", 
+    
+    # Símbolos matemáticos
+    '+', '-', '*', '/', '=', '<', '>', '%', 
+    
+    # Paréntesis y otros delimitadores
+    '(', ')', '[', ']', '{', '}', 
+    
+    # Otros símbolos comunes
+    '@', '#', '$', '€', '£', '¥', '&', '_', '|', '\\', '/', 
+    
+    # Caracteres especiales
+    '•', '·', '…', '—', '–', '°', '´', '`', '^', '¨',
+    
+    # Símbolos de ordenamiento
+    '§', '†', '‡', '¶',
+    
+    # Símbolos de copyright y marcas registradas
+    '©', '®', '™',
+    
+    # Fracciones comunes
+    '½', '¼', '¾', '⅓', '⅔',
+    
+    # Otros caracteres especiales
+    '±', '×', '÷', '∞', '≠', '≤', '≥', '≈', '∑', '∏', '√',
+    
+    # Espacios y caracteres de control
+    ' ', '\t', '\n', '\r', '\f', '\v'
+}
+    spanish_stopwords = {
+        'el', 'la', 'los', 'las', 'un', 'una', 'unos', 'unas', 'y', 'o', 'pero', 'si',
+        'de', 'del', 'al', 'a', 'ante', 'bajo', 'cabe', 'con', 'contra', 'de', 'desde',
+        'en', 'entre', 'hacia', 'hasta', 'para', 'por', 'según', 'sin', 'sobre', 'tras',
+        'que', 'más', 'este', 'esta', 'estos', 'estas', 'ese', 'esa', 'esos', 'esas',
+        'muy', 'mucho', 'muchos', 'muchas', 'ser', 'estar', 'tener', 'hacer', 'como',
+        'cuando', 'donde', 'quien', 'cual', 'mientras', 'sino', 'pues', 'porque',
+        'cada', 'cual', 'cuales', 'cuanta', 'cuantas', 'cuanto', 'cuantos', 'uno', 'dos', 'tres', 'cuatro', 'cinco', 'seis', 'siete', 'ocho', 'nueve', 'diez',
+        'once', 'doce', 'trece', 'catorce', 'quince', 'dieciséis', 'diecisiete', 'dieciocho', 'diecinueve', 'veinte',
+        'treinta', 'cuarenta', 'cincuenta', 'sesenta', 'setenta', 'ochenta', 'noventa', 'cien', 'mil', 'millón',
+        'primero', 'segundo', 'tercero', 'cuarto', 'quinto', 'sexto', 'séptimo', 'octavo', 'noveno', 'décimo'
+    }
+    
+    # Stopwords base en inglés
+    english_stopwords = {
+        'the', 'be', 'to', 'of', 'and', 'a', 'in', 'that', 'have', 'i', 'it', 'for',
+        'not', 'on', 'with', 'he', 'as', 'you', 'do', 'at', 'this', 'but', 'his',
+        'by', 'from', 'they', 'we', 'say', 'her', 'she', 'or', 'an', 'will', 'my',
+        'one', 'all', 'would', 'there', 'their', 'what', 'so', 'up', 'out', 'if',
+        'about', 'who', 'get', 'which', 'go', 'me',     'one', 'two', 'three', 'four', 'five', 'six', 'seven', 'eight', 'nine', 'ten',
+        'eleven', 'twelve', 'thirteen', 'fourteen', 'fifteen', 'sixteen', 'seventeen', 'eighteen', 'nineteen', 'twenty',
+        'thirty', 'forty', 'fifty', 'sixty', 'seventy', 'eighty', 'ninety', 'hundred', 'thousand', 'million',
+        'first', 'second', 'third', 'fourth', 'fifth', 'sixth', 'seventh', 'eighth', 'ninth', 'tenth'
+    }
+
+    french_stopwords = {
+    'le', 'la', 'les', 'un', 'une', 'des', 'du', 'de', 'et', 'ou', 'mais', 'si',
+    'à', 'dans', 'sur', 'pour', 'en', 'vers', 'par', 'avec', 'sans', 'sous', 'sur',
+    'que', 'qui', 'quoi', 'dont', 'où', 'quand', 'comment', 'pourquoi',
+    'ce', 'cet', 'cette', 'ces', 'mon', 'ton', 'son', 'ma', 'ta', 'sa',
+    'mes', 'tes', 'ses', 'notre', 'votre', 'leur', 'nos', 'vos', 'leurs',
+    'je', 'tu', 'il', 'elle', 'nous', 'vous', 'ils', 'elles',
+    'me', 'te', 'se', 'lui', 'leur', 'y', 'en', 'plus', 'moins',
+    'très', 'trop', 'peu', 'beaucoup', 'assez', 'tout', 'toute', 'tous', 'toutes',
+    'autre', 'autres', 'même', 'mêmes', 'tel', 'telle', 'tels', 'telles',
+    'quel', 'quelle', 'quels', 'quelles', 'quelque', 'quelques',
+    'aucun', 'aucune', 'aucuns', 'aucunes', 'plusieurs', 'chaque',
+    'être', 'avoir', 'faire', 'dire', 'aller', 'venir', 'voir', 'savoir',
+    'pouvoir', 'vouloir', 'falloir', 'devoir', 'croire', 'sembler',
+    'alors', 'ainsi', 'car', 'donc', 'or', 'ni', 'ne', 'pas', 'plus',
+    'jamais', 'toujours', 'parfois', 'souvent', 'maintenant', 'après',
+    'avant', 'pendant', 'depuis', 'déjà', 'encore', 'ici', 'là',
+    'oui', 'non', 'peut-être', 'bien', 'mal', 'aussi', 'surtout',
+    'c\'est', 'j\'ai', 'n\'est', 'd\'un', 'd\'une', 'qu\'il', 'qu\'elle', 
+    'un', 'deux', 'trois', 'quatre', 'cinq', 'six', 'sept', 'huit', 'neuf', 'dix',
+    'onze', 'douze', 'treize', 'quatorze', 'quinze', 'seize', 'dix-sept', 'dix-huit', 'dix-neuf', 'vingt',
+    'trente', 'quarante', 'cinquante', 'soixante', 'soixante-dix', 'quatre-vingts', 'quatre-vingt-dix', 'cent', 'mille', 'million',
+    'premier', 'deuxième', 'troisième', 'quatrième', 'cinquième', 'sixième', 'septième', 'huitième', 'neuvième', 'dixième'
+}
+    
+    stopwords_dict = {
+        'es': spanish_stopwords,
+        'en': english_stopwords,
+        'fr': french_stopwords
+    }
+    
+    # Obtener stopwords del idioma especificado o devolver conjunto vacío si no existe
+    return stopwords_dict.get(lang_code, set())
+