b'\n_START_ARTICLE_\nIndeksiranje\n_START_PARAGRAPH_\nIndeksiranje dokumenata na ra\xc4\x8dunalu predstavlja postupak u kojem informacijski sustav pregledava dokumente na disku i katalogizira ih kako bi se omogu\xc4\x87ilo njihovo pretra\xc5\xbeivanje.\n_START_SECTION_\nUvod\n_START_PARAGRAPH_\nRa\xc4\x8dunalni programi koji su zami\xc5\xa1ljeni da bez \xc4\x8dovjekove pomo\xc4\x87i uspje\xc5\xa1no odrede predmet o kojem se u dokumentu govori, razvijaju se ve\xc4\x87 \xc4\x8detrdeset godina. Manje ili vi\xc5\xa1e uspje\xc5\xa1ni, naj\xc4\x8de\xc5\xa1\xc4\x87e su plijenili pa\xc5\xbenju informati\xc4\x8dara zainteresiranih za razvoj automatske obradbe teksta i umjetne inteligencije. Kori\xc5\xa1tenje ra\xc4\x8dunala u podru\xc4\x8dju ozna\xc4\x8divanja i pretra\xc5\xbeivanja dokumenata ravnopravno koriste sustavi u kojima posao stvarnog ozna\xc4\x8divanja dokumenata radi isklju\xc4\x8divo \xc4\x8dovjek, potom oni u kojima se ra\xc4\x8dunala koriste za kontrolu rje\xc4\x8dnika, a stvarnu obradbu obavljaju ljudi ili se ra\xc4\x8dunala koriste za korekciju ljudskih pogre\xc5\xa1aka. Na kraju tu su i manje ili vi\xc5\xa1e uspje\xc5\xa1ni sustavi u kojima se nastojalo potpuno isklju\xc4\x8diti \xc4\x8dovjeka u postupku ozna\xc4\x8divanja sadr\xc5\xbeaja. Da bi se u\xc4\x8dinio zna\xc4\x8dajan i kvalitetan pomak na podru\xc4\x8dju ozna\xc4\x8divanja i pretra\xc5\xbeivanja, potrebno je zbli\xc5\xbeiti znalce na podru\xc4\x8dju informacijske tehnologije s tradicionalnom knji\xc5\xbeni\xc4\x8darskom naobrazbom.\n_START_SECTION_\nIndeksiranje\n_START_PARAGRAPH_\nPojavom ra\xc4\x8dunalne industrije dolazi do stvaranja baze podataka. Baza podataka je zbirka zapisa pohranjenih u ra\xc4\x8dunalu na sustavni na\xc4\x8din. Najranija poznata upotreba termina baza podataka potje\xc4\x8de iz lipnja 1963. Tehnolo\xc5\xa1kim napretkom dolazi do unapre\xc4\x91ivanja baza podataka koje su pove\xc4\x87ale svoju brzinu putem indeksiranja. Indeksiranje se definira kao proces stvaranja reprezentacije dokumenta. Pojam indeksiranje dokumenata predstavlja postupak u kojem informacijski sustav pregledava dokumente na disku i katalogizira ih kako bi se omogu\xc4\x87ilo njihovo pretra\xc5\xbeivanje. U postupku indeksiranja, ra\xc4\x8dunalo pregledava dokument, utvr\xc4\x91uje \xc5\xa1to se u njemu nalazi, kojeg je formata, te odre\xc4\x91uje druge podatke kako bi korisnik kasnije mogao napraviti pretra\xc5\xbeivanjem sustava za tim dokumentom, emailom, slikom ili nekim drugim dokumentom, pa tako \xc4\x8ditaju\xc4\x87i tekst ne koncentriramo se samo na to \xc5\xa1to pi\xc5\xa1e, nego i o \xc4\x8demu pi\xc5\xa1e u tekstu. Velika ve\xc4\x87ina metoda za obradu tekstualnih podataka osmi\xc5\xa1ljena je i optimirana ne temelju svojstava engleskog, a tek ponekad i ostalih svjetskih jezika.\n_START_SECTION_\nVrste indeksiranja\n_START_PARAGRAPH_\nPostoji ru\xc4\x8dno indeksiranje, poluautomatsko indeksiranje i automatsko indeksiranje. Ru\xc4\x8dno indeksiranje su grupe dokumenta lista koje \xc4\x8ditaju novopristigle dokumente i na temelju njihovog sadr\xc5\xbeaja odre\xc4\x91uju prikladne klju\xc4\x8dne rije\xc4\x8di ili ih svrstavaju u ranije definirane klase. Ovaj se pristup mo\xc5\xbee pokazati kao vremenski vrlo zahtjevan, kompliciran i skup, ali ima i odre\xc4\x91ene prednosti. Kod ru\xc4\x8dnog indeksiranja nikakvu ulogu ne igra jezik dokumenata, specifi\xc4\x8dnost terminologije ili rje\xc4\x8dnika. Indeksiranje nije ovisno ni o kakvoj tehnologiji, a mo\xc5\xbee se i lak\xc5\xa1e prilagoditi potrebama odre\xc4\x91enih korisnika. Porast broja baza punog teksta i mogu\xc4\x87nosti pretra\xc5\xbeivanja slobodnog teksta (free text searching) dala je poticaj razvoju ra\xc4\x8dunalnih programa koji su zami\xc5\xa1ljeni ne samo kako bi obra\xc4\x91ivali dokumente jednako dobro kao \xc4\x8dovjek, ve\xc4\x87 u cilju da ga u tome nadma\xc5\xa1e. Ono \xc5\xa1to uistinu otvara prostor ra\xc4\x8dunalima u podru\xc4\x8dju sadr\xc5\xbeajne obradbe, koja se oduvijek smatrala elitnom, neprikosnoveno intelektualnom domenom informacijskih stru\xc4\x8dnjaka, jest \xc4\x8dinjenica da \xc4\x8dovjek sam vi\xc5\xa1e ne mo\xc5\xbee sadr\xc5\xbeajno analizirati i ozna\xc4\x8diti nezaustavljivu masu elektroni\xc4\x8dkih dokumenata koja se velikom brzinom pojavljuje i nestaje u globalnom mre\xc5\xbenom okru\xc5\xbeenju. Poluautomatsko indeksiranje uklju\xc4\x8duje primjenu razli\xc4\x8ditih automatskih metoda predlaganja klju\xc4\x8dnih rije\xc4\x8di ili pojmova iz tezaurusa. Na taj na\xc4\x8din indeksatori dobivaju znatno smanjen popis pojmova me\xc4\x91u kojima odabiru one bitne za dokument. Kona\xc4\x8dnu odluku donosi ponovno \xc4\x8dovjek, ali se vrijeme i cijena indeksiranja znatno smanjuju. Automatsko indeksiranje obavlja se bez ili uz vrlo nezna\xc4\x8dajnu intervenciju \xc4\x8dovjeka. Rezultati koji se dobivaju su podjednako uspje\xc5\xa1ni kao i kod ru\xc4\x8dnog indeksiranja, ali ipak pogre\xc5\xa1ke su neizbje\xc5\xbene, iako automatsko indeksiranje znatno \xc5\xa1tedi vrijeme, te mnogi skupovi dokumenata bez ovakvih metoda ne bi uop\xc4\x87e nikada niti bili obra\xc4\x91eni. Nakon \xc5\xa1to je sustav za automatsko indeksiranje uspostavljen mogu\xc4\x87e ga je prilagoditi za rad sa razli\xc4\x8ditim zbirkama dokumenata. Mnogi problemi kao \xc5\xa1to su specifi\xc4\x8dnost terminologije, vi\xc5\xa1ejezi\xc4\x8dnost ili vi\xc5\xa1ezna\xc4\x8dnost, koji kod ru\xc4\x8dnog indeksiranja nisu prisutni, tako\xc4\x91er se mogu rije\xc5\xa1iti primjenom odgovaraju\xc4\x87ih metoda. Najbolji se rezultati ostvaruju kombiniranjem ranije spomenutih metoda.\n_START_SECTION_\nVrste automatskog indeksiranja\n_START_PARAGRAPH_\nVrste automatskog indeksiranja su: metoda ekstrakcije i metoda dodjeljivanja klju\xc4\x8dnih rije\xc4\x8di te lingvisti\xc4\x8dke i statisti\xc4\x8dke metode. Metoda ekstrakcije koristi pojmove koji se ve\xc4\x87 nalaze u tekstu dokumenta koji se indeksira. Ti pojmovi se odnose na samostalne rije\xc4\x8di, ali i slo\xc5\xbeenije fraze. Osnovni problem je u odre\xc4\x91ivanju pojmova koji su dovoljno bitni za sadr\xc5\xbeaj dokumenta i definiranje njihove va\xc5\xbenosti, odnosno te\xc5\xbeine. J. D. Anderson ih naziva predmetnim osobinama (entity attributs). Metoda indeksiranja dodjeljivanjem klju\xc4\x8dnih rije\xc4\x8di koje oni preuzimaju iz nekog izvora koji nije sam dokument. Njih mo\xc5\xbee odrediti sam indeksator na temelju vlastitog iskustva ili mogu biti preuzete iz nekog kontroliranog rje\xc4\x8dnika kao \xc5\xa1to je tezaurus. No okupljanje na bazi tezaurusa ili klasifikacije podrazumijeva izuzetan ljudski intelektualni napor, pa je mogu\xc4\x87nost da se to obavlja strojno oduvijek bila izazov za informacijske stru\xc4\x8dnjake. Rije\xc4\x8d je o konceptualnom ili tematskom tezaurusu koji slu\xc5\xbei za svrhu indeksiranja, a izdvaja se kao posebna vrsta leksikografskog priru\xc4\x8dnika. On ima tematsko ustrojstvo, za razliku od abecednog koje se ina\xc4\x8de koristi. Dodjeljivanje klju\xc4\x8dnih rije\xc4\x8di na temelju kontroliranog rje\xc4\x8dnika usko je povezano sa pojmom kategorizacije. Kategorizacija se odnosi na svrstavanje dokumenata u dvije ili vi\xc5\xa1e klasa ili kategorija. To je nadzirani proces koji zahtijeva u\xc4\x8denje na skupu primjera za svaku kategoriju. U slu\xc4\x8daju indeksiranja svakom tekstu mo\xc5\xbee biti pridijeljen jedan ili vi\xc5\xa1e klasifikacija deskriptora. Oni se pona\xc5\xa1aju na isti na\xc4\x8din kao kategorije kod procesa kategorizacije. Kao prilog ve\xc4\x87 navedenim razlozima treba spomenuti i sljede\xc4\x87e rije\xc4\x8di G. Saltona: "... \xc4\x8dini se daje retori\xc4\x8dko pitanje g. Kerena "\xc5\xa0to ste u posljednje vrijeme vi istra\xc5\xbeiva\xc4\x8di u\xc4\x8dinili za nas prakti\xc4\x8dare?" proma\xc5\xa1ilo svrhu. Ne postoje nigdje pre\xc4\x8daci izme\xc4\x91u istra\xc5\xbeivanja i primjene. To va\xc5\xbei jednako za na\xc5\xa1e kao i za druga podru\xc4\x8dja intelektualnih napora. Potrebno je prou\xc4\x8davati literaturu, potrebno je imati dovoljno "know-how" sposobnosti da bi se problem mogao razlu\xc4\x8diti i smjestiti u kontekst. S vremenom, djeli\xc4\x87i \xc4\x87e se spojiti u cjelinu, a promatra\xc4\x8d \xc4\x87e mo\xc4\x87i uo\xc4\x8diti pojedina\xc4\x8dne detalje umjesto da se oslanja na povr\xc5\xa1ne utiske i uop\xc4\x87avanja. U na\xc5\xa1em, kao i u svakom drugom podru\xc4\x8dju, potrebno je poznavati polje djelovanja kako bi se moglo doprinijeti njegovom razvoju."_NEWLINE_Lingvisti\xc4\x8dke metode odre\xc4\x91uju pojmove koji su bitniji za formiranje indeksa pridjeljuju\xc4\x87i im ve\xc4\x87e te\xc5\xbeine. Takvi pojmovi naj\xc4\x8de\xc5\xa1\xc4\x87e su imenice ili grupe imenica, a cilj lingvisti\xc4\x8dkih metoda je da ih prepoznaju u tekstu. Dodatna prednost je prepoznavanje fraza, \xc5\xa1to znatno pobolj\xc5\xa1ava kvalitetu indeksiranja, lingvisti\xc4\x8dke metode se kombiniraju sa statisti\xc4\x8dkima prilikom odre\xc4\x91ivanja te\xc5\xbeine, odnosno va\xc5\xbenosti pojedinih pojmova. Za uspje\xc5\xa1niju obradu teksta potrebno je obaviti predprocesiranje koje se naj\xc4\x8de\xc5\xa1\xc4\x87e sastoji od morfolo\xc5\xa1ke normalizacije i eliminacije stop rije\xc4\x8di._NEWLINE_Kad je u pitanju morfolo\xc5\xa1ka normalizacija radi se o svo\xc4\x91enju rije\xc4\x8di na osnovni oblik, dok kod eliminacije stop rije\xc4\x8di radi se o rije\xc4\x8dima koje ne nose nikakvo zna\xc4\x8denje za sadr\xc5\xbeaj teksta i one tvore stop listu. Najjednostavniji na\xc4\x8din za odabir adekvatnih pojmova je ra\xc4\x8dunanje frekvencija pojavljivanja tog pojma u pojedinom tekstu i u preostalim dokumentima. Pojam se smatra va\xc5\xbenim ako se pojavljuje odre\xc4\x91eni broj puta.\n_START_SECTION_\n"Windows" u slu\xc5\xbebi indeksiranja\n_START_PARAGRAPH_\nMicrosoft Windows koristi indeks za vrlo brza pretra\xc5\xbeivanja na ra\xc4\x8dunalu. Ve\xc4\x87ina se standardnih datoteka na ra\xc4\x8dunalu indeksira prema zadanim postavkama. Indeksirana mjesta obuhva\xc4\x87aju sve mape koje se nalaze u bibliotekama (primjerice, sve \xc5\xa1to vidite u biblioteci dokumenta), e-po\xc5\xa1ti i izvanmre\xc5\xbenim datotekama. Primjeri datoteka koje se ne indeksiraju programske su i sistemske datoteke - datoteke koje ve\xc4\x87ina korisnika vrlo rijetko tra\xc5\xbei. Najjednostavniji na\xc4\x8din dodavanja u indeks jest obuhva\xc4\x87anje mape u biblioteci. Kad to u\xc4\x8dinite, sadr\xc5\xbeaj te mape automatski se indeksira._NEWLINE_Cijelo ra\xc4\x8dunalo se ne bi smjelo indeksirati jer bi se tim napravio suprotan u\xc4\x8dinak, umjesto ubrzanja rada ra\xc4\x8dunala do\xc5\xa1lo bi do njegove sporosti jer bi bile uklju\xc4\x8dene programske datoteke pa bi indeks bio prevelik.\n_START_SECTION_\nPredmetno indeksiranje\n_START_PARAGRAPH_\nTvrtke s internetom kojima bi bili sati izgubljeni u pretra\xc5\xbeivanju lokacije tra\xc5\xbeenih informacija predstavljaju gubitak novaca, te one pla\xc4\x87aju za stru\xc4\x8dne analize. Pa tu opet moramo spomeniti predmetno indeksiranje, a to je metoda opisivanja dokumenta indeksnim terminima kako bi se ozna\xc4\x8dilo o \xc4\x8demu se radi u dokumentu ili da se skrati njegov sadr\xc5\xbeaj. Razlog zbog kojeg se dokumenti tako ozna\xc4\x8duju je zato \xc5\xa1to pronalazak informacija ne predstavlja ve\xc4\x87i problem, nego pronalazak pravih informacija me\xc4\x91u velikom koli\xc4\x8dinom dostupnih informacija, tako i na Internetu. Problem je \xc5\xa1to tra\xc5\xbeilice, \xc4\x8dak i one novije (\xe2\x80\x9einteligentne\xe2\x80\x9c) ne zadovoljavaju uvijek. Generalno, na\xc4\x8din funkcioniranja tra\xc5\xbeilica je da tra\xc5\xbee pojavljivanje rije\xc4\x8di koja se upisuje u pretra\xc5\xbeiva\xc4\x8dko su\xc4\x8delje, na \xc5\xa1to se izlistavaju svakakvi dokumenti u kojima se pojavljuje rije\xc4\x8d iz upita, zna\xc4\x8di \xc4\x8dak i one gdje se rije\xc4\x8d samo spominje, a nema relevantnu vrijednost. Jedan od na\xc4\x8dina pove\xc4\x87avanja relevantnosti rezultata pretrage je tra\xc5\xbeenje klju\xc4\x8dnih rije\xc4\x8di koje mogu biti umetnute kao metapodaci (podaci o podacima) unutar stranica interneta. Svrha predmetnog indeksiranja je da se ozna\xc4\x8divanjem jedinica teksta odre\xc4\x91eni dokument mo\xc5\xbee lak\xc5\xa1e prona\xc4\x87i pri tra\xc5\xbeenju. Kontrolirani rje\xc4\x8dnik se koristi u informacijskim znanostima, i za razliku od rje\xc4\x8dnika prirodnih jezika, koriste se samo prethodno odre\xc4\x91eni ovla\xc5\xa1teni termini. Klju\xc4\x8dne rije\xc4\x8di dokumentu dodaje autor, a indeksni termine dokumentima dodjeljuju posebni stru\xc4\x8dnjaci, indekseri i knji\xc5\xbeni\xc4\x8dari. Oni su profesionalci u analiziranju sadr\xc5\xbeaja i izu\xc4\x8deni su da precizno odrede potrebe korisnika. \xc5\xa0to se interneta ti\xc4\x8de, postoji druga\xc4\x8dija, jeftinija verzija ozna\xc4\x8davanja dokumenata. Nove mre\xc5\xbene aplikacije omogu\xc4\x87uju svakom korisniku da obilje\xc5\xbeava dokumente, tako da socijalno ozna\xc4\x8davanje (metoda suradni\xc4\x8dkog stvaranja i ure\xc4\x91ivanja oznaka koja slu\xc5\xbei da bi se sadr\xc5\xbeaj ozna\xc4\x8dio i kategorizirao) postaje sve popularnije na Web-u. Svakodnevni primjer: video sadr\xc5\xbeaji na YouTube-u (korisnici svoje postavljene video materijale tako\xc4\x91er indeksiraju tako da upisuju oznake (tags), i ako dobro naprave taj zadatak, sadr\xc5\xbeaj videa odgovarat \xc4\x87e indeksnim terminima, i korisnik \xc4\x87e lako preko upita prona\xc4\x87i tra\xc5\xbeeni video materijal).\n_START_SECTION_\nZaklju\xc4\x8dak\n_START_PARAGRAPH_\nUslijed tehnolo\xc5\xa1kih promjena koje su omogu\xc4\x87ile rad s velikim bazama podataka, stru\xc4\x8dnjacima u organizaciji i posredovanju informacija i znanja pridru\xc5\xbeili su se i znalci s podru\xc4\x8dja ra\xc4\x8dunarstva. Istra\xc5\xbeiva\xc4\x8dki rad koji se odnosio na pretra\xc5\xbeivanje informacija istom je usmjeren na pretra\xc5\xbeivanja slobodnog teksta, odnosno pretra\xc5\xbeivanje na prirodnom jeziku. Pristup ra\xc4\x8dunalnih stru\xc4\x8dnjaka problemu pretra\xc5\xbeivanja i ozna\xc4\x8divanja usredoto\xc4\x8den je od po\xc4\x8detka na lociranje i pronala\xc5\xbeenje informacija u nekoj bazi podataka. Danas, govore\xc4\x87i o sustavima za pretra\xc5\xbeivanje i ozna\xc4\x8divanje, a napose o automatskom predmetnom ozna\xc4\x8divanju, mo\xc5\xbeemo zaklju\xc4\x8diti da su sva nastojanja u tom pravcu bila opravdana. Brojna literatura iz tog podru\xc4\x8dja govori u prilog silnom znanstvenom-istra\xc5\xbeiva\xc4\x8dkom i prakti\xc4\x8dnom naporu koji je ulo\xc5\xbeen u njihov razvoj i usavr\xc5\xa1avanje. Napretkom komunikacijske tehnologije i razvojem globalne informacijske infrastrukture, napose pojavom Interneta, omogu\xc4\x87en je pristup velikom broju razli\xc4\x8ditih informacija u digitalnoj formi. Me\xc4\x91u njima iz dana u dan raste broj baza podataka s punim tekstom. Potreba ozna\xc4\x8divanja i pretra\xc5\xbeivanja stalno rastu\xc4\x87e mase dokumenata ve\xc4\x87 sada nadilazi ljudske mogu\xc4\x87nosti.'