();
Kok kok;
while ((kok = oku()) != null) {
list.add(kok);
}
dis.close();
return list;
}
/**
* İkili (Binary) sözlükten bir kök okur. çağrıldıkça bir sonraki kökü alır.
*
* @return bir sonraki kök. Eğer okunacak kök kalmamışsa null
*/
public Kok oku() throws IOException {
String icerik;
//kok icerigini oku. eger dosya sonuna gelinmisse (EOFException) null dondur.
try {
icerik = dis.readUTF();
} catch (EOFException e) {
dis.close();
return null;
}
String asil = dis.readUTF();
// Tip bilgisini oku (1 byte)
KelimeTipi tip = KelimeTipi.getTip(dis.read());
Kok kok;
if (tip == KelimeTipi.KISALTMA)
kok = new Kisaltma(icerik);
else
kok = new Kok(icerik, tip);
if (asil.length() != 0)
kok.setAsil(asil);
char kisaltmaSeslisi = dis.readChar();
if (kisaltmaSeslisi != '#')
((Kisaltma) kok).setKisaltmaSonSeslisi(kisaltmaSeslisi);
// Özel durum sayısını (1 byte) ve ozel durumlari oku.
int ozelDurumSayisi = dis.read();
for (int i = 0; i < ozelDurumSayisi; i++) {
int ozelDurum = dis.read();
KokOzelDurumu oz = ozelDurumlar.ozelDurum(ozelDurum);
kok.ozelDurumEkle(oz);
}
int frekans = dis.readInt();
if (frekans != 0) {
kok.setFrekans(frekans);
}
return kok;
}
}
zemberek-2.1.1/src/cekirdek/net/zemberek/bilgi/araclar/DuzYaziKokOkuyucu.java 0000644 0001750 0001750 00000010121 11027137406 025704 0 ustar rail rail /*
* Lisans bilgisi icin lutfen proje ana dizinindeki zemberek2-lisans.txt dosyasini okuyunuz.
*/
package net.zemberek.bilgi.araclar;
import java.io.BufferedReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.logging.Logger;
import java.util.regex.Pattern;
import net.zemberek.araclar.Kayitci;
import net.zemberek.bilgi.KaynakYukleyici;
import net.zemberek.yapi.Alfabe;
import net.zemberek.yapi.KelimeTipi;
import net.zemberek.yapi.Kok;
import net.zemberek.yapi.Kisaltma;
import net.zemberek.yapi.kok.KokOzelDurumBilgisi;
/**
* BinarySozlukOkuyucu sınıfı düzyazı olarak düzenlenmiş sözlüğü okur.
* Aşağıdaki kod parçası bir binary sözlükteki tüm kökleri okur.
*
* ...
* KokOkuyucu okuyucu = new DuzYaziKokOkuyucu();
* okuyucu.initialize("kaynaklar/kb/duzyazi-kokler.txt");
* Kok kok = null;
* while((kok = sozlukOkuyucu.oku())!= null){
* ekle(kok); // Elde edilen kök nesnesi ile ne gerekiyorsa yap.
* }
* ...
*
*
* @author MDA
*/
public class DuzYaziKokOkuyucu implements KokOkuyucu {
private static Logger log = Kayitci.kayitciUret(DuzYaziKokOkuyucu.class);
private Alfabe alfabe;
private KokOzelDurumBilgisi ozelDurumlar;
protected BufferedReader reader;
private static final Pattern AYIRICI_PATTERN = Pattern.compile("[ ]+");
private Map kokTipAdlari = new HashMap();
// Eger farkli turk dillerine ait kok dosyalarinda farkli turden tip adlari
// kullanildiysa bu isimleri KelimeITplerine esleyen bir Map olusturulup bu
// constructor kullanilabilir. Map icin ornek diger constructor icerisinde
// yer almaktadir.
public DuzYaziKokOkuyucu(String dosyaAdi,
KokOzelDurumBilgisi ozelDurumlar,
Alfabe alfabe,
Map kokTipAdlari) throws IOException {
reader = new KaynakYukleyici("UTF-8").getReader(dosyaAdi);
this.ozelDurumlar = ozelDurumlar;
this.alfabe = alfabe;
this.kokTipAdlari = kokTipAdlari;
}
public List hepsiniOku() throws IOException {
ArrayList list = new ArrayList