基本分词是什么

基本就是保证了最基本的分词.词语颗粒度最非常小的.所涉及到的词大约是10万左右.

基本分词速度非常快.在macAir上.能到每秒300w字每秒.同时准确率也很高.但是对于新词他的功能十分有限

基本分词具有什么功能

    Ansj词性标注是基于HMM的。主要利用了ngram的方式，相对而言作的还是比较粗

1. 全切分，原子切分；
2. N最短路径的粗切分，根据隐马尔科夫模型和viterbi算法，达到最优路径的规划；
3. 人名识别；
4. 系统词典补充；
5. 用户自定义词典的补充；
6. 词性标注（可选）

private static final long serialVersionUID = 1L;
// 当前词
private String name;
//
private String realName;
// 当前词的起始位置
private int offe;
// 词性列表
private TermNatures termNatures = TermNatures.NULL;
// 词性列表
private AnsjItem item = AnsjItem.NULL;
// 同一行内数据
private Term next;
// 分数
private double score = 0;
// 本身分数
private double selfScore = 1;
// 起始位置
private Term from;
// 到达位置
private Term to;
// 本身这个term的词性.需要在词性识别之后才会有值,默认是空
private Nature nature = Nature.NULL;

private List<Term> subTerm = null;

public char[] chars = null;
public String realStr = null;
public Term[] terms = null;
protected Term end = null;
protected Term root = null;
protected static final String E = "末##末";
protected static final String B = "始##始";
// 是否有人名
public boolean hasPerson;
// 是否有数字
public boolean hasNum;

28145   深  156288 -1 2  {a=103, an=2, d=34, j=9, ng=0}

protected String name;
protected byte   status;
protected int    base = 65536;
protected int    index;
protected int    check;

default:
   start = i;
   end = i;
   c = chars[start];
   while (IN_SYSTEM[c] > 0) {
      end++;
      if (++i >= endOffe)
         break;
      c = chars[i];
   }

   if (start == end) {
      gp.addTerm(new Term(String.valueOf(c), i, TermNatures.NULL));
      continue;
   }

   gwi.setChars(chars, start, end);
   while ((str = gwi.allWords()) != null) {
      gp.addTerm(new Term(str, gwi.offe, gwi.getItem()));
   }

   /**
    * 如果未分出词.以未知字符加入到gp中
    */
   if (IN_SYSTEM[c] > 0 || status(c) > 3 || Character.isHighSurrogate(chars[i]) ) {
      i -= 1;
   } else {
      gp.addTerm(new Term(String.valueOf(c), i, TermNatures.NULL));
   }

   break;
}

/**
 * 干涉性增加相对权重
 * 
 * @param relationMap
 */
public void walkPath(Map<String, Double> relationMap) {
   Term term = null;
   // BEGIN先行打分
   merger(root, 0, relationMap);
   // 从第一个词开始往后打分
   for (int i = 0; i < terms.length; i++) {
      term = terms[i];
      while (term != null && term.from() != null && term != end) {
         int to = term.toValue();
         merger(term, to, relationMap);
         term = term.next();
      }
   }
   optimalRoot();
}

/**
 * 具体的遍历打分方法
 * 
 * @param i
 *            起始位置
 * @param j
 *            起始属性
 * @param to
 */
private void merger(Term fromTerm, int to, Map<String, Double> relationMap) {
   Term term = null;
   if (terms[to] != null) {
      term = terms[to];
      while (term != null) {
         // 关系式to.set(from)
         term.setPathScore(fromTerm, relationMap);
         term = term.next();
      }
   } else {
      char c = chars[to];
      TermNatures tn = DATDictionary.getItem(c).termNatures;
      if (tn == null || tn == TermNatures.NULL) {
         tn = TermNatures.NULL;
      }
      terms[to] = new Term(String.valueOf(c), to, tn);
      terms[to].setPathScore(fromTerm, relationMap);
   }
}

// 维特比进行最优路径的构建
double score = MathUtil.compuScore(from, this, relationMap);