[BACK]Return to apropos_db.c CVS log [TXT][DIR] Up to [cvsweb.bsd.lv] / mandoc

Diff for /mandoc/Attic/apropos_db.c between version 1.7 and 1.16

version 1.7, 2011/11/20 12:46:53 version 1.16, 2011/11/29 10:53:42
Line 22 
Line 22 
 #include <stdint.h>  #include <stdint.h>
 #include <stdlib.h>  #include <stdlib.h>
 #include <string.h>  #include <string.h>
   #include <unistd.h>
   
 #ifdef __linux__  #ifdef __linux__
 # include <db_185.h>  # include <db_185.h>
Line 51  struct expr {
Line 52  struct expr {
         int              regex; /* is regex? */          int              regex; /* is regex? */
         int              index; /* index in match array */          int              index; /* index in match array */
         uint64_t         mask; /* type-mask */          uint64_t         mask; /* type-mask */
         int              cs; /* is case-sensitive? */  
         int              and; /* is rhs of logical AND? */          int              and; /* is rhs of logical AND? */
         char            *v; /* search value */          char            *v; /* search value */
         regex_t          re; /* compiled re, if regex */          regex_t          re; /* compiled re, if regex */
Line 64  struct type {
Line 64  struct type {
         const char      *name;          const char      *name;
 };  };
   
   struct  rectree {
           struct rec      *node; /* record array for dir tree */
           int              len; /* length of record array */
   };
   
 static  const struct type types[] = {  static  const struct type types[] = {
         { TYPE_An, "An" },          { TYPE_An, "An" },
         { TYPE_Ar, "Ar" },          { TYPE_Ar, "Ar" },
Line 109  static const struct type types[] = {
Line 114  static const struct type types[] = {
 };  };
   
 static  DB      *btree_open(void);  static  DB      *btree_open(void);
 static  int      btree_read(const DBT *,  static  int      btree_read(const DBT *,
                         const struct mchars *, char **);                          const struct mchars *, char **);
 static  int      expreval(const struct expr *, int *);  static  int      expreval(const struct expr *, int *);
 static  void     exprexec(const struct expr *,  static  void     exprexec(const struct expr *,
                         const char *, uint64_t, struct rec *);                          const char *, uint64_t, struct rec *);
 static  int      exprmark(const struct expr *,  static  int      exprmark(const struct expr *,
                         const char *, uint64_t, int *);                          const char *, uint64_t, int *);
 static  struct expr *exprexpr(int, char *[], int *, int *, size_t *);  static  struct expr *exprexpr(int, char *[], int *, int *, size_t *);
 static  struct expr *exprterm(char *, int);  static  struct expr *exprterm(char *, int);
 static  DB      *index_open(void);  static  DB      *index_open(void);
 static  int      index_read(const DBT *, const DBT *,  static  int      index_read(const DBT *, const DBT *, int,
                         const struct mchars *, struct rec *);                          const struct mchars *, struct rec *);
 static  void     norm_string(const char *,  static  void     norm_string(const char *,
                         const struct mchars *, char **);                          const struct mchars *, char **);
 static  size_t   norm_utf8(unsigned int, char[7]);  static  size_t   norm_utf8(unsigned int, char[7]);
 static  void     recfree(struct rec *);  static  void     recfree(struct rec *);
   static  int      single_search(struct rectree *, const struct opts *,
                           const struct expr *, size_t terms,
                           struct mchars *, int);
   
 /*  /*
  * Open the keyword mandoc-db database.   * Open the keyword mandoc-db database.
Line 139  btree_open(void)
Line 147  btree_open(void)
         info.flags = R_DUP;          info.flags = R_DUP;
   
         db = dbopen(MANDOC_DB, O_RDONLY, 0, DB_BTREE, &info);          db = dbopen(MANDOC_DB, O_RDONLY, 0, DB_BTREE, &info);
         if (NULL != db)          if (NULL != db)
                 return(db);                  return(db);
   
         return(NULL);          return(NULL);
Line 167  btree_read(const DBT *v, const struct mchars *mc, char
Line 175  btree_read(const DBT *v, const struct mchars *mc, char
 /*  /*
  * Take a Unicode codepoint and produce its UTF-8 encoding.   * Take a Unicode codepoint and produce its UTF-8 encoding.
  * This isn't the best way to do this, but it works.   * This isn't the best way to do this, but it works.
  * The magic numbers are from the UTF-8 packaging.   * The magic numbers are from the UTF-8 packaging.
  * They're not as scary as they seem: read the UTF-8 spec for details.   * They're not as scary as they seem: read the UTF-8 spec for details.
  */   */
 static size_t  static size_t
Line 232  norm_string(const char *val, const struct mchars *mc, 
Line 240  norm_string(const char *val, const struct mchars *mc, 
         const char       *seq, *cpp;          const char       *seq, *cpp;
         int               len, u, pos;          int               len, u, pos;
         enum mandoc_esc   esc;          enum mandoc_esc   esc;
         static const char res[] = { '\\', '\t',          static const char res[] = { '\\', '\t',
                                 ASCII_NBRSP, ASCII_HYPH, '\0' };                                  ASCII_NBRSP, ASCII_HYPH, '\0' };
   
         /* Pre-allocate by the length of the input */          /* Pre-allocate by the length of the input */
Line 278  norm_string(const char *val, const struct mchars *mc, 
Line 286  norm_string(const char *val, const struct mchars *mc, 
                 if (ESCAPE_ERROR == esc)                  if (ESCAPE_ERROR == esc)
                         break;                          break;
   
                 /*                  /*
                  * XXX - this just does UTF-8, but we need to know                   * XXX - this just does UTF-8, but we need to know
                  * beforehand whether we should do text substitution.                   * beforehand whether we should do text substitution.
                  */                   */
Line 336  index_open(void)
Line 344  index_open(void)
  * Returns 1 if an entry was unpacked, 0 if the database is insane.   * Returns 1 if an entry was unpacked, 0 if the database is insane.
  */   */
 static int  static int
 index_read(const DBT *key, const DBT *val,  index_read(const DBT *key, const DBT *val, int index,
                 const struct mchars *mc, struct rec *rec)                  const struct mchars *mc, struct rec *rec)
 {  {
         size_t           left;          size_t           left;
Line 355  index_read(const DBT *key, const DBT *val, 
Line 363  index_read(const DBT *key, const DBT *val, 
         cp = (char *)val->data;          cp = (char *)val->data;
   
         rec->res.rec = *(recno_t *)key->data;          rec->res.rec = *(recno_t *)key->data;
           rec->res.volume = index;
   
           INDEX_BREAD(rec->res.type);
         INDEX_BREAD(rec->res.file);          INDEX_BREAD(rec->res.file);
         INDEX_BREAD(rec->res.cat);          INDEX_BREAD(rec->res.cat);
         INDEX_BREAD(rec->res.title);          INDEX_BREAD(rec->res.title);
Line 365  index_read(const DBT *key, const DBT *val, 
Line 375  index_read(const DBT *key, const DBT *val, 
 }  }
   
 /*  /*
  * Search the mandocdb database for the expression "expr".   * Search mandocdb databases in paths for expression "expr".
  * Filter out by "opts".   * Filter out by "opts".
  * Call "res" with the results, which may be zero.   * Call "res" with the results, which may be zero.
  * Return 0 if there was a database error, else return 1.   * Return 0 if there was a database error, else return 1.
  */   */
 int  int
 apropos_search(const struct opts *opts, const struct expr *expr,  apropos_search(int pathsz, char **paths, const struct opts *opts,
                 size_t terms, void *arg,                  const struct expr *expr, size_t terms, void *arg,
                 void (*res)(struct res *, size_t, void *))                  void (*res)(struct res *, size_t, void *))
 {  {
         int              i, rsz, root, leaf, mlen, rc, ch;          struct rectree   tree;
           struct mchars   *mc;
           struct res      *ress;
           int              i, mlen, rc;
   
           memset(&tree, 0, sizeof(struct rectree));
   
           rc = 0;
           mc = mchars_alloc();
   
           /*
            * Main loop.  Change into the directory containing manpage
            * databases.  Run our expession over each database in the set.
            */
   
           for (i = 0; i < pathsz; i++) {
                   if (chdir(paths[i]))
                           continue;
                   if ( ! single_search(&tree, opts, expr, terms, mc, i))
                           goto out;
           }
   
           /*
            * Count matching files, transfer to a "clean" array, then feed
            * them to the output handler.
            */
   
           for (mlen = i = 0; i < tree.len; i++)
                   if (tree.node[i].matched)
                           mlen++;
   
           ress = mandoc_malloc(mlen * sizeof(struct res));
   
           for (mlen = i = 0; i < tree.len; i++)
                   if (tree.node[i].matched)
                           memcpy(&ress[mlen++], &tree.node[i].res,
                                           sizeof(struct res));
   
           (*res)(ress, mlen, arg);
           free(ress);
   
           rc = 1;
   out:
           for (i = 0; i < tree.len; i++)
                   recfree(&tree.node[i]);
   
           free(tree.node);
           mchars_free(mc);
           return(rc);
   }
   
   static int
   single_search(struct rectree *tree, const struct opts *opts,
                   const struct expr *expr, size_t terms,
                   struct mchars *mc, int vol)
   {
           int              root, leaf, ch;
         uint64_t         mask;          uint64_t         mask;
         DBT              key, val;          DBT              key, val;
         DB              *btree, *idx;          DB              *btree, *idx;
         struct mchars   *mc;  
         char            *buf;          char            *buf;
         recno_t          rec;          recno_t          rec;
         struct rec      *rs;          struct rec      *rs;
         struct res      *ress;  
         struct rec       r;          struct rec       r;
         struct db_val   *vbuf;          struct db_val   *vbuf;
   
         rc      = 0;  
         root    = -1;          root    = -1;
         leaf    = -1;          leaf    = -1;
         btree   = NULL;          btree   = NULL;
         idx     = NULL;          idx     = NULL;
         mc      = NULL;  
         buf     = NULL;          buf     = NULL;
         rs      = NULL;          rs      = tree->node;
         rsz     = 0;  
   
         memset(&r, 0, sizeof(struct rec));          memset(&r, 0, sizeof(struct rec));
   
         mc = mchars_alloc();          if (NULL == (btree = btree_open()))
                   return(1);
   
         if (NULL == (btree = btree_open()))          if (NULL == (idx = index_open())) {
                 goto out;                  (*btree->close)(btree);
         if (NULL == (idx = index_open()))                  return(1);
                 goto out;          }
   
         while (0 == (ch = (*btree->seq)(btree, &key, &val, R_NEXT))) {          while (0 == (ch = (*btree->seq)(btree, &key, &val, R_NEXT))) {
                 if (key.size < 2 || sizeof(struct db_val) != val.size)                  if (key.size < 2 || sizeof(struct db_val) != val.size)
                         break;                          break;
                 if ( ! btree_read(&key, mc, &buf))                  if ( ! btree_read(&key, mc, &buf))
                         break;                          break;
   
Line 430  apropos_search(const struct opts *opts, const struct e
Line 492  apropos_search(const struct opts *opts, const struct e
                  */                   */
   
                 for (leaf = root; leaf >= 0; )                  for (leaf = root; leaf >= 0; )
                         if (rec > rs[leaf].res.rec &&                          if (rec > rs[leaf].res.rec &&
                                         rs[leaf].rhs >= 0)                                          rs[leaf].rhs >= 0)
                                 leaf = rs[leaf].rhs;                                  leaf = rs[leaf].rhs;
                         else if (rec < rs[leaf].res.rec &&                          else if (rec < rs[leaf].res.rec &&
                                         rs[leaf].lhs >= 0)                                          rs[leaf].lhs >= 0)
                                 leaf = rs[leaf].lhs;                                  leaf = rs[leaf].lhs;
                         else                          else
                                 break;                                  break;
   
                 /*                  /*
Line 464  apropos_search(const struct opts *opts, const struct e
Line 526  apropos_search(const struct opts *opts, const struct e
                         break;                          break;
   
                 r.lhs = r.rhs = -1;                  r.lhs = r.rhs = -1;
                 if ( ! index_read(&key, &val, mc, &r))                  if ( ! index_read(&key, &val, vol, mc, &r))
                         break;                          break;
   
                 /* XXX: this should be elsewhere, I guess? */                  /* XXX: this should be elsewhere, I guess? */
Line 474  apropos_search(const struct opts *opts, const struct e
Line 536  apropos_search(const struct opts *opts, const struct e
                 if (opts->arch && strcasecmp(opts->arch, r.res.arch))                  if (opts->arch && strcasecmp(opts->arch, r.res.arch))
                         continue;                          continue;
   
                 rs = mandoc_realloc                  tree->node = rs = mandoc_realloc
                         (rs, (rsz + 1) * sizeof(struct rec));                          (rs, (tree->len + 1) * sizeof(struct rec));
   
                 memcpy(&rs[rsz], &r, sizeof(struct rec));                  memcpy(&rs[tree->len], &r, sizeof(struct rec));
                 rs[rsz].matches = mandoc_calloc(terms, sizeof(int));                  rs[tree->len].matches =
                           mandoc_calloc(terms, sizeof(int));
   
                 exprexec(expr, buf, mask, &rs[rsz]);                  exprexec(expr, buf, mask, &rs[tree->len]);
   
                 /* Append to our tree. */                  /* Append to our tree. */
   
                 if (leaf >= 0) {                  if (leaf >= 0) {
                         if (rec > rs[leaf].res.rec)                          if (rec > rs[leaf].res.rec)
                                 rs[leaf].rhs = rsz;                                  rs[leaf].rhs = tree->len;
                         else                          else
                                 rs[leaf].lhs = rsz;                                  rs[leaf].lhs = tree->len;
                 } else                  } else
                         root = rsz;                          root = tree->len;
   
                 memset(&r, 0, sizeof(struct rec));                  memset(&r, 0, sizeof(struct rec));
                 rsz++;                  tree->len++;
         }          }
   
         /*  
          * If we haven't encountered any database errors, then construct  
          * an array of results and push them to the caller.  
          */  
   
         if (1 == ch) {          (*btree->close)(btree);
                 for (mlen = i = 0; i < rsz; i++)          (*idx->close)(idx);
                         if (rs[i].matched)  
                                 mlen++;  
                 ress = mandoc_malloc(mlen * sizeof(struct res));  
                 for (mlen = i = 0; i < rsz; i++)  
                         if (rs[i].matched)  
                                 memcpy(&ress[mlen++], &rs[i].res,  
                                                 sizeof(struct res));  
                 (*res)(ress, mlen, arg);  
                 free(ress);  
                 rc = 1;  
         }  
   
 out:  
         for (i = 0; i < rsz; i++)  
                 recfree(&rs[i]);  
   
         recfree(&r);  
   
         if (mc)  
                 mchars_free(mc);  
         if (btree)  
                 (*btree->close)(btree);  
         if (idx)  
                 (*idx->close)(idx);  
   
         free(buf);          free(buf);
         free(rs);          return(1 == ch);
         return(rc);  
 }  }
   
 static void  static void
Line 545  recfree(struct rec *rec)
Line 579  recfree(struct rec *rec)
         free(rec->matches);          free(rec->matches);
 }  }
   
   /*
    * Compile a list of straight-up terms.
    * The arguments are re-written into ~[[:<:]]term[[:>:]], or "term"
    * surrounded by word boundaries, then pumped through exprterm().
    * Terms are case-insensitive.
    * This emulates whatis(1) behaviour.
    */
 struct expr *  struct expr *
   termcomp(int argc, char *argv[], size_t *tt)
   {
           char            *buf;
           int              pos;
           struct expr     *e, *next;
           size_t           sz;
   
           buf = NULL;
           e = NULL;
           *tt = 0;
   
           for (pos = argc - 1; pos >= 0; pos--) {
                   sz = strlen(argv[pos]) + 18;
                   buf = mandoc_realloc(buf, sz);
                   strlcpy(buf, "Nm~[[:<:]]", sz);
                   strlcat(buf, argv[pos], sz);
                   strlcat(buf, "[[:>:]]", sz);
                   if (NULL == (next = exprterm(buf, 0))) {
                           free(buf);
                           exprfree(e);
                           return(NULL);
                   }
                   next->next = e;
                   e = next;
                   (*tt)++;
           }
   
           free(buf);
           return(e);
   }
   
   /*
    * Compile a sequence of logical expressions.
    * See apropos.1 for a grammar of this sequence.
    */
   struct expr *
 exprcomp(int argc, char *argv[], size_t *tt)  exprcomp(int argc, char *argv[], size_t *tt)
 {  {
         int              pos, lvl;          int              pos, lvl;
Line 599  exprexpr(int argc, char *argv[], int *pos, int *lvl, s
Line 676  exprexpr(int argc, char *argv[], int *pos, int *lvl, s
                 log = 0;                  log = 0;
   
                 if (NULL != e && 0 == strcmp("-a", argv[*pos]))                  if (NULL != e && 0 == strcmp("-a", argv[*pos]))
                         log = 1;                          log = 1;
                 else if (NULL != e && 0 == strcmp("-o", argv[*pos]))                  else if (NULL != e && 0 == strcmp("-o", argv[*pos]))
                         log = 2;                          log = 2;
   
Line 616  exprexpr(int argc, char *argv[], int *pos, int *lvl, s
Line 693  exprexpr(int argc, char *argv[], int *pos, int *lvl, s
                         ++(*pos);                          ++(*pos);
                         ++(*lvl);                          ++(*lvl);
                         next = mandoc_calloc(1, sizeof(struct expr));                          next = mandoc_calloc(1, sizeof(struct expr));
                         next->cs = 1;  
                         next->subexpr = exprexpr(argc, argv, pos, lvl, tt);                          next->subexpr = exprexpr(argc, argv, pos, lvl, tt);
                         if (NULL == next->subexpr) {                          if (NULL == next->subexpr) {
                                 free(next);                                  free(next);
Line 667  exprterm(char *buf, int cs)
Line 743  exprterm(char *buf, int cs)
   
         memset(&e, 0, sizeof(struct expr));          memset(&e, 0, sizeof(struct expr));
   
         e.cs = cs;  
   
         /* Choose regex or substring match. */          /* Choose regex or substring match. */
   
         if (NULL == (e.v = strpbrk(buf, "=~"))) {          if (NULL == (e.v = strpbrk(buf, "=~"))) {
Line 695  exprterm(char *buf, int cs)
Line 769  exprterm(char *buf, int cs)
                 e.mask = TYPE_Nm | TYPE_Nd;                  e.mask = TYPE_Nm | TYPE_Nd;
   
         if (e.regex) {          if (e.regex) {
                 i = REG_EXTENDED | REG_NOSUB | cs ? 0 : REG_ICASE;                  i = REG_EXTENDED | REG_NOSUB | (cs ? 0 : REG_ICASE);
                 if (regcomp(&e.re, e.v, i))                  if (regcomp(&e.re, e.v, i))
                         return(NULL);                          return(NULL);
         }          }
Line 711  void
Line 785  void
 exprfree(struct expr *p)  exprfree(struct expr *p)
 {  {
         struct expr     *pp;          struct expr     *pp;
   
         while (NULL != p) {          while (NULL != p) {
                 if (p->subexpr)                  if (p->subexpr)
                         exprfree(p->subexpr);                          exprfree(p->subexpr);
Line 725  exprfree(struct expr *p)
Line 799  exprfree(struct expr *p)
 }  }
   
 static int  static int
 exprmark(const struct expr *p, const char *cp,  exprmark(const struct expr *p, const char *cp,
                 uint64_t mask, int *ms)                  uint64_t mask, int *ms)
 {  {
   
Line 740  exprmark(const struct expr *p, const char *cp, 
Line 814  exprmark(const struct expr *p, const char *cp, 
                 if (p->regex) {                  if (p->regex) {
                         if (regexec(&p->re, cp, 0, NULL, 0))                          if (regexec(&p->re, cp, 0, NULL, 0))
                                 continue;                                  continue;
                 } else if (p->cs) {                  } else if (NULL == strcasestr(cp, p->v))
                         if (NULL == strstr(cp, p->v))                          continue;
                                 continue;  
                 } else {  
                         if (NULL == strcasestr(cp, p->v))  
                                 continue;  
                 }  
   
                 if (NULL == ms)                  if (NULL == ms)
                         return(1);                          return(1);
Line 780  expreval(const struct expr *p, int *ms)
Line 849  expreval(const struct expr *p, int *ms)
                 for ( ; p->next && p->next->and; p = p->next) {                  for ( ; p->next && p->next->and; p = p->next) {
                         /* Evaluate a subexpression, if applicable. */                          /* Evaluate a subexpression, if applicable. */
                         if (p->next->subexpr && ! ms[p->next->index])                          if (p->next->subexpr && ! ms[p->next->index])
                                 ms[p->next->index] =                                  ms[p->next->index] =
                                         expreval(p->next->subexpr, ms);                                          expreval(p->next->subexpr, ms);
                         match = match && ms[p->next->index];                          match = match && ms[p->next->index];
                 }                  }
Line 797  expreval(const struct expr *p, int *ms)
Line 866  expreval(const struct expr *p, int *ms)
  * If this evaluates to true, mark the expression as satisfied.   * If this evaluates to true, mark the expression as satisfied.
  */   */
 static void  static void
 exprexec(const struct expr *p, const char *cp,  exprexec(const struct expr *e, const char *cp,
                 uint64_t mask, struct rec *r)                  uint64_t mask, struct rec *r)
 {  {
   
         assert(0 == r->matched);          assert(0 == r->matched);
         exprmark(p, cp, mask, r->matches);          exprmark(e, cp, mask, r->matches);
         r->matched = expreval(p, r->matches);          r->matched = expreval(e, r->matches);
 }  }
Legend:
Removed from v.1.7  
changed lines
  Added in v.1.16
CVSweb