[BACK]Return to mansearch.c CVS log [TXT][DIR] Up to [cvsweb.bsd.lv] / mandoc

Diff for /mandoc/mansearch.c between version 1.20 and 1.29

version 1.20, 2014/01/19 01:18:34 version 1.29, 2014/04/15 23:48:51
Line 19 
Line 19 
 #include "config.h"  #include "config.h"
 #endif  #endif
   
   #include <sys/mman.h>
 #include <assert.h>  #include <assert.h>
 #include <fcntl.h>  #include <fcntl.h>
 #include <getopt.h>  #include <getopt.h>
Line 39 
Line 40 
 #include <sqlite3.h>  #include <sqlite3.h>
   
 #include "mandoc.h"  #include "mandoc.h"
   #include "mandoc_aux.h"
 #include "manpath.h"  #include "manpath.h"
 #include "mansearch.h"  #include "mansearch.h"
   
Line 73  struct expr {
Line 75  struct expr {
   
 struct  match {  struct  match {
         uint64_t         id; /* identifier in database */          uint64_t         id; /* identifier in database */
           char            *desc; /* manual page description */
         int              form; /* 0 == catpage */          int              form; /* 0 == catpage */
 };  };
   
Line 99  static void   sql_regexp(sqlite3_context *context,
Line 102  static void   sql_regexp(sqlite3_context *context,
 static  char            *sql_statement(const struct expr *);  static  char            *sql_statement(const struct expr *);
   
 int  int
   mansearch_setup(int start)
   {
           static void     *pagecache;
           int              c;
   
   #define PC_PAGESIZE     1280
   #define PC_NUMPAGES     256
   
           if (start) {
                   if (NULL != pagecache) {
                           fprintf(stderr, "pagecache already enabled\n");
                           return((int)MANDOCLEVEL_BADARG);
                   }
   
                   pagecache = mmap(NULL, PC_PAGESIZE * PC_NUMPAGES,
                       PROT_READ | PROT_WRITE, MAP_ANON, -1, 0);
   
                   if (MAP_FAILED == pagecache) {
                           perror("mmap");
                           pagecache = NULL;
                           return((int)MANDOCLEVEL_SYSERR);
                   }
   
                   c = sqlite3_config(SQLITE_CONFIG_PAGECACHE,
                       pagecache, PC_PAGESIZE, PC_NUMPAGES);
   
                   if (SQLITE_OK == c)
                           return((int)MANDOCLEVEL_OK);
   
                   fprintf(stderr, "pagecache: %s\n", sqlite3_errstr(c));
   
           } else if (NULL == pagecache) {
                   fprintf(stderr, "pagecache missing\n");
                   return((int)MANDOCLEVEL_BADARG);
           }
   
           if (-1 == munmap(pagecache, PC_PAGESIZE * PC_NUMPAGES)) {
                   perror("munmap");
                   pagecache = NULL;
                   return((int)MANDOCLEVEL_SYSERR);
           }
   
           pagecache = NULL;
           return((int)MANDOCLEVEL_OK);
   }
   
   int
 mansearch(const struct mansearch *search,  mansearch(const struct mansearch *search,
                 const struct manpaths *paths,                  const struct manpaths *paths,
                 int argc, char *argv[],                  int argc, char *argv[],
Line 168  mansearch(const struct mansearch *search,
Line 218  mansearch(const struct mansearch *search,
         }          }
   
         sql = sql_statement(e);          sql = sql_statement(e);
           printf("%s\n", sql);
   
         /*          /*
          * Loop over the directories (containing databases) for us to           * Loop over the directories (containing databases) for us to
Line 219  mansearch(const struct mansearch *search,
Line 270  mansearch(const struct mansearch *search,
                                 SQL_BIND_BLOB(db, s, j, ep->regexp);                                  SQL_BIND_BLOB(db, s, j, ep->regexp);
                         } else                          } else
                                 SQL_BIND_TEXT(db, s, j, ep->substr);                                  SQL_BIND_TEXT(db, s, j, ep->substr);
                         SQL_BIND_INT64(db, s, j, ep->bits);                          if (0 == ((TYPE_Nd | TYPE_Nm) & ep->bits))
                                   SQL_BIND_INT64(db, s, j, ep->bits);
                 }                  }
   
                 memset(&htab, 0, sizeof(struct ohash));                  memset(&htab, 0, sizeof(struct ohash));
Line 234  mansearch(const struct mansearch *search,
Line 286  mansearch(const struct mansearch *search,
                  * distribution of buckets in the table.                   * distribution of buckets in the table.
                  */                   */
                 while (SQLITE_ROW == (c = sqlite3_step(s))) {                  while (SQLITE_ROW == (c = sqlite3_step(s))) {
                         id = sqlite3_column_int64(s, 1);                          id = sqlite3_column_int64(s, 2);
                         idx = ohash_lookup_memory                          idx = ohash_lookup_memory
                                 (&htab, (char *)&id,                                  (&htab, (char *)&id,
                                  sizeof(uint64_t), (uint32_t)id);                                   sizeof(uint64_t), (uint32_t)id);
   
                         if (NULL != ohash_find(&htab, idx))                          if (NULL != ohash_find(&htab, idx))
Line 244  mansearch(const struct mansearch *search,
Line 296  mansearch(const struct mansearch *search,
   
                         mp = mandoc_calloc(1, sizeof(struct match));                          mp = mandoc_calloc(1, sizeof(struct match));
                         mp->id = id;                          mp->id = id;
                         mp->form = sqlite3_column_int(s, 0);                          mp->form = sqlite3_column_int(s, 1);
                           if (TYPE_Nd == outbit)
                                   mp->desc = mandoc_strdup(
                                       sqlite3_column_text(s, 0));
                         ohash_insert(&htab, idx, mp);                          ohash_insert(&htab, idx, mp);
                 }                  }
   
Line 254  mansearch(const struct mansearch *search,
Line 309  mansearch(const struct mansearch *search,
                 sqlite3_finalize(s);                  sqlite3_finalize(s);
   
                 c = sqlite3_prepare_v2(db,                  c = sqlite3_prepare_v2(db,
                     "SELECT * FROM mlinks WHERE pageid=?",                      "SELECT * FROM mlinks WHERE pageid=?"
                       " ORDER BY sec, arch, name",
                     -1, &s, NULL);                      -1, &s, NULL);
                 if (SQLITE_OK != c)                  if (SQLITE_OK != c)
                         fprintf(stderr, "%s\n", sqlite3_errmsg(db));                          fprintf(stderr, "%s\n", sqlite3_errmsg(db));
Line 277  mansearch(const struct mansearch *search,
Line 333  mansearch(const struct mansearch *search,
                         mpage->form = mp->form;                          mpage->form = mp->form;
                         buildnames(mpage, db, s, mp->id,                          buildnames(mpage, db, s, mp->id,
                             paths->paths[i], mp->form);                              paths->paths[i], mp->form);
                         mpage->output = outbit ?                          mpage->output = TYPE_Nd & outbit ?
                               mp->desc : outbit ?
                             buildoutput(db, s2, mp->id, outbit) : NULL;                              buildoutput(db, s2, mp->id, outbit) : NULL;
   
                         free(mp);                          free(mp);
Line 303  static void
Line 360  static void
 buildnames(struct manpage *mpage, sqlite3 *db, sqlite3_stmt *s,  buildnames(struct manpage *mpage, sqlite3 *db, sqlite3_stmt *s,
                 uint64_t id, const char *path, int form)                  uint64_t id, const char *path, int form)
 {  {
         char            *newnames;          char            *newnames, *prevsec, *prevarch;
         const char      *oldnames, *sep1, *name, *sec, *sep2, *arch, *fsec;          const char      *oldnames, *sep1, *name, *sec, *sep2, *arch, *fsec;
         size_t           i;          size_t           i;
         int              c;          int              c;
   
           mpage->file = NULL;
         mpage->names = NULL;          mpage->names = NULL;
           prevsec = prevarch = NULL;
         i = 1;          i = 1;
         SQL_BIND_INT64(db, s, i, id);          SQL_BIND_INT64(db, s, i, id);
         while (SQLITE_ROW == (c = sqlite3_step(s))) {          while (SQLITE_ROW == (c = sqlite3_step(s))) {
   
                 /* Assemble the list of names. */                  /* Decide whether we already have some names. */
   
                 if (NULL == mpage->names) {                  if (NULL == mpage->names) {
                         oldnames = "";                          oldnames = "";
Line 322  buildnames(struct manpage *mpage, sqlite3 *db, sqlite3
Line 381  buildnames(struct manpage *mpage, sqlite3 *db, sqlite3
                         oldnames = mpage->names;                          oldnames = mpage->names;
                         sep1 = ", ";                          sep1 = ", ";
                 }                  }
   
                   /* Fetch the next name. */
   
                 sec = sqlite3_column_text(s, 0);                  sec = sqlite3_column_text(s, 0);
                 arch = sqlite3_column_text(s, 1);                  arch = sqlite3_column_text(s, 1);
                 name = sqlite3_column_text(s, 2);                  name = sqlite3_column_text(s, 2);
                 sep2 = '\0' == *arch ? "" : "/";  
                 if (-1 == asprintf(&newnames, "%s%s%s(%s%s%s)",                  /* If the section changed, append the old one. */
                     oldnames, sep1, name, sec, sep2, arch)) {  
                         perror(0);                  if (NULL != prevsec &&
                         exit((int)MANDOCLEVEL_SYSERR);                      (strcmp(sec, prevsec) ||
                        strcmp(arch, prevarch))) {
                           sep2 = '\0' == *prevarch ? "" : "/";
                           mandoc_asprintf(&newnames, "%s(%s%s%s)",
                               oldnames, prevsec, sep2, prevarch);
                           free(mpage->names);
                           oldnames = mpage->names = newnames;
                           free(prevsec);
                           free(prevarch);
                           prevsec = prevarch = NULL;
                 }                  }
   
                   /* Save the new section, to append it later. */
   
                   if (NULL == prevsec) {
                           prevsec = mandoc_strdup(sec);
                           prevarch = mandoc_strdup(arch);
                   }
   
                   /* Append the new name. */
   
                   mandoc_asprintf(&newnames, "%s%s%s",
                       oldnames, sep1, name);
                 free(mpage->names);                  free(mpage->names);
                 mpage->names = newnames;                  mpage->names = newnames;
   
Line 346  buildnames(struct manpage *mpage, sqlite3 *db, sqlite3
Line 429  buildnames(struct manpage *mpage, sqlite3 *db, sqlite3
                         sep1 = "cat";                          sep1 = "cat";
                         fsec = "0";                          fsec = "0";
                 }                  }
                 if (-1 == asprintf(&mpage->file, "%s/%s%s%s%s/%s.%s",                  sep2 = '\0' == *arch ? "" : "/";
                     path, sep1, sec, sep2, arch, name, fsec)) {                  mandoc_asprintf(&mpage->file, "%s/%s%s%s%s/%s.%s",
                         perror(0);                      path, sep1, sec, sep2, arch, name, fsec);
                         exit((int)MANDOCLEVEL_SYSERR);  
                 }  
         }          }
         if (SQLITE_DONE != c)          if (SQLITE_DONE != c)
                 fprintf(stderr, "%s\n", sqlite3_errmsg(db));                  fprintf(stderr, "%s\n", sqlite3_errmsg(db));
         sqlite3_reset(s);          sqlite3_reset(s);
   
           /* Append one final section to the names. */
   
           if (NULL != prevsec) {
                   sep2 = '\0' == *prevarch ? "" : "/";
                   mandoc_asprintf(&newnames, "%s(%s%s%s)",
                       mpage->names, prevsec, sep2, prevarch);
                   free(mpage->names);
                   mpage->names = newnames;
                   free(prevsec);
                   free(prevarch);
           }
 }  }
   
 static char *  static char *
Line 378  buildoutput(sqlite3 *db, sqlite3_stmt *s, uint64_t id,
Line 471  buildoutput(sqlite3 *db, sqlite3_stmt *s, uint64_t id,
                         sep1 = " # ";                          sep1 = " # ";
                 }                  }
                 data = sqlite3_column_text(s, 1);                  data = sqlite3_column_text(s, 1);
                 if (-1 == asprintf(&newoutput, "%s%s%s",                  mandoc_asprintf(&newoutput, "%s%s%s",
                     oldoutput, sep1, data)) {                      oldoutput, sep1, data);
                         perror(0);  
                         exit((int)MANDOCLEVEL_SYSERR);  
                 }  
                 free(output);                  free(output);
                 output = newoutput;                  output = newoutput;
         }          }
Line 458  sql_statement(const struct expr *e)
Line 548  sql_statement(const struct expr *e)
                         sql_append(&sql, &sz, " OR ", 1);                          sql_append(&sql, &sz, " OR ", 1);
                 if (e->open)                  if (e->open)
                         sql_append(&sql, &sz, "(", e->open);                          sql_append(&sql, &sz, "(", e->open);
                 sql_append(&sql, &sz, NULL == e->substr ?                  sql_append(&sql, &sz,
                     "id IN (SELECT pageid FROM keys "                      TYPE_Nd & e->bits
                     "WHERE key REGEXP ? AND bits & ?)" :                      ? (NULL == e->substr
                     "id IN (SELECT pageid FROM keys "                          ? "desc REGEXP ?"
                     "WHERE key MATCH ? AND bits & ?)", 1);                          : "desc MATCH ?")
                       : TYPE_Nm == e->bits
                       ? (NULL == e->substr
                           ? "id IN (SELECT pageid FROM names "
                             "WHERE name REGEXP ?)"
                           : "id IN (SELECT pageid FROM names "
                             "WHERE name MATCH ?)")
                       : (NULL == e->substr
                           ? "id IN (SELECT pageid FROM keys "
                             "WHERE key REGEXP ? AND bits & ?)"
                           : "id IN (SELECT pageid FROM keys "
                             "WHERE key MATCH ? AND bits & ?)"), 1);
                 if (e->close)                  if (e->close)
                         sql_append(&sql, &sz, ")", e->close);                          sql_append(&sql, &sz, ")", e->close);
                 needop = 1;                  needop = 1;
Line 479  sql_statement(const struct expr *e)
Line 580  sql_statement(const struct expr *e)
 static struct expr *  static struct expr *
 exprcomp(const struct mansearch *search, int argc, char *argv[])  exprcomp(const struct mansearch *search, int argc, char *argv[])
 {  {
           uint64_t         mask;
         int              i, toopen, logic, igncase, toclose;          int              i, toopen, logic, igncase, toclose;
         struct expr     *first, *next, *cur;          struct expr     *first, *prev, *cur, *next;
   
         first = cur = NULL;          first = cur = NULL;
         logic = igncase = toclose = 0;          logic = igncase = toclose = 0;
Line 519  exprcomp(const struct mansearch *search, int argc, cha
Line 621  exprcomp(const struct mansearch *search, int argc, cha
                 next = exprterm(search, argv[i], !igncase);                  next = exprterm(search, argv[i], !igncase);
                 if (NULL == next)                  if (NULL == next)
                         goto fail;                          goto fail;
                 next->open = toopen;                  if (NULL == first)
                 next->and = (1 == logic);                          first = next;
                 if (NULL != first) {                  else
                         cur->next = next;                          cur->next = next;
                         cur = next;                  prev = cur = next;
                 } else  
                         cur = first = next;                  /*
                    * Searching for descriptions must be split out
                    * because they are stored in the mpages table,
                    * not in the keys table.
                    */
   
                   for (mask = TYPE_Nm; mask <= TYPE_Nd; mask <<= 1) {
                           if (mask & cur->bits && ~mask & cur->bits) {
                                   next = mandoc_calloc(1,
                                       sizeof(struct expr));
                                   memcpy(next, cur, sizeof(struct expr));
                                   prev->open = 1;
                                   cur->bits = mask;
                                   cur->next = next;
                                   cur = next;
                                   cur->bits &= ~mask;
                           }
                   }
                   prev->and = (1 == logic);
                   prev->open += toopen;
                   if (cur != prev)
                           cur->close = 1;
   
                 toopen = logic = igncase = 0;                  toopen = logic = igncase = 0;
         }          }
         if (toopen || logic || igncase || toclose)          if (toopen || logic || igncase || toclose)
Line 554  exprspec(struct expr *cur, uint64_t key, const char *v
Line 678  exprspec(struct expr *cur, uint64_t key, const char *v
         if (NULL == value)          if (NULL == value)
                 return(cur);                  return(cur);
   
         if (-1 == asprintf(&cp, format, value)) {          mandoc_asprintf(&cp, format, value);
                 perror(0);  
                 exit((int)MANDOCLEVEL_SYSERR);  
         }  
         cur->next = mandoc_calloc(1, sizeof(struct expr));          cur->next = mandoc_calloc(1, sizeof(struct expr));
         cur = cur->next;          cur = cur->next;
         cur->and = 1;          cur->and = 1;
Line 608  exprterm(const struct mansearch *search, char *buf, in
Line 729  exprterm(const struct mansearch *search, char *buf, in
                 e->bits = search->deftype;                  e->bits = search->deftype;
   
         if ('~' == *v++) {          if ('~' == *v++) {
                   if (NULL != strstr(buf, "arch"))
                           cs = 0;
                 if (0 != (irc = regcomp(&e->regexp, v,                  if (0 != (irc = regcomp(&e->regexp, v,
                     REG_EXTENDED | REG_NOSUB | (cs ? 0 : REG_ICASE)))) {                      REG_EXTENDED | REG_NOSUB | (cs ? 0 : REG_ICASE)))) {
                         regerror(irc, &e->regexp, errbuf, sizeof(errbuf));                          regerror(irc, &e->regexp, errbuf, sizeof(errbuf));
Legend:
Removed from v.1.20  
changed lines
  Added in v.1.29
CVSweb