[BACK]Return to mansearch.c CVS log [TXT][DIR] Up to [cvsweb.bsd.lv] / mandoc

Diff for /mandoc/mansearch.c between version 1.4 and 1.9

version 1.4, 2012/06/09 11:00:13 version 1.9, 2013/12/27 01:16:54
Line 1 
Line 1 
 /*      $Id$ */  /*      $Id$ */
 /*  /*
  * Copyright (c) 2012 Kristaps Dzonsons <kristaps@bsd.lv>   * Copyright (c) 2012 Kristaps Dzonsons <kristaps@bsd.lv>
    * Copyright (c) 2013 Ingo Schwarze <schwarze@openbsd.org>
  *   *
  * Permission to use, copy, modify, and distribute this software for any   * Permission to use, copy, modify, and distribute this software for any
  * purpose with or without fee is hereby granted, provided that the above   * purpose with or without fee is hereby granted, provided that the above
Line 18 
Line 19 
 #include "config.h"  #include "config.h"
 #endif  #endif
   
 #include <sys/param.h>  
   
 #include <assert.h>  #include <assert.h>
 #include <fcntl.h>  #include <fcntl.h>
 #include <getopt.h>  #include <getopt.h>
   #include <limits.h>
   #include <regex.h>
 #include <stdio.h>  #include <stdio.h>
 #include <stdint.h>  #include <stdint.h>
 #include <stddef.h>  #include <stddef.h>
Line 39 
Line 40 
   
 #include "mandoc.h"  #include "mandoc.h"
 #include "manpath.h"  #include "manpath.h"
 #include "mandocdb.h"  
 #include "mansearch.h"  #include "mansearch.h"
   
 #define SQL_BIND_TEXT(_db, _s, _i, _v) \  #define SQL_BIND_TEXT(_db, _s, _i, _v) \
         if (SQLITE_OK != sqlite3_bind_text \          do { if (SQLITE_OK != sqlite3_bind_text \
                 ((_s), (_i)++, (_v), -1, SQLITE_STATIC)) \                  ((_s), (_i)++, (_v), -1, SQLITE_STATIC)) \
                 fprintf(stderr, "%s\n", sqlite3_errmsg((_db)))                  fprintf(stderr, "%s\n", sqlite3_errmsg((_db))); \
           } while (0)
 #define SQL_BIND_INT64(_db, _s, _i, _v) \  #define SQL_BIND_INT64(_db, _s, _i, _v) \
         if (SQLITE_OK != sqlite3_bind_int64 \          do { if (SQLITE_OK != sqlite3_bind_int64 \
                 ((_s), (_i)++, (_v))) \                  ((_s), (_i)++, (_v))) \
                 fprintf(stderr, "%s\n", sqlite3_errmsg((_db)))                  fprintf(stderr, "%s\n", sqlite3_errmsg((_db))); \
           } while (0)
   #define SQL_BIND_BLOB(_db, _s, _i, _v) \
           do { if (SQLITE_OK != sqlite3_bind_blob \
                   ((_s), (_i)++, (&_v), sizeof(_v), SQLITE_STATIC)) \
                   fprintf(stderr, "%s\n", sqlite3_errmsg((_db))); \
           } while (0)
   
 struct  expr {  struct  expr {
         int              glob; /* is glob? */          uint64_t         bits;    /* type-mask */
         uint64_t         bits; /* type-mask */          const char      *substr;  /* to search for, if applicable */
         const char      *v; /* search value */          regex_t          regexp;  /* compiled regexp, if applicable */
         struct expr     *next; /* next in sequence */          struct expr     *next;    /* next in sequence */
 };  };
   
 struct  match {  struct  match {
Line 117  static const struct type types[] = {
Line 124  static const struct type types[] = {
 static  void            *hash_alloc(size_t, void *);  static  void            *hash_alloc(size_t, void *);
 static  void             hash_free(void *, size_t, void *);  static  void             hash_free(void *, size_t, void *);
 static  void            *hash_halloc(size_t, void *);  static  void            *hash_halloc(size_t, void *);
 static  struct expr     *exprcomp(int, char *[]);  static  struct expr     *exprcomp(const struct mansearch *,
                                   int, char *[]);
 static  void             exprfree(struct expr *);  static  void             exprfree(struct expr *);
 static  struct expr     *exprterm(char *);  static  struct expr     *exprterm(const struct mansearch *, char *, int);
   static  void             sql_match(sqlite3_context *context,
                                   int argc, sqlite3_value **argv);
   static  void             sql_regexp(sqlite3_context *context,
                                   int argc, sqlite3_value **argv);
 static  char            *sql_statement(const struct expr *,  static  char            *sql_statement(const struct expr *,
                                 const char *, const char *);                                  const char *, const char *);
   
 int  int
 mansearch(const struct manpaths *paths,  mansearch(const struct mansearch *search,
                 const char *arch, const char *sec,                  const struct manpaths *paths,
                 int argc, char *argv[],                  int argc, char *argv[],
                 struct manpage **res, size_t *sz)                  struct manpage **res, size_t *sz)
 {  {
         int              fd, rc, c;          int              fd, rc, c;
         int64_t          id;          int64_t          id;
         char             buf[MAXPATHLEN];          char             buf[PATH_MAX];
         char            *sql;          char            *sql;
         struct expr     *e, *ep;          struct expr     *e, *ep;
         sqlite3         *db;          sqlite3         *db;
Line 158  mansearch(const struct manpaths *paths, 
Line 170  mansearch(const struct manpaths *paths, 
   
         if (0 == argc)          if (0 == argc)
                 goto out;                  goto out;
         if (NULL == (e = exprcomp(argc, argv)))          if (NULL == (e = exprcomp(search, argc, argv)))
                 goto out;                  goto out;
   
         /*          /*
Line 168  mansearch(const struct manpaths *paths, 
Line 180  mansearch(const struct manpaths *paths, 
          * on our current directory from which to start the chdir().           * on our current directory from which to start the chdir().
          */           */
   
         if (NULL == getcwd(buf, MAXPATHLEN)) {          if (NULL == getcwd(buf, PATH_MAX)) {
                 perror(NULL);                  perror(NULL);
                 goto out;                  goto out;
         } else if (-1 == (fd = open(buf, O_RDONLY, 0))) {          } else if (-1 == (fd = open(buf, O_RDONLY, 0))) {
Line 176  mansearch(const struct manpaths *paths, 
Line 188  mansearch(const struct manpaths *paths, 
                 goto out;                  goto out;
         }          }
   
         sql = sql_statement(e, arch, sec);          sql = sql_statement(e, search->arch, search->sec);
   
         /*          /*
          * Loop over the directories (containing databases) for us to           * Loop over the directories (containing databases) for us to
Line 206  mansearch(const struct manpaths *paths, 
Line 218  mansearch(const struct manpaths *paths, 
                         continue;                          continue;
                 }                  }
   
                   /*
                    * Define the SQL functions for substring
                    * and regular expression matching.
                    */
   
                   c = sqlite3_create_function(db, "match", 2,
                       SQLITE_ANY, NULL, sql_match, NULL, NULL);
                   assert(SQLITE_OK == c);
                   c = sqlite3_create_function(db, "regexp", 2,
                       SQLITE_ANY, NULL, sql_regexp, NULL, NULL);
                   assert(SQLITE_OK == c);
   
                 j = 1;                  j = 1;
                 c = sqlite3_prepare_v2(db, sql, -1, &s, NULL);                  c = sqlite3_prepare_v2(db, sql, -1, &s, NULL);
                 if (SQLITE_OK != c)                  if (SQLITE_OK != c)
                         fprintf(stderr, "%s\n", sqlite3_errmsg(db));                          fprintf(stderr, "%s\n", sqlite3_errmsg(db));
   
                 if (NULL != arch)                  if (NULL != search->arch)
                         SQL_BIND_TEXT(db, s, j, arch);                          SQL_BIND_TEXT(db, s, j, search->arch);
                 if (NULL != sec)                  if (NULL != search->sec)
                         SQL_BIND_TEXT(db, s, j, arch);                          SQL_BIND_TEXT(db, s, j, search->sec);
   
                 for (ep = e; NULL != ep; ep = ep->next) {                  for (ep = e; NULL != ep; ep = ep->next) {
                         SQL_BIND_TEXT(db, s, j, ep->v);                          if (NULL == ep->substr) {
                                   SQL_BIND_BLOB(db, s, j, ep->regexp);
                           } else
                                   SQL_BIND_TEXT(db, s, j, ep->substr);
                         SQL_BIND_INT64(db, s, j, ep->bits);                          SQL_BIND_INT64(db, s, j, ep->bits);
                 }                  }
   
Line 266  mansearch(const struct manpaths *paths, 
Line 293  mansearch(const struct manpaths *paths, 
                                         (*res, maxres * sizeof(struct manpage));                                          (*res, maxres * sizeof(struct manpage));
                         }                          }
                         strlcpy((*res)[cur].file,                          strlcpy((*res)[cur].file,
                                 paths->paths[i], MAXPATHLEN);                                  paths->paths[i], PATH_MAX);
                         strlcat((*res)[cur].file, "/", MAXPATHLEN);                          strlcat((*res)[cur].file, "/", PATH_MAX);
                         strlcat((*res)[cur].file, mp->file, MAXPATHLEN);                          strlcat((*res)[cur].file, mp->file, PATH_MAX);
                         (*res)[cur].desc = mp->desc;                          (*res)[cur].desc = mp->desc;
                         (*res)[cur].form = mp->form;                          (*res)[cur].form = mp->form;
                         free(mp->file);                          free(mp->file);
Line 288  out:
Line 315  out:
 }  }
   
 /*  /*
    * Implement substring match as an application-defined SQL function.
    * Using the SQL LIKE or GLOB operators instead would be a bad idea
    * because that would require escaping metacharacters in the string
    * being searched for.
    */
   static void
   sql_match(sqlite3_context *context, int argc, sqlite3_value **argv)
   {
   
           assert(2 == argc);
           sqlite3_result_int(context, NULL != strcasestr(
               (const char *)sqlite3_value_text(argv[1]),
               (const char *)sqlite3_value_text(argv[0])));
   }
   
   /*
    * Implement regular expression match
    * as an application-defined SQL function.
    */
   static void
   sql_regexp(sqlite3_context *context, int argc, sqlite3_value **argv)
   {
   
           assert(2 == argc);
           sqlite3_result_int(context, !regexec(
               (regex_t *)sqlite3_value_blob(argv[0]),
               (const char *)sqlite3_value_text(argv[1]),
               0, NULL, 0));
   }
   
   /*
  * Prepare the search SQL statement.   * Prepare the search SQL statement.
  * We search for any of the words specified in our match expression.   * We search for any of the words specified in our match expression.
  * We filter the per-doc AND expressions when collecting results.   * We filter the per-doc AND expressions when collecting results.
Line 296  static char *
Line 354  static char *
 sql_statement(const struct expr *e, const char *arch, const char *sec)  sql_statement(const struct expr *e, const char *arch, const char *sec)
 {  {
         char            *sql;          char            *sql;
         const char      *glob = "(key GLOB ? AND bits & ?)";          const char      *substr = "(key MATCH ? AND bits & ?)";
         const char      *eq = "(key = ? AND bits & ?)";          const char      *regexp = "(key REGEXP ? AND bits & ?)";
         const char      *andarch = "arch = ? AND ";          const char      *andarch = "arch = ? AND ";
         const char      *andsec = "sec = ? AND ";          const char      *andsec = "sec = ? AND ";
         size_t           globsz;          size_t           substrsz;
         size_t           eqsz;          size_t           regexpsz;
         size_t           sz;          size_t           sz;
   
         sql = mandoc_strdup          sql = mandoc_strdup
                 ("SELECT docid,bits,key,file,desc,form,sec,arch "                  ("SELECT pageid,bits,key,file,desc,form,sec,arch "
                  "FROM keys "                   "FROM keys "
                  "INNER JOIN docs ON docs.id=keys.docid "                   "INNER JOIN mpages ON mpages.id=keys.pageid "
                  "WHERE ");                   "WHERE ");
         sz = strlen(sql);          sz = strlen(sql);
         globsz = strlen(glob);          substrsz = strlen(substr);
         eqsz = strlen(eq);          regexpsz = strlen(regexp);
   
         if (NULL != arch) {          if (NULL != arch) {
                 sz += strlen(andarch) + 1;                  sz += strlen(andarch) + 1;
Line 330  sql_statement(const struct expr *e, const char *arch, 
Line 388  sql_statement(const struct expr *e, const char *arch, 
         strlcat(sql, "(", sz);          strlcat(sql, "(", sz);
   
         for ( ; NULL != e; e = e->next) {          for ( ; NULL != e; e = e->next) {
                 sz += (e->glob ? globsz : eqsz) +                  sz += (NULL == e->substr ? regexpsz : substrsz) +
                         (NULL == e->next ? 3 : 5);                          (NULL == e->next ? 3 : 5);
                 sql = mandoc_realloc(sql, sz);                  sql = mandoc_realloc(sql, sz);
                 strlcat(sql, e->glob ? glob : eq, sz);                  strlcat(sql, NULL == e->substr ? regexp : substr, sz);
                 strlcat(sql, NULL == e->next ? ");" : " OR ", sz);                  strlcat(sql, NULL == e->next ? ");" : " OR ", sz);
         }          }
   
Line 346  sql_statement(const struct expr *e, const char *arch, 
Line 404  sql_statement(const struct expr *e, const char *arch, 
  * "(", "foo=bar", etc.).   * "(", "foo=bar", etc.).
  */   */
 static struct expr *  static struct expr *
 exprcomp(int argc, char *argv[])  exprcomp(const struct mansearch *search, int argc, char *argv[])
 {  {
         int              i;          int              i, cs;
         struct expr     *first, *next, *cur;          struct expr     *first, *next, *cur;
   
         first = cur = NULL;          first = cur = NULL;
   
         for (i = 0; i < argc; i++) {          for (i = 0; i < argc; i++) {
                 next = exprterm(argv[i]);                  if (0 == strcmp("-i", argv[i])) {
                           if (++i >= argc)
                                   return(NULL);
                           cs = 0;
                   } else
                           cs = 1;
                   next = exprterm(search, argv[i], cs);
                 if (NULL == next) {                  if (NULL == next) {
                         exprfree(first);                          exprfree(first);
                         return(NULL);                          return(NULL);
Line 370  exprcomp(int argc, char *argv[])
Line 434  exprcomp(int argc, char *argv[])
 }  }
   
 static struct expr *  static struct expr *
 exprterm(char *buf)  exprterm(const struct mansearch *search, char *buf, int cs)
 {  {
         struct expr     *e;          struct expr     *e;
         char            *key, *v;          char            *key, *v;
Line 381  exprterm(char *buf)
Line 445  exprterm(char *buf)
   
         e = mandoc_calloc(1, sizeof(struct expr));          e = mandoc_calloc(1, sizeof(struct expr));
   
           /*"whatis" mode uses an opaque string and default fields. */
   
           if (MANSEARCH_WHATIS & search->flags) {
                   e->substr = buf;
                   e->bits = search->deftype;
                   return(e);
           }
   
         /*          /*
          * If no =~ is specified, search with equality over names and           * If no =~ is specified, search with equality over names and
          * descriptions.           * descriptions.
Line 388  exprterm(char *buf)
Line 460  exprterm(char *buf)
          */           */
   
         if (NULL == (v = strpbrk(buf, "=~"))) {          if (NULL == (v = strpbrk(buf, "=~"))) {
                 e->v = buf;                  e->substr = buf;
                 e->bits = TYPE_Nm | TYPE_Nd;                  e->bits = search->deftype;
                 return(e);                  return(e);
         } else if (v == buf)          } else if (v == buf)
                 e->bits = TYPE_Nm | TYPE_Nd;                  e->bits = search->deftype;
   
         e->glob = '~' == *v;          if ('~' == *v++) {
         *v++ = '\0';                  if (regcomp(&e->regexp, v,
         e->v = v;                      REG_EXTENDED | REG_NOSUB | (cs ? 0 : REG_ICASE))) {
                           free(e);
                           return(NULL);
                   }
           } else
                   e->substr = v;
           v[-1] = '\0';
   
         /*          /*
          * Parse out all possible fields.           * Parse out all possible fields.
Legend:
Removed from v.1.4  
changed lines
  Added in v.1.9
CVSweb