[BACK]Return to mandocdb.c CVS log [TXT][DIR] Up to [cvsweb.bsd.lv] / mandoc

Diff for /mandoc/mandocdb.c between version 1.220 and 1.221

version 1.220, 2016/07/19 13:36:13 version 1.221, 2016/07/19 21:31:55
Line 37 
Line 37 
 #if HAVE_SANDBOX_INIT  #if HAVE_SANDBOX_INIT
 #include <sandbox.h>  #include <sandbox.h>
 #endif  #endif
   #include <stdarg.h>
 #include <stddef.h>  #include <stddef.h>
 #include <stdio.h>  #include <stdio.h>
 #include <stdint.h>  #include <stdint.h>
Line 44 
Line 45 
 #include <string.h>  #include <string.h>
 #include <unistd.h>  #include <unistd.h>
   
 #include <sqlite3.h>  
   
 #include "mandoc_aux.h"  #include "mandoc_aux.h"
 #include "mandoc_ohash.h"  #include "mandoc_ohash.h"
 #include "mandoc.h"  #include "mandoc.h"
Line 54 
Line 53 
 #include "man.h"  #include "man.h"
 #include "manconf.h"  #include "manconf.h"
 #include "mansearch.h"  #include "mansearch.h"
   #include "dba_array.h"
   #include "dba.h"
   
 extern int mansearch_keymax;  
 extern const char *const mansearch_keynames[];  extern const char *const mansearch_keynames[];
   
 #define SQL_EXEC(_v) \  
         if (SQLITE_OK != sqlite3_exec(db, (_v), NULL, NULL, NULL)) \  
                 say("", "%s: %s", (_v), sqlite3_errmsg(db))  
 #define SQL_BIND_TEXT(_s, _i, _v) \  
         if (SQLITE_OK != sqlite3_bind_text \  
                 ((_s), (_i)++, (_v), -1, SQLITE_STATIC)) \  
                 say(mlink->file, "%s", sqlite3_errmsg(db))  
 #define SQL_BIND_INT(_s, _i, _v) \  
         if (SQLITE_OK != sqlite3_bind_int \  
                 ((_s), (_i)++, (_v))) \  
                 say(mlink->file, "%s", sqlite3_errmsg(db))  
 #define SQL_BIND_INT64(_s, _i, _v) \  
         if (SQLITE_OK != sqlite3_bind_int64 \  
                 ((_s), (_i)++, (_v))) \  
                 say(mlink->file, "%s", sqlite3_errmsg(db))  
 #define SQL_STEP(_s) \  
         if (SQLITE_DONE != sqlite3_step((_s))) \  
                 say(mlink->file, "%s", sqlite3_errmsg(db))  
   
 enum    op {  enum    op {
         OP_DEFAULT = 0, /* new dbs from dir list or default config */          OP_DEFAULT = 0, /* new dbs from dir list or default config */
         OP_CONFFILE, /* new databases from custom config file */          OP_CONFFILE, /* new databases from custom config file */
Line 98  struct inodev {
Line 79  struct inodev {
   
 struct  mpage {  struct  mpage {
         struct inodev    inodev;  /* used for hashing routine */          struct inodev    inodev;  /* used for hashing routine */
         int64_t          pageid;  /* pageid in mpages SQL table */          struct dba_array *dba;
         char            *sec;     /* section from file content */          char            *sec;     /* section from file content */
         char            *arch;    /* architecture from file content */          char            *arch;    /* architecture from file content */
         char            *title;   /* title from file content */          char            *title;   /* title from file content */
         char            *desc;    /* description from file content */          char            *desc;    /* description from file content */
         struct mlink    *mlinks;  /* singly linked list */          struct mlink    *mlinks;  /* singly linked list */
         int              form;    /* format from file content */  
         int              name_head_done;          int              name_head_done;
           enum form        form;    /* format from file content */
 };  };
   
 struct  mlink {  struct  mlink {
Line 116  struct mlink {
Line 97  struct mlink {
         char            *fsec;    /* section from file name suffix */          char            *fsec;    /* section from file name suffix */
         struct mlink    *next;    /* singly linked list */          struct mlink    *next;    /* singly linked list */
         struct mpage    *mpage;   /* parent */          struct mpage    *mpage;   /* parent */
         int              dform;   /* format from directory */  
         int              fform;   /* format from file name suffix */  
         int              gzip;    /* filename has a .gz suffix */          int              gzip;    /* filename has a .gz suffix */
           enum form        dform;   /* format from directory */
           enum form        fform;   /* format from file name suffix */
 };  };
   
 enum    stmt {  
         STMT_DELETE_PAGE = 0,   /* delete mpage */  
         STMT_INSERT_PAGE,       /* insert mpage */  
         STMT_INSERT_LINK,       /* insert mlink */  
         STMT_INSERT_NAME,       /* insert name */  
         STMT_SELECT_NAME,       /* retrieve existing name flags */  
         STMT_INSERT_KEY,        /* insert parsed key */  
         STMT__MAX  
 };  
   
 typedef int (*mdoc_fp)(struct mpage *, const struct roff_meta *,  typedef int (*mdoc_fp)(struct mpage *, const struct roff_meta *,
                         const struct roff_node *);                          const struct roff_node *);
   
Line 142  struct mdoc_handler {
Line 113  struct mdoc_handler {
   
 int              mandocdb(int, char *[]);  int              mandocdb(int, char *[]);
   
 static  void     dbclose(int);  static  void     dbadd(struct dba *, struct mpage *);
 static  void     dbadd(struct mpage *);  
 static  void     dbadd_mlink(const struct mlink *mlink);  static  void     dbadd_mlink(const struct mlink *mlink);
 static  void     dbadd_mlink_name(const struct mlink *mlink);  static  void     dbprune(struct dba *);
 static  int      dbopen(int);  static  void     dbwrite(struct dba *);
 static  void     dbprune(void);  
 static  void     filescan(const char *);  static  void     filescan(const char *);
 static  void     mlink_add(struct mlink *, const struct stat *);  static  void     mlink_add(struct mlink *, const struct stat *);
 static  void     mlink_check(struct mpage *, struct mlink *);  static  void     mlink_check(struct mpage *, struct mlink *);
 static  void     mlink_free(struct mlink *);  static  void     mlink_free(struct mlink *);
 static  void     mlinks_undupe(struct mpage *);  static  void     mlinks_undupe(struct mpage *);
 static  void     mpages_free(void);  static  void     mpages_free(void);
 static  void     mpages_merge(struct mparse *);  static  void     mpages_merge(struct dba *, struct mparse *);
 static  void     names_check(void);  
 static  void     parse_cat(struct mpage *, int);  static  void     parse_cat(struct mpage *, int);
 static  void     parse_man(struct mpage *, const struct roff_meta *,  static  void     parse_man(struct mpage *, const struct roff_meta *,
                         const struct roff_node *);                          const struct roff_node *);
Line 191  static int  set_basedir(const char *, int);
Line 159  static int  set_basedir(const char *, int);
 static  int      treescan(void);  static  int      treescan(void);
 static  size_t   utf8(unsigned int, char [7]);  static  size_t   utf8(unsigned int, char [7]);
   
 static  char             tempfilename[32];  
 static  int              nodb; /* no database changes */  static  int              nodb; /* no database changes */
 static  int              mparse_options; /* abort the parse early */  static  int              mparse_options; /* abort the parse early */
 static  int              use_all; /* use all found files */  static  int              use_all; /* use all found files */
Line 205  static struct ohash  mpages; /* table of distinct manu
Line 172  static struct ohash  mpages; /* table of distinct manu
 static  struct ohash     mlinks; /* table of directory entries */  static  struct ohash     mlinks; /* table of directory entries */
 static  struct ohash     names; /* table of all names */  static  struct ohash     names; /* table of all names */
 static  struct ohash     strings; /* table of all strings */  static  struct ohash     strings; /* table of all strings */
 static  sqlite3         *db = NULL; /* current database */  
 static  sqlite3_stmt    *stmts[STMT__MAX]; /* current statements */  
 static  uint64_t         name_mask;  static  uint64_t         name_mask;
   
 static  const struct mdoc_handler mdocs[MDOC_MAX] = {  static  const struct mdoc_handler mdocs[MDOC_MAX] = {
Line 341  mandocdb(int argc, char *argv[])
Line 306  mandocdb(int argc, char *argv[])
 {  {
         struct manconf    conf;          struct manconf    conf;
         struct mparse    *mp;          struct mparse    *mp;
           struct dba       *dba;
         const char       *path_arg, *progname;          const char       *path_arg, *progname;
         size_t            j, sz;          size_t            j, sz;
         int               ch, i;          int               ch, i;
Line 360  mandocdb(int argc, char *argv[])
Line 326  mandocdb(int argc, char *argv[])
 #endif  #endif
   
         memset(&conf, 0, sizeof(conf));          memset(&conf, 0, sizeof(conf));
         memset(stmts, 0, STMT__MAX * sizeof(sqlite3_stmt *));  
   
         /*          /*
          * We accept a few different invocations.           * We accept a few different invocations.
Line 461  mandocdb(int argc, char *argv[])
Line 426  mandocdb(int argc, char *argv[])
                 if (OP_TEST != op && 0 == set_basedir(path_arg, 1))                  if (OP_TEST != op && 0 == set_basedir(path_arg, 1))
                         goto out;                          goto out;
   
                 if (dbopen(1)) {                  if ((dba = dba_read(MANDOC_DB)) != NULL) {
                         /*                          /*
                          * The existing database is usable.  Process                           * The existing database is usable.  Process
                          * all files specified on the command-line.                           * all files specified on the command-line.
Line 479  mandocdb(int argc, char *argv[])
Line 444  mandocdb(int argc, char *argv[])
                         for (i = 0; i < argc; i++)                          for (i = 0; i < argc; i++)
                                 filescan(argv[i]);                                  filescan(argv[i]);
                         if (OP_TEST != op)                          if (OP_TEST != op)
                                 dbprune();                                  dbprune(dba);
                 } else {                  } else {
                         /*                          /*
                          * Database missing or corrupt.                           * Database missing or corrupt.
Line 489  mandocdb(int argc, char *argv[])
Line 454  mandocdb(int argc, char *argv[])
                         op = OP_DEFAULT;                          op = OP_DEFAULT;
                         if (0 == treescan())                          if (0 == treescan())
                                 goto out;                                  goto out;
                         if (0 == dbopen(0))                          dba = dba_new(128);
                                 goto out;  
                 }                  }
                 if (OP_DELETE != op)                  if (OP_DELETE != op)
                         mpages_merge(mp);                          mpages_merge(dba, mp);
                 dbclose(OP_DEFAULT == op ? 0 : 1);                  if (nodb == 0)
                           dbwrite(dba);
                   dba_free(dba);
         } else {          } else {
                 /*                  /*
                  * If we have arguments, use them as our manpaths.                   * If we have arguments, use them as our manpaths.
Line 539  mandocdb(int argc, char *argv[])
Line 505  mandocdb(int argc, char *argv[])
                                 continue;                                  continue;
                         if (0 == treescan())                          if (0 == treescan())
                                 continue;                                  continue;
                         if (0 == dbopen(0))                          dba = dba_new(128);
                                 continue;                          mpages_merge(dba, mp);
                           if (nodb == 0)
                                   dbwrite(dba);
                           dba_free(dba);
   
                         mpages_merge(mp);  
                         if (warnings && !nodb &&  
                             ! (MPARSE_QUICK & mparse_options))  
                                 names_check();  
                         dbclose(0);  
   
                         if (j + 1 < conf.manpath.sz) {                          if (j + 1 < conf.manpath.sz) {
                                 mpages_free();                                  mpages_free();
                                 ohash_delete(&mpages);                                  ohash_delete(&mpages);
Line 596  treescan(void)
Line 559  treescan(void)
         FTS             *f;          FTS             *f;
         FTSENT          *ff;          FTSENT          *ff;
         struct mlink    *mlink;          struct mlink    *mlink;
         int              dform, gzip;          int              gzip;
           enum form        dform;
         char            *dsec, *arch, *fsec, *cp;          char            *dsec, *arch, *fsec, *cp;
         const char      *path;          const char      *path;
         const char      *argv[2];          const char      *argv[2];
Line 970  mlink_add(struct mlink *mlink, const struct stat *st)
Line 934  mlink_add(struct mlink *mlink, const struct stat *st)
                 mpage = mandoc_calloc(1, sizeof(struct mpage));                  mpage = mandoc_calloc(1, sizeof(struct mpage));
                 mpage->inodev.st_ino = inodev.st_ino;                  mpage->inodev.st_ino = inodev.st_ino;
                 mpage->inodev.st_dev = inodev.st_dev;                  mpage->inodev.st_dev = inodev.st_dev;
                   mpage->form = FORM_NONE;
                 ohash_insert(&mpages, slot, mpage);                  ohash_insert(&mpages, slot, mpage);
         } else          } else
                 mlink->next = mpage->mlinks;                  mlink->next = mpage->mlinks;
Line 1118  mlink_check(struct mpage *mpage, struct mlink *mlink)
Line 1083  mlink_check(struct mpage *mpage, struct mlink *mlink)
  * and filename to determine whether the file is parsable or not.   * and filename to determine whether the file is parsable or not.
  */   */
 static void  static void
 mpages_merge(struct mparse *mp)  mpages_merge(struct dba *dba, struct mparse *mp)
 {  {
         char                     any[] = "any";          char                     any[] = "any";
         struct mpage            *mpage, *mpage_dest;          struct mpage            *mpage, *mpage_dest;
Line 1129  mpages_merge(struct mparse *mp)
Line 1094  mpages_merge(struct mparse *mp)
         int                      fd;          int                      fd;
         unsigned int             pslot;          unsigned int             pslot;
   
         if ( ! nodb)  
                 SQL_EXEC("BEGIN TRANSACTION");  
   
         mpage = ohash_first(&mpages, &pslot);          mpage = ohash_first(&mpages, &pslot);
         while (mpage != NULL) {          while (mpage != NULL) {
                 mlinks_undupe(mpage);                  mlinks_undupe(mpage);
Line 1188  mpages_merge(struct mparse *mp)
Line 1150  mpages_merge(struct mparse *mp)
                                          * to the target.                                           * to the target.
                                          */                                           */
   
                                         if (mpage_dest->pageid)                                          if (mpage_dest->dba != NULL)
                                                 dbadd_mlink_name(mlink);                                                  dbadd_mlink(mlink);
   
                                         if (mlink->next == NULL)                                          if (mlink->next == NULL)
                                                 break;                                                  break;
Line 1254  mpages_merge(struct mparse *mp)
Line 1216  mpages_merge(struct mparse *mp)
                              mlink = mlink->next)                               mlink = mlink->next)
                                 mlink_check(mpage, mlink);                                  mlink_check(mpage, mlink);
   
                 dbadd(mpage);                  dbadd(dba, mpage);
                 mlink = mpage->mlinks;                  mlink = mpage->mlinks;
   
 nextpage:  nextpage:
Line 1262  nextpage:
Line 1224  nextpage:
                 ohash_delete(&names);                  ohash_delete(&names);
                 mpage = ohash_next(&mpages, &pslot);                  mpage = ohash_next(&mpages, &pslot);
         }          }
   
         if (0 == nodb)  
                 SQL_EXEC("END TRANSACTION");  
 }  }
   
 static void  static void
 names_check(void)  
 {  
         sqlite3_stmt    *stmt;  
         const char      *name, *sec, *arch, *key;  
   
         sqlite3_prepare_v2(db,  
           "SELECT name, sec, arch, key FROM ("  
             "SELECT name AS key, pageid FROM names "  
             "WHERE bits & ? AND NOT EXISTS ("  
               "SELECT pageid FROM mlinks "  
               "WHERE mlinks.pageid == names.pageid "  
               "AND mlinks.name == names.name"  
             ")"  
           ") JOIN ("  
             "SELECT sec, arch, name, pageid FROM mlinks "  
             "GROUP BY pageid"  
           ") USING (pageid);",  
           -1, &stmt, NULL);  
   
         if (sqlite3_bind_int64(stmt, 1, NAME_TITLE) != SQLITE_OK)  
                 say("", "%s", sqlite3_errmsg(db));  
   
         while (sqlite3_step(stmt) == SQLITE_ROW) {  
                 name = (const char *)sqlite3_column_text(stmt, 0);  
                 sec  = (const char *)sqlite3_column_text(stmt, 1);  
                 arch = (const char *)sqlite3_column_text(stmt, 2);  
                 key  = (const char *)sqlite3_column_text(stmt, 3);  
                 say("", "%s(%s%s%s) lacks mlink \"%s\"", name, sec,  
                     '\0' == *arch ? "" : "/",  
                     '\0' == *arch ? "" : arch, key);  
         }  
         sqlite3_finalize(stmt);  
 }  
   
 static void  
 parse_cat(struct mpage *mpage, int fd)  parse_cat(struct mpage *mpage, int fd)
 {  {
         FILE            *stream;          FILE            *stream;
Line 1823  putkeys(const struct mpage *mpage, char *cp, size_t sz
Line 1747  putkeys(const struct mpage *mpage, char *cp, size_t sz
         } else {          } else {
                 htab = &strings;                  htab = &strings;
                 if (debug > 1)                  if (debug > 1)
                     for (i = 0; i < mansearch_keymax; i++)                      for (i = 0; i < KEY_MAX; i++)
                         if ((uint64_t)1 << i & v)                          if ((uint64_t)1 << i & v)
                             say(mpage->mlinks->file,                              say(mpage->mlinks->file,
                                 "Adding key %s=%*s",                                  "Adding key %s=%*s",
Line 2029  render_string(char **public, size_t *psz)
Line 1953  render_string(char **public, size_t *psz)
 static void  static void
 dbadd_mlink(const struct mlink *mlink)  dbadd_mlink(const struct mlink *mlink)
 {  {
         size_t           i;          dba_page_alias(mlink->mpage->dba, mlink->name, NAME_FILE);
           dba_page_add(mlink->mpage->dba, DBP_SECT, mlink->dsec);
         i = 1;          dba_page_add(mlink->mpage->dba, DBP_ARCH, mlink->arch);
         SQL_BIND_TEXT(stmts[STMT_INSERT_LINK], i, mlink->dsec);          dba_page_add(mlink->mpage->dba, DBP_FILE, mlink->file);
         SQL_BIND_TEXT(stmts[STMT_INSERT_LINK], i, mlink->arch);  
         SQL_BIND_TEXT(stmts[STMT_INSERT_LINK], i, mlink->name);  
         SQL_BIND_INT64(stmts[STMT_INSERT_LINK], i, mlink->mpage->pageid);  
         SQL_STEP(stmts[STMT_INSERT_LINK]);  
         sqlite3_reset(stmts[STMT_INSERT_LINK]);  
 }  }
   
 static void  
 dbadd_mlink_name(const struct mlink *mlink)  
 {  
         uint64_t         bits;  
         size_t           i;  
   
         dbadd_mlink(mlink);  
   
         i = 1;  
         SQL_BIND_INT64(stmts[STMT_SELECT_NAME], i, mlink->mpage->pageid);  
         bits = NAME_FILE & NAME_MASK;  
         if (sqlite3_step(stmts[STMT_SELECT_NAME]) == SQLITE_ROW) {  
                 bits |= sqlite3_column_int64(stmts[STMT_SELECT_NAME], 0);  
                 sqlite3_reset(stmts[STMT_SELECT_NAME]);  
         }  
   
         i = 1;  
         SQL_BIND_INT64(stmts[STMT_INSERT_NAME], i, bits);  
         SQL_BIND_TEXT(stmts[STMT_INSERT_NAME], i, mlink->name);  
         SQL_BIND_INT64(stmts[STMT_INSERT_NAME], i, mlink->mpage->pageid);  
         SQL_STEP(stmts[STMT_INSERT_NAME]);  
         sqlite3_reset(stmts[STMT_INSERT_NAME]);  
 }  
   
 /*  /*
  * Flush the current page's terms (and their bits) into the database.   * Flush the current page's terms (and their bits) into the database.
  * Wrap the entire set of additions in a transaction to make sqlite be a  
  * little faster.  
  * Also, handle escape sequences at the last possible moment.   * Also, handle escape sequences at the last possible moment.
  */   */
 static void  static void
 dbadd(struct mpage *mpage)  dbadd(struct dba *dba, struct mpage *mpage)
 {  {
         struct mlink    *mlink;          struct mlink    *mlink;
         struct str      *key;          struct str      *key;
         char            *cp;          char            *cp;
           uint64_t         mask;
         size_t           i;          size_t           i;
         unsigned int     slot;          unsigned int     slot;
         int              mustfree;          int              mustfree;
Line 2120  dbadd(struct mpage *mpage)
Line 2014  dbadd(struct mpage *mpage)
         cp = mpage->desc;          cp = mpage->desc;
         i = strlen(cp);          i = strlen(cp);
         mustfree = render_string(&cp, &i);          mustfree = render_string(&cp, &i);
         i = 1;          mpage->dba = dba_page_new(dba->pages, mlink->name,
         SQL_BIND_TEXT(stmts[STMT_INSERT_PAGE], i, cp);              mlink->dsec, mlink->arch, cp, mlink->file, mpage->form);
         SQL_BIND_INT(stmts[STMT_INSERT_PAGE], i, mpage->form);  
         SQL_STEP(stmts[STMT_INSERT_PAGE]);  
         mpage->pageid = sqlite3_last_insert_rowid(db);  
         sqlite3_reset(stmts[STMT_INSERT_PAGE]);  
         if (mustfree)          if (mustfree)
                 free(cp);                  free(cp);
   
         while (NULL != mlink) {          while ((mlink = mlink->next) != NULL)
                 dbadd_mlink(mlink);                  dbadd_mlink(mlink);
                 mlink = mlink->next;  
         }  
         mlink = mpage->mlinks;  
   
         for (key = ohash_first(&names, &slot); NULL != key;          for (key = ohash_first(&names, &slot); NULL != key;
              key = ohash_next(&names, &slot)) {               key = ohash_next(&names, &slot)) {
                 assert(key->mpage == mpage);                  assert(key->mpage == mpage);
                 i = 1;                  dba_page_alias(mpage->dba, key->key, key->mask);
                 SQL_BIND_INT64(stmts[STMT_INSERT_NAME], i, key->mask);  
                 SQL_BIND_TEXT(stmts[STMT_INSERT_NAME], i, key->key);  
                 SQL_BIND_INT64(stmts[STMT_INSERT_NAME], i, mpage->pageid);  
                 SQL_STEP(stmts[STMT_INSERT_NAME]);  
                 sqlite3_reset(stmts[STMT_INSERT_NAME]);  
                 free(key);                  free(key);
         }          }
         for (key = ohash_first(&strings, &slot); NULL != key;          for (key = ohash_first(&strings, &slot); NULL != key;
              key = ohash_next(&strings, &slot)) {               key = ohash_next(&strings, &slot)) {
                 assert(key->mpage == mpage);                  assert(key->mpage == mpage);
                 i = 1;                  i = 0;
                 SQL_BIND_INT64(stmts[STMT_INSERT_KEY], i, key->mask);                  for (mask = TYPE_Xr; mask <= TYPE_Lb; mask *= 2) {
                 SQL_BIND_TEXT(stmts[STMT_INSERT_KEY], i, key->key);                          if (key->mask & mask)
                 SQL_BIND_INT64(stmts[STMT_INSERT_KEY], i, mpage->pageid);                                  dba_macro_add(dba->macros, i,
                 SQL_STEP(stmts[STMT_INSERT_KEY]);                                      key->key, mpage->dba);
                 sqlite3_reset(stmts[STMT_INSERT_KEY]);                          i++;
                   }
                 free(key);                  free(key);
         }          }
 }  }
   
 static void  static void
 dbprune(void)  dbprune(struct dba *dba)
 {  {
         struct mpage    *mpage;          struct dba_array        *page, *files;
         struct mlink    *mlink;          char                    *file;
         size_t           i;  
         unsigned int     slot;  
   
         if (0 == nodb)          dba_array_FOREACH(dba->pages, page) {
                 SQL_EXEC("BEGIN TRANSACTION");                  files = dba_array_get(page, DBP_FILE);
                   dba_array_FOREACH(files, file) {
         for (mpage = ohash_first(&mpages, &slot); NULL != mpage;                          if (*file < ' ')
              mpage = ohash_next(&mpages, &slot)) {                                  file++;
                 mlink = mpage->mlinks;                          if (ohash_find(&mlinks, ohash_qlookup(&mlinks,
                 if (debug)                              file)) != NULL) {
                         say(mlink->file, "Deleting from database");                                  if (debug)
                 if (nodb)                                          say(file, "Deleting from database");
                         continue;                                  dba_array_del(dba->pages);
                 for ( ; NULL != mlink; mlink = mlink->next) {                                  break;
                         i = 1;                          }
                         SQL_BIND_TEXT(stmts[STMT_DELETE_PAGE],  
                             i, mlink->dsec);  
                         SQL_BIND_TEXT(stmts[STMT_DELETE_PAGE],  
                             i, mlink->arch);  
                         SQL_BIND_TEXT(stmts[STMT_DELETE_PAGE],  
                             i, mlink->name);  
                         SQL_STEP(stmts[STMT_DELETE_PAGE]);  
                         sqlite3_reset(stmts[STMT_DELETE_PAGE]);  
                 }                  }
         }          }
   
         if (0 == nodb)  
                 SQL_EXEC("END TRANSACTION");  
 }  }
   
 /*  /*
  * Close an existing database and its prepared statements.   * Write the database from memory to disk.
  * If "real" is not set, rename the temporary file into the real one.  
  */   */
 static void  static void
 dbclose(int real)  dbwrite(struct dba *dba)
 {  {
         size_t           i;          char             tfn[32];
         int              status;          int              status;
         pid_t            child;          pid_t            child;
   
         if (nodb)          if (dba_write(MANDOC_DB "~", dba) != -1) {
                   if (rename(MANDOC_DB "~", MANDOC_DB) == -1) {
                           exitcode = (int)MANDOCLEVEL_SYSERR;
                           say(MANDOC_DB, "&rename");
                           unlink(MANDOC_DB "~");
                   }
                 return;                  return;
   
         for (i = 0; i < STMT__MAX; i++) {  
                 sqlite3_finalize(stmts[i]);  
                 stmts[i] = NULL;  
         }          }
   
         sqlite3_close(db);          (void)strlcpy(tfn, "/tmp/mandocdb.XXXXXXXX", sizeof(tfn));
         db = NULL;          if (mkdtemp(tfn) == NULL) {
                   exitcode = (int)MANDOCLEVEL_SYSERR;
         if (real)                  say("", "&%s", tfn);
                 return;                  return;
           }
   
         if ('\0' == *tempfilename) {          (void)strlcat(tfn, "/" MANDOC_DB, sizeof(tfn));
                 if (-1 == rename(MANDOC_DB "~", MANDOC_DB)) {          if (dba_write(tfn, dba) == -1) {
                         exitcode = (int)MANDOCLEVEL_SYSERR;                  exitcode = (int)MANDOCLEVEL_SYSERR;
                         say(MANDOC_DB, "&rename");                  say(tfn, "&dba_write");
                 }                  goto out;
                 return;  
         }          }
   
         switch (child = fork()) {          switch (child = fork()) {
Line 2233  dbclose(int real)
Line 2103  dbclose(int real)
                 say("", "&fork cmp");                  say("", "&fork cmp");
                 return;                  return;
         case 0:          case 0:
                 execlp("cmp", "cmp", "-s",                  execlp("cmp", "cmp", "-s", tfn, MANDOC_DB, (char *)NULL);
                     tempfilename, MANDOC_DB, (char *)NULL);  
                 say("", "&exec cmp");                  say("", "&exec cmp");
                 exit(0);                  exit(0);
         default:          default:
                 break;                  break;
         }          }
         if (-1 == waitpid(child, &status, 0)) {          if (waitpid(child, &status, 0) == -1) {
                 exitcode = (int)MANDOCLEVEL_SYSERR;                  exitcode = (int)MANDOCLEVEL_SYSERR;
                 say("", "&wait cmp");                  say("", "&wait cmp");
         } else if (WIFSIGNALED(status)) {          } else if (WIFSIGNALED(status)) {
Line 2252  dbclose(int real)
Line 2121  dbclose(int real)
                     "Data changed, but cannot replace database");                      "Data changed, but cannot replace database");
         }          }
   
         *strrchr(tempfilename, '/') = '\0';  out:
           *strrchr(tfn, '/') = '\0';
         switch (child = fork()) {          switch (child = fork()) {
         case -1:          case -1:
                 exitcode = (int)MANDOCLEVEL_SYSERR;                  exitcode = (int)MANDOCLEVEL_SYSERR;
                 say("", "&fork rm");                  say("", "&fork rm");
                 return;                  return;
         case 0:          case 0:
                 execlp("rm", "rm", "-rf", tempfilename, (char *)NULL);                  execlp("rm", "rm", "-rf", tfn, (char *)NULL);
                 say("", "&exec rm");                  say("", "&exec rm");
                 exit((int)MANDOCLEVEL_SYSERR);                  exit((int)MANDOCLEVEL_SYSERR);
         default:          default:
                 break;                  break;
         }          }
         if (-1 == waitpid(child, &status, 0)) {          if (waitpid(child, &status, 0) == -1) {
                 exitcode = (int)MANDOCLEVEL_SYSERR;                  exitcode = (int)MANDOCLEVEL_SYSERR;
                 say("", "&wait rm");                  say("", "&wait rm");
         } else if (WIFSIGNALED(status) || WEXITSTATUS(status)) {          } else if (WIFSIGNALED(status) || WEXITSTATUS(status)) {
                 exitcode = (int)MANDOCLEVEL_SYSERR;                  exitcode = (int)MANDOCLEVEL_SYSERR;
                 say("", "%s: Cannot remove temporary directory",                  say("", "%s: Cannot remove temporary directory", tfn);
                     tempfilename);  
         }          }
 }  
   
 /*  
  * This is straightforward stuff.  
  * Open a database connection to a "temporary" database, then open a set  
  * of prepared statements we'll use over and over again.  
  * If "real" is set, we use the existing database; if not, we truncate a  
  * temporary one.  
  * Must be matched by dbclose().  
  */  
 static int  
 dbopen(int real)  
 {  
         const char      *sql;  
         int              rc, ofl;  
   
         if (nodb)  
                 return 1;  
   
         *tempfilename = '\0';  
         ofl = SQLITE_OPEN_READWRITE;  
   
         if (real) {  
                 rc = sqlite3_open_v2(MANDOC_DB, &db, ofl, NULL);  
                 if (SQLITE_OK != rc) {  
                         exitcode = (int)MANDOCLEVEL_SYSERR;  
                         if (SQLITE_CANTOPEN != rc)  
                                 say(MANDOC_DB, "%s", sqlite3_errstr(rc));  
                         return 0;  
                 }  
                 goto prepare_statements;  
         }  
   
         ofl |= SQLITE_OPEN_CREATE | SQLITE_OPEN_EXCLUSIVE;  
   
         remove(MANDOC_DB "~");  
         rc = sqlite3_open_v2(MANDOC_DB "~", &db, ofl, NULL);  
         if (SQLITE_OK == rc)  
                 goto create_tables;  
         if (MPARSE_QUICK & mparse_options) {  
                 exitcode = (int)MANDOCLEVEL_SYSERR;  
                 say(MANDOC_DB "~", "%s", sqlite3_errstr(rc));  
                 return 0;  
         }  
   
         (void)strlcpy(tempfilename, "/tmp/mandocdb.XXXXXX",  
             sizeof(tempfilename));  
         if (NULL == mkdtemp(tempfilename)) {  
                 exitcode = (int)MANDOCLEVEL_SYSERR;  
                 say("", "&%s", tempfilename);  
                 return 0;  
         }  
         (void)strlcat(tempfilename, "/" MANDOC_DB,  
             sizeof(tempfilename));  
         rc = sqlite3_open_v2(tempfilename, &db, ofl, NULL);  
         if (SQLITE_OK != rc) {  
                 exitcode = (int)MANDOCLEVEL_SYSERR;  
                 say("", "%s: %s", tempfilename, sqlite3_errstr(rc));  
                 return 0;  
         }  
   
 create_tables:  
         sql = "CREATE TABLE \"mpages\" (\n"  
               " \"desc\" TEXT NOT NULL,\n"  
               " \"form\" INTEGER NOT NULL,\n"  
               " \"pageid\" INTEGER PRIMARY KEY AUTOINCREMENT NOT NULL\n"  
               ");\n"  
               "\n"  
               "CREATE TABLE \"mlinks\" (\n"  
               " \"sec\" TEXT NOT NULL,\n"  
               " \"arch\" TEXT NOT NULL,\n"  
               " \"name\" TEXT NOT NULL,\n"  
               " \"pageid\" INTEGER NOT NULL REFERENCES mpages(pageid) "  
                 "ON DELETE CASCADE\n"  
               ");\n"  
               "CREATE INDEX mlinks_pageid_idx ON mlinks (pageid);\n"  
               "\n"  
               "CREATE TABLE \"names\" (\n"  
               " \"bits\" INTEGER NOT NULL,\n"  
               " \"name\" TEXT NOT NULL,\n"  
               " \"pageid\" INTEGER NOT NULL REFERENCES mpages(pageid) "  
                 "ON DELETE CASCADE,\n"  
               " UNIQUE (\"name\", \"pageid\") ON CONFLICT REPLACE\n"  
               ");\n"  
               "\n"  
               "CREATE TABLE \"keys\" (\n"  
               " \"bits\" INTEGER NOT NULL,\n"  
               " \"key\" TEXT NOT NULL,\n"  
               " \"pageid\" INTEGER NOT NULL REFERENCES mpages(pageid) "  
                 "ON DELETE CASCADE\n"  
               ");\n"  
               "CREATE INDEX keys_pageid_idx ON keys (pageid);\n";  
   
         if (SQLITE_OK != sqlite3_exec(db, sql, NULL, NULL, NULL)) {  
                 exitcode = (int)MANDOCLEVEL_SYSERR;  
                 say(MANDOC_DB, "%s", sqlite3_errmsg(db));  
                 sqlite3_close(db);  
                 return 0;  
         }  
   
 prepare_statements:  
         if (SQLITE_OK != sqlite3_exec(db,  
             "PRAGMA foreign_keys = ON", NULL, NULL, NULL)) {  
                 exitcode = (int)MANDOCLEVEL_SYSERR;  
                 say(MANDOC_DB, "PRAGMA foreign_keys: %s",  
                     sqlite3_errmsg(db));  
                 sqlite3_close(db);  
                 return 0;  
         }  
   
         sql = "DELETE FROM mpages WHERE pageid IN "  
                 "(SELECT pageid FROM mlinks WHERE "  
                 "sec=? AND arch=? AND name=?)";  
         sqlite3_prepare_v2(db, sql, -1, &stmts[STMT_DELETE_PAGE], NULL);  
         sql = "INSERT INTO mpages "  
                 "(desc,form) VALUES (?,?)";  
         sqlite3_prepare_v2(db, sql, -1, &stmts[STMT_INSERT_PAGE], NULL);  
         sql = "INSERT INTO mlinks "  
                 "(sec,arch,name,pageid) VALUES (?,?,?,?)";  
         sqlite3_prepare_v2(db, sql, -1, &stmts[STMT_INSERT_LINK], NULL);  
         sql = "SELECT bits FROM names where pageid = ?";  
         sqlite3_prepare_v2(db, sql, -1, &stmts[STMT_SELECT_NAME], NULL);  
         sql = "INSERT INTO names "  
                 "(bits,name,pageid) VALUES (?,?,?)";  
         sqlite3_prepare_v2(db, sql, -1, &stmts[STMT_INSERT_NAME], NULL);  
         sql = "INSERT INTO keys "  
                 "(bits,key,pageid) VALUES (?,?,?)";  
         sqlite3_prepare_v2(db, sql, -1, &stmts[STMT_INSERT_KEY], NULL);  
   
 #ifndef __APPLE__  
         /*  
          * When opening a new database, we can turn off  
          * synchronous mode for much better performance.  
          */  
   
         if (real && SQLITE_OK != sqlite3_exec(db,  
             "PRAGMA synchronous = OFF", NULL, NULL, NULL)) {  
                 exitcode = (int)MANDOCLEVEL_SYSERR;  
                 say(MANDOC_DB, "PRAGMA synchronous: %s",  
                     sqlite3_errmsg(db));  
                 sqlite3_close(db);  
                 return 0;  
         }  
 #endif  
   
         return 1;  
 }  }
   
 static int  static int

Legend:
Removed from v.1.220  
changed lines
  Added in v.1.221

CVSweb