[BACK]Return to mandocdb.c CVS log [TXT][DIR] Up to [cvsweb.bsd.lv] / mandoc

Diff for /mandoc/mandocdb.c between version 1.212 and 1.220.2.12

version 1.212, 2016/01/08 02:13:39 version 1.220.2.12, 2017/02/17 14:50:13
Line 1 
Line 1 
 /*      $Id$ */  /*      $Id$ */
 /*  /*
  * Copyright (c) 2011, 2012 Kristaps Dzonsons <kristaps@bsd.lv>   * Copyright (c) 2011, 2012 Kristaps Dzonsons <kristaps@bsd.lv>
  * Copyright (c) 2011-2016 Ingo Schwarze <schwarze@openbsd.org>   * Copyright (c) 2011-2017 Ingo Schwarze <schwarze@openbsd.org>
    * Copyright (c) 2016 Ed Maste <emaste@freebsd.org>
  *   *
  * Permission to use, copy, modify, and distribute this software for any   * Permission to use, copy, modify, and distribute this software for any
  * purpose with or without fee is hereby granted, provided that the above   * purpose with or without fee is hereby granted, provided that the above
Line 33 
Line 34 
 #else  #else
 #include "compat_fts.h"  #include "compat_fts.h"
 #endif  #endif
 #include <getopt.h>  
 #include <limits.h>  #include <limits.h>
   #if HAVE_SANDBOX_INIT
   #include <sandbox.h>
   #endif
 #include <stddef.h>  #include <stddef.h>
 #include <stdio.h>  #include <stdio.h>
 #include <stdint.h>  #include <stdint.h>
Line 101  struct mpage {
Line 104  struct mpage {
         char            *arch;    /* architecture from file content */          char            *arch;    /* architecture from file content */
         char            *title;   /* title from file content */          char            *title;   /* title from file content */
         char            *desc;    /* description from file content */          char            *desc;    /* description from file content */
           struct mpage    *next;    /* singly linked list */
         struct mlink    *mlinks;  /* singly linked list */          struct mlink    *mlinks;  /* singly linked list */
         int              form;    /* format from file content */          int              form;    /* format from file content */
         int              name_head_done;          int              name_head_done;
Line 135  typedef int (*mdoc_fp)(struct mpage *, const struct ro
Line 139  typedef int (*mdoc_fp)(struct mpage *, const struct ro
 struct  mdoc_handler {  struct  mdoc_handler {
         mdoc_fp          fp; /* optional handler */          mdoc_fp          fp; /* optional handler */
         uint64_t         mask;  /* set unless handler returns 0 */          uint64_t         mask;  /* set unless handler returns 0 */
           int              taboo;  /* node flags that must not be set */
 };  };
   
   
   int              mandocdb(int, char *[]);
   
 static  void     dbclose(int);  static  void     dbclose(int);
 static  void     dbadd(struct mpage *);  static  void     dbadd(struct mpage *);
 static  void     dbadd_mlink(const struct mlink *mlink);  static  void     dbadd_mlink(const struct mlink *mlink);
Line 144  static void  dbadd_mlink_name(const struct mlink *mlin
Line 152  static void  dbadd_mlink_name(const struct mlink *mlin
 static  int      dbopen(int);  static  int      dbopen(int);
 static  void     dbprune(void);  static  void     dbprune(void);
 static  void     filescan(const char *);  static  void     filescan(const char *);
   #if HAVE_FTS_COMPARE_CONST
   static  int      fts_compare(const FTSENT *const *, const FTSENT *const *);
   #else
   static  int      fts_compare(const FTSENT **, const FTSENT **);
   #endif
 static  void     mlink_add(struct mlink *, const struct stat *);  static  void     mlink_add(struct mlink *, const struct stat *);
 static  void     mlink_check(struct mpage *, struct mlink *);  static  void     mlink_check(struct mpage *, struct mlink *);
 static  void     mlink_free(struct mlink *);  static  void     mlink_free(struct mlink *);
Line 178  static int  parse_mdoc_Xr(struct mpage *, const struct
Line 191  static int  parse_mdoc_Xr(struct mpage *, const struct
 static  void     putkey(const struct mpage *, char *, uint64_t);  static  void     putkey(const struct mpage *, char *, uint64_t);
 static  void     putkeys(const struct mpage *, char *, size_t, uint64_t);  static  void     putkeys(const struct mpage *, char *, size_t, uint64_t);
 static  void     putmdockey(const struct mpage *,  static  void     putmdockey(const struct mpage *,
                         const struct roff_node *, uint64_t);                          const struct roff_node *, uint64_t, int);
 static  int      render_string(char **, size_t *);  static  int      render_string(char **, size_t *);
 static  void     say(const char *, const char *, ...);  static  void     say(const char *, const char *, ...)
                           __attribute__((__format__ (__printf__, 2, 3)));
 static  int      set_basedir(const char *, int);  static  int      set_basedir(const char *, int);
 static  int      treescan(void);  static  int      treescan(void);
 static  size_t   utf8(unsigned int, char [7]);  static  size_t   utf8(unsigned int, char [7]);
Line 195  static int   write_utf8; /* write UTF-8 output; else A
Line 209  static int   write_utf8; /* write UTF-8 output; else A
 static  int              exitcode; /* to be returned by main */  static  int              exitcode; /* to be returned by main */
 static  enum op          op; /* operational mode */  static  enum op          op; /* operational mode */
 static  char             basedir[PATH_MAX]; /* current base directory */  static  char             basedir[PATH_MAX]; /* current base directory */
   static  struct mpage    *mpage_head; /* list of distinct manual pages */
 static  struct ohash     mpages; /* table of distinct manual pages */  static  struct ohash     mpages; /* table of distinct manual pages */
 static  struct ohash     mlinks; /* table of directory entries */  static  struct ohash     mlinks; /* table of directory entries */
 static  struct ohash     names; /* table of all names */  static  struct ohash     names; /* table of all names */
Line 204  static sqlite3_stmt *stmts[STMT__MAX]; /* current stat
Line 219  static sqlite3_stmt *stmts[STMT__MAX]; /* current stat
 static  uint64_t         name_mask;  static  uint64_t         name_mask;
   
 static  const struct mdoc_handler mdocs[MDOC_MAX] = {  static  const struct mdoc_handler mdocs[MDOC_MAX] = {
         { NULL, 0 },  /* Ap */          { NULL, 0, 0 },  /* Ap */
         { NULL, 0 },  /* Dd */          { NULL, 0, NODE_NOPRT },  /* Dd */
         { NULL, 0 },  /* Dt */          { NULL, 0, NODE_NOPRT },  /* Dt */
         { NULL, 0 },  /* Os */          { NULL, 0, NODE_NOPRT },  /* Os */
         { parse_mdoc_Sh, TYPE_Sh }, /* Sh */          { parse_mdoc_Sh, TYPE_Sh, 0 }, /* Sh */
         { parse_mdoc_head, TYPE_Ss }, /* Ss */          { parse_mdoc_head, TYPE_Ss, 0 }, /* Ss */
         { NULL, 0 },  /* Pp */          { NULL, 0, 0 },  /* Pp */
         { NULL, 0 },  /* D1 */          { NULL, 0, 0 },  /* D1 */
         { NULL, 0 },  /* Dl */          { NULL, 0, 0 },  /* Dl */
         { NULL, 0 },  /* Bd */          { NULL, 0, 0 },  /* Bd */
         { NULL, 0 },  /* Ed */          { NULL, 0, 0 },  /* Ed */
         { NULL, 0 },  /* Bl */          { NULL, 0, 0 },  /* Bl */
         { NULL, 0 },  /* El */          { NULL, 0, 0 },  /* El */
         { NULL, 0 },  /* It */          { NULL, 0, 0 },  /* It */
         { NULL, 0 },  /* Ad */          { NULL, 0, 0 },  /* Ad */
         { NULL, TYPE_An },  /* An */          { NULL, TYPE_An, 0 },  /* An */
         { NULL, TYPE_Ar },  /* Ar */          { NULL, TYPE_Ar, 0 },  /* Ar */
         { NULL, TYPE_Cd },  /* Cd */          { NULL, TYPE_Cd, 0 },  /* Cd */
         { NULL, TYPE_Cm },  /* Cm */          { NULL, TYPE_Cm, 0 },  /* Cm */
         { NULL, TYPE_Dv },  /* Dv */          { NULL, TYPE_Dv, 0 },  /* Dv */
         { NULL, TYPE_Er },  /* Er */          { NULL, TYPE_Er, 0 },  /* Er */
         { NULL, TYPE_Ev },  /* Ev */          { NULL, TYPE_Ev, 0 },  /* Ev */
         { NULL, 0 },  /* Ex */          { NULL, 0, 0 },  /* Ex */
         { NULL, TYPE_Fa },  /* Fa */          { NULL, TYPE_Fa, 0 },  /* Fa */
         { parse_mdoc_Fd, 0 },  /* Fd */          { parse_mdoc_Fd, 0, 0 },  /* Fd */
         { NULL, TYPE_Fl },  /* Fl */          { NULL, TYPE_Fl, 0 },  /* Fl */
         { parse_mdoc_Fn, 0 },  /* Fn */          { parse_mdoc_Fn, 0, 0 },  /* Fn */
         { NULL, TYPE_Ft },  /* Ft */          { NULL, TYPE_Ft, 0 },  /* Ft */
         { NULL, TYPE_Ic },  /* Ic */          { NULL, TYPE_Ic, 0 },  /* Ic */
         { NULL, TYPE_In },  /* In */          { NULL, TYPE_In, 0 },  /* In */
         { NULL, TYPE_Li },  /* Li */          { NULL, TYPE_Li, 0 },  /* Li */
         { parse_mdoc_Nd, 0 },  /* Nd */          { parse_mdoc_Nd, 0, 0 },  /* Nd */
         { parse_mdoc_Nm, 0 },  /* Nm */          { parse_mdoc_Nm, 0, 0 },  /* Nm */
         { NULL, 0 },  /* Op */          { NULL, 0, 0 },  /* Op */
         { NULL, 0 },  /* Ot */          { NULL, 0, 0 },  /* Ot */
         { NULL, TYPE_Pa },  /* Pa */          { NULL, TYPE_Pa, NODE_NOSRC },  /* Pa */
         { NULL, 0 },  /* Rv */          { NULL, 0, 0 },  /* Rv */
         { NULL, TYPE_St },  /* St */          { NULL, TYPE_St, 0 },  /* St */
         { parse_mdoc_Va, TYPE_Va },  /* Va */          { parse_mdoc_Va, TYPE_Va, 0 },  /* Va */
         { parse_mdoc_Va, TYPE_Vt },  /* Vt */          { parse_mdoc_Va, TYPE_Vt, 0 },  /* Vt */
         { parse_mdoc_Xr, 0 },  /* Xr */          { parse_mdoc_Xr, 0, 0 },  /* Xr */
         { NULL, 0 },  /* %A */          { NULL, 0, 0 },  /* %A */
         { NULL, 0 },  /* %B */          { NULL, 0, 0 },  /* %B */
         { NULL, 0 },  /* %D */          { NULL, 0, 0 },  /* %D */
         { NULL, 0 },  /* %I */          { NULL, 0, 0 },  /* %I */
         { NULL, 0 },  /* %J */          { NULL, 0, 0 },  /* %J */
         { NULL, 0 },  /* %N */          { NULL, 0, 0 },  /* %N */
         { NULL, 0 },  /* %O */          { NULL, 0, 0 },  /* %O */
         { NULL, 0 },  /* %P */          { NULL, 0, 0 },  /* %P */
         { NULL, 0 },  /* %R */          { NULL, 0, 0 },  /* %R */
         { NULL, 0 },  /* %T */          { NULL, 0, 0 },  /* %T */
         { NULL, 0 },  /* %V */          { NULL, 0, 0 },  /* %V */
         { NULL, 0 },  /* Ac */          { NULL, 0, 0 },  /* Ac */
         { NULL, 0 },  /* Ao */          { NULL, 0, 0 },  /* Ao */
         { NULL, 0 },  /* Aq */          { NULL, 0, 0 },  /* Aq */
         { NULL, TYPE_At },  /* At */          { NULL, TYPE_At, 0 },  /* At */
         { NULL, 0 },  /* Bc */          { NULL, 0, 0 },  /* Bc */
         { NULL, 0 },  /* Bf */          { NULL, 0, 0 },  /* Bf */
         { NULL, 0 },  /* Bo */          { NULL, 0, 0 },  /* Bo */
         { NULL, 0 },  /* Bq */          { NULL, 0, 0 },  /* Bq */
         { NULL, TYPE_Bsx },  /* Bsx */          { NULL, TYPE_Bsx, NODE_NOSRC },  /* Bsx */
         { NULL, TYPE_Bx },  /* Bx */          { NULL, TYPE_Bx, NODE_NOSRC },  /* Bx */
         { NULL, 0 },  /* Db */          { NULL, 0, 0 },  /* Db */
         { NULL, 0 },  /* Dc */          { NULL, 0, 0 },  /* Dc */
         { NULL, 0 },  /* Do */          { NULL, 0, 0 },  /* Do */
         { NULL, 0 },  /* Dq */          { NULL, 0, 0 },  /* Dq */
         { NULL, 0 },  /* Ec */          { NULL, 0, 0 },  /* Ec */
         { NULL, 0 },  /* Ef */          { NULL, 0, 0 },  /* Ef */
         { NULL, TYPE_Em },  /* Em */          { NULL, TYPE_Em, 0 },  /* Em */
         { NULL, 0 },  /* Eo */          { NULL, 0, 0 },  /* Eo */
         { NULL, TYPE_Fx },  /* Fx */          { NULL, TYPE_Fx, NODE_NOSRC },  /* Fx */
         { NULL, TYPE_Ms },  /* Ms */          { NULL, TYPE_Ms, 0 },  /* Ms */
         { NULL, 0 },  /* No */          { NULL, 0, 0 },  /* No */
         { NULL, 0 },  /* Ns */          { NULL, 0, 0 },  /* Ns */
         { NULL, TYPE_Nx },  /* Nx */          { NULL, TYPE_Nx, NODE_NOSRC },  /* Nx */
         { NULL, TYPE_Ox },  /* Ox */          { NULL, TYPE_Ox, NODE_NOSRC },  /* Ox */
         { NULL, 0 },  /* Pc */          { NULL, 0, 0 },  /* Pc */
         { NULL, 0 },  /* Pf */          { NULL, 0, 0 },  /* Pf */
         { NULL, 0 },  /* Po */          { NULL, 0, 0 },  /* Po */
         { NULL, 0 },  /* Pq */          { NULL, 0, 0 },  /* Pq */
         { NULL, 0 },  /* Qc */          { NULL, 0, 0 },  /* Qc */
         { NULL, 0 },  /* Ql */          { NULL, 0, 0 },  /* Ql */
         { NULL, 0 },  /* Qo */          { NULL, 0, 0 },  /* Qo */
         { NULL, 0 },  /* Qq */          { NULL, 0, 0 },  /* Qq */
         { NULL, 0 },  /* Re */          { NULL, 0, 0 },  /* Re */
         { NULL, 0 },  /* Rs */          { NULL, 0, 0 },  /* Rs */
         { NULL, 0 },  /* Sc */          { NULL, 0, 0 },  /* Sc */
         { NULL, 0 },  /* So */          { NULL, 0, 0 },  /* So */
         { NULL, 0 },  /* Sq */          { NULL, 0, 0 },  /* Sq */
         { NULL, 0 },  /* Sm */          { NULL, 0, 0 },  /* Sm */
         { NULL, 0 },  /* Sx */          { NULL, 0, 0 },  /* Sx */
         { NULL, TYPE_Sy },  /* Sy */          { NULL, TYPE_Sy, 0 },  /* Sy */
         { NULL, TYPE_Tn },  /* Tn */          { NULL, TYPE_Tn, 0 },  /* Tn */
         { NULL, 0 },  /* Ux */          { NULL, 0, NODE_NOSRC },  /* Ux */
         { NULL, 0 },  /* Xc */          { NULL, 0, 0 },  /* Xc */
         { NULL, 0 },  /* Xo */          { NULL, 0, 0 },  /* Xo */
         { parse_mdoc_Fo, 0 },  /* Fo */          { parse_mdoc_Fo, 0, 0 },  /* Fo */
         { NULL, 0 },  /* Fc */          { NULL, 0, 0 },  /* Fc */
         { NULL, 0 },  /* Oo */          { NULL, 0, 0 },  /* Oo */
         { NULL, 0 },  /* Oc */          { NULL, 0, 0 },  /* Oc */
         { NULL, 0 },  /* Bk */          { NULL, 0, 0 },  /* Bk */
         { NULL, 0 },  /* Ek */          { NULL, 0, 0 },  /* Ek */
         { NULL, 0 },  /* Bt */          { NULL, 0, 0 },  /* Bt */
         { NULL, 0 },  /* Hf */          { NULL, 0, 0 },  /* Hf */
         { NULL, 0 },  /* Fr */          { NULL, 0, 0 },  /* Fr */
         { NULL, 0 },  /* Ud */          { NULL, 0, 0 },  /* Ud */
         { NULL, TYPE_Lb },  /* Lb */          { NULL, TYPE_Lb, NODE_NOSRC },  /* Lb */
         { NULL, 0 },  /* Lp */          { NULL, 0, 0 },  /* Lp */
         { NULL, TYPE_Lk },  /* Lk */          { NULL, TYPE_Lk, 0 },  /* Lk */
         { NULL, TYPE_Mt },  /* Mt */          { NULL, TYPE_Mt, NODE_NOSRC },  /* Mt */
         { NULL, 0 },  /* Brq */          { NULL, 0, 0 },  /* Brq */
         { NULL, 0 },  /* Bro */          { NULL, 0, 0 },  /* Bro */
         { NULL, 0 },  /* Brc */          { NULL, 0, 0 },  /* Brc */
         { NULL, 0 },  /* %C */          { NULL, 0, 0 },  /* %C */
         { NULL, 0 },  /* Es */          { NULL, 0, 0 },  /* Es */
         { NULL, 0 },  /* En */          { NULL, 0, 0 },  /* En */
         { NULL, TYPE_Dx },  /* Dx */          { NULL, TYPE_Dx, NODE_NOSRC },  /* Dx */
         { NULL, 0 },  /* %Q */          { NULL, 0, 0 },  /* %Q */
         { NULL, 0 },  /* br */          { NULL, 0, 0 },  /* br */
         { NULL, 0 },  /* sp */          { NULL, 0, 0 },  /* sp */
         { NULL, 0 },  /* %U */          { NULL, 0, 0 },  /* %U */
         { NULL, 0 },  /* Ta */          { NULL, 0, 0 },  /* Ta */
         { NULL, 0 },  /* ll */          { NULL, 0, 0 },  /* ll */
 };  };
   
   
Line 341  mandocdb(int argc, char *argv[])
Line 356  mandocdb(int argc, char *argv[])
   
 #if HAVE_PLEDGE  #if HAVE_PLEDGE
         if (pledge("stdio rpath wpath cpath fattr flock proc exec", NULL) == -1) {          if (pledge("stdio rpath wpath cpath fattr flock proc exec", NULL) == -1) {
                 perror("pledge");                  warn("pledge");
                 return (int)MANDOCLEVEL_SYSERR;                  return (int)MANDOCLEVEL_SYSERR;
         }          }
 #endif  #endif
   
   #if HAVE_SANDBOX_INIT
           if (sandbox_init(kSBXProfileNoInternet, SANDBOX_NAMED, NULL) == -1) {
                   warnx("sandbox_init");
                   return (int)MANDOCLEVEL_SYSERR;
           }
   #endif
   
         memset(&conf, 0, sizeof(conf));          memset(&conf, 0, sizeof(conf));
         memset(stmts, 0, STMT__MAX * sizeof(sqlite3_stmt *));          memset(stmts, 0, STMT__MAX * sizeof(sqlite3_stmt *));
   
Line 422  mandocdb(int argc, char *argv[])
Line 444  mandocdb(int argc, char *argv[])
 #if HAVE_PLEDGE  #if HAVE_PLEDGE
         if (nodb) {          if (nodb) {
                 if (pledge("stdio rpath", NULL) == -1) {                  if (pledge("stdio rpath", NULL) == -1) {
                         perror("pledge");                          warn("pledge");
                         return (int)MANDOCLEVEL_SYSERR;                          return (int)MANDOCLEVEL_SYSERR;
                 }                  }
         }          }
Line 456  mandocdb(int argc, char *argv[])
Line 478  mandocdb(int argc, char *argv[])
 #if HAVE_PLEDGE  #if HAVE_PLEDGE
                         if (!nodb) {                          if (!nodb) {
                                 if (pledge("stdio rpath wpath cpath fattr flock", NULL) == -1) {                                  if (pledge("stdio rpath wpath cpath fattr flock", NULL) == -1) {
                                         perror("pledge");                                          warn("pledge");
                                         exitcode = (int)MANDOCLEVEL_SYSERR;                                          exitcode = (int)MANDOCLEVEL_SYSERR;
                                         goto out;                                          goto out;
                                 }                                  }
Line 563  usage:
Line 585  usage:
 }  }
   
 /*  /*
    * To get a singly linked list in alpha order while inserting entries
    * at the beginning, process directory entries in reverse alpha order.
    */
   static int
   #if HAVE_FTS_COMPARE_CONST
   fts_compare(const FTSENT *const *a, const FTSENT *const *b)
   #else
   fts_compare(const FTSENT **a, const FTSENT **b)
   #endif
   {
           return -strcmp((*a)->fts_name, (*b)->fts_name);
   }
   
   /*
  * Scan a directory tree rooted at "basedir" for manpages.   * Scan a directory tree rooted at "basedir" for manpages.
  * We use fts(), scanning directory parts along the way for clues to our   * We use fts(), scanning directory parts along the way for clues to our
  * section and architecture.   * section and architecture.
Line 574  usage:
Line 610  usage:
  *   or   *   or
  *   [./]cat<section>[/<arch>]/<name>.0   *   [./]cat<section>[/<arch>]/<name>.0
  *   *
  * TODO: accomodate for multi-language directories.   * TODO: accommodate for multi-language directories.
  */   */
 static int  static int
 treescan(void)  treescan(void)
Line 589  treescan(void)
Line 625  treescan(void)
         const char      *argv[2];          const char      *argv[2];
   
         argv[0] = ".";          argv[0] = ".";
         argv[1] = (char *)NULL;          argv[1] = NULL;
   
         f = fts_open((char * const *)argv,          f = fts_open((char * const *)argv, FTS_PHYSICAL | FTS_NOCHDIR,
             FTS_PHYSICAL | FTS_NOCHDIR, NULL);              fts_compare);
         if (f == NULL) {          if (f == NULL) {
                 exitcode = (int)MANDOCLEVEL_SYSERR;                  exitcode = (int)MANDOCLEVEL_SYSERR;
                 say("", "&fts_open");                  say("", "&fts_open");
Line 872  filescan(const char *file)
Line 908  filescan(const char *file)
         }          }
   
         /*          /*
            * In test mode or when the original name is absolute
            * but outside our tree, guess the base directory.
            */
   
           if (op == OP_TEST || (start == buf && *start == '/')) {
                   if (strncmp(buf, "man/", 4) == 0)
                           start = buf + 4;
                   else if ((start = strstr(buf, "/man/")) != NULL)
                           start += 5;
                   else
                           start = buf;
           }
   
           /*
          * First try to guess our directory structure.           * First try to guess our directory structure.
          * If we find a separator, try to look for man* or cat*.           * If we find a separator, try to look for man* or cat*.
          * If we find one of these and what's underneath is a directory,           * If we find one of these and what's underneath is a directory,
Line 957  mlink_add(struct mlink *mlink, const struct stat *st)
Line 1007  mlink_add(struct mlink *mlink, const struct stat *st)
                 mpage = mandoc_calloc(1, sizeof(struct mpage));                  mpage = mandoc_calloc(1, sizeof(struct mpage));
                 mpage->inodev.st_ino = inodev.st_ino;                  mpage->inodev.st_ino = inodev.st_ino;
                 mpage->inodev.st_dev = inodev.st_dev;                  mpage->inodev.st_dev = inodev.st_dev;
                   mpage->next = mpage_head;
                   mpage_head = mpage;
                 ohash_insert(&mpages, slot, mpage);                  ohash_insert(&mpages, slot, mpage);
         } else          } else
                 mlink->next = mpage->mlinks;                  mlink->next = mpage->mlinks;
Line 980  mpages_free(void)
Line 1032  mpages_free(void)
 {  {
         struct mpage    *mpage;          struct mpage    *mpage;
         struct mlink    *mlink;          struct mlink    *mlink;
         unsigned int     slot;  
   
         mpage = ohash_first(&mpages, &slot);          while ((mpage = mpage_head) != NULL) {
         while (NULL != mpage) {                  while ((mlink = mpage->mlinks) != NULL) {
                 while (NULL != (mlink = mpage->mlinks)) {  
                         mpage->mlinks = mlink->next;                          mpage->mlinks = mlink->next;
                         mlink_free(mlink);                          mlink_free(mlink);
                 }                  }
                   mpage_head = mpage->next;
                 free(mpage->sec);                  free(mpage->sec);
                 free(mpage->arch);                  free(mpage->arch);
                 free(mpage->title);                  free(mpage->title);
                 free(mpage->desc);                  free(mpage->desc);
                 free(mpage);                  free(mpage);
                 mpage = ohash_next(&mpages, &slot);  
         }          }
 }  }
   
Line 1114  mpages_merge(struct mparse *mp)
Line 1164  mpages_merge(struct mparse *mp)
         char                    *sodest;          char                    *sodest;
         char                    *cp;          char                    *cp;
         int                      fd;          int                      fd;
         unsigned int             pslot;  
   
         if ( ! nodb)          if ( ! nodb)
                 SQL_EXEC("BEGIN TRANSACTION");                  SQL_EXEC("BEGIN TRANSACTION");
   
         mpage = ohash_first(&mpages, &pslot);          for (mpage = mpage_head; mpage != NULL; mpage = mpage->next) {
         while (mpage != NULL) {  
                 mlinks_undupe(mpage);                  mlinks_undupe(mpage);
                 if ((mlink = mpage->mlinks) == NULL) {                  if ((mlink = mpage->mlinks) == NULL)
                         mpage = ohash_next(&mpages, &pslot);  
                         continue;                          continue;
                 }  
   
                 name_mask = NAME_MASK;                  name_mask = NAME_MASK;
                 mandoc_ohash_init(&names, 4, offsetof(struct str, key));                  mandoc_ohash_init(&names, 4, offsetof(struct str, key));
Line 1134  mpages_merge(struct mparse *mp)
Line 1180  mpages_merge(struct mparse *mp)
                 man = NULL;                  man = NULL;
                 sodest = NULL;                  sodest = NULL;
   
                 mparse_open(mp, &fd, mlink->file);                  if ((fd = mparse_open(mp, mlink->file)) == -1) {
                 if (fd == -1) {  
                         say(mlink->file, "&open");                          say(mlink->file, "&open");
                         goto nextpage;                          goto nextpage;
                 }                  }
Line 1147  mpages_merge(struct mparse *mp)
Line 1192  mpages_merge(struct mparse *mp)
                 if (mlink->dform != FORM_CAT || mlink->fform != FORM_CAT) {                  if (mlink->dform != FORM_CAT || mlink->fform != FORM_CAT) {
                         mparse_readfd(mp, fd, mlink->file);                          mparse_readfd(mp, fd, mlink->file);
                         close(fd);                          close(fd);
                           fd = -1;
                         mparse_result(mp, &man, &sodest);                          mparse_result(mp, &man, &sodest);
                 }                  }
   
Line 1203  mpages_merge(struct mparse *mp)
Line 1249  mpages_merge(struct mparse *mp)
                         mpage->title = mandoc_strdup(man->meta.title);                          mpage->title = mandoc_strdup(man->meta.title);
                 } else if (man != NULL && man->macroset == MACROSET_MAN) {                  } else if (man != NULL && man->macroset == MACROSET_MAN) {
                         man_validate(man);                          man_validate(man);
                         mpage->form = FORM_SRC;                          if (*man->meta.msec != '\0' ||
                         mpage->sec = mandoc_strdup(man->meta.msec);                              *man->meta.msec != '\0') {
                         mpage->arch = mandoc_strdup(mlink->arch);                                  mpage->form = FORM_SRC;
                         mpage->title = mandoc_strdup(man->meta.title);                                  mpage->sec = mandoc_strdup(man->meta.msec);
                 } else {                                  mpage->arch = mandoc_strdup(mlink->arch);
                                   mpage->title = mandoc_strdup(man->meta.title);
                           } else
                                   man = NULL;
                   }
   
                   assert(mpage->desc == NULL);
                   if (man == NULL) {
                         mpage->form = FORM_CAT;                          mpage->form = FORM_CAT;
                         mpage->sec = mandoc_strdup(mlink->dsec);                          mpage->sec = mandoc_strdup(mlink->dsec);
                         mpage->arch = mandoc_strdup(mlink->arch);                          mpage->arch = mandoc_strdup(mlink->arch);
                         mpage->title = mandoc_strdup(mlink->name);                          mpage->title = mandoc_strdup(mlink->name);
                           parse_cat(mpage, fd);
                   } else if (man->macroset == MACROSET_MDOC)
                           parse_mdoc(mpage, &man->meta, man->first);
                   else
                           parse_man(mpage, &man->meta, man->first);
                   if (mpage->desc == NULL) {
                           mpage->desc = mandoc_strdup(mlink->name);
                           if (warnings)
                                   say(mlink->file, "No one-line description, "
                                       "using filename \"%s\"", mlink->name);
                 }                  }
   
                 putkey(mpage, mpage->sec, TYPE_sec);                  putkey(mpage, mpage->sec, TYPE_sec);
                 if (*mpage->arch != '\0')                  if (*mpage->arch != '\0')
                         putkey(mpage, mpage->arch, TYPE_arch);                          putkey(mpage, mpage->arch, TYPE_arch);
Line 1227  mpages_merge(struct mparse *mp)
Line 1291  mpages_merge(struct mparse *mp)
                         putkey(mpage, mlink->name, NAME_FILE);                          putkey(mpage, mlink->name, NAME_FILE);
                 }                  }
   
                 assert(mpage->desc == NULL);  
                 if (man != NULL && man->macroset == MACROSET_MDOC)  
                         parse_mdoc(mpage, &man->meta, man->first);  
                 else if (man != NULL)  
                         parse_man(mpage, &man->meta, man->first);  
                 else  
                         parse_cat(mpage, fd);  
                 if (mpage->desc == NULL)  
                         mpage->desc = mandoc_strdup(mpage->mlinks->name);  
   
                 if (warnings && !use_all)                  if (warnings && !use_all)
                         for (mlink = mpage->mlinks; mlink;                          for (mlink = mpage->mlinks; mlink;
                              mlink = mlink->next)                               mlink = mlink->next)
                                 mlink_check(mpage, mlink);                                  mlink_check(mpage, mlink);
   
                 dbadd(mpage);                  dbadd(mpage);
                 mlink = mpage->mlinks;  
   
 nextpage:  nextpage:
                 ohash_delete(&strings);                  ohash_delete(&strings);
                 ohash_delete(&names);                  ohash_delete(&names);
                 mpage = ohash_next(&mpages, &pslot);  
         }          }
   
         if (0 == nodb)          if (0 == nodb)
Line 1294  static void
Line 1346  static void
 parse_cat(struct mpage *mpage, int fd)  parse_cat(struct mpage *mpage, int fd)
 {  {
         FILE            *stream;          FILE            *stream;
         char            *line, *p, *title;          struct mlink    *mlink;
           char            *line, *p, *title, *sec;
         size_t           linesz, plen, titlesz;          size_t           linesz, plen, titlesz;
         ssize_t          len;          ssize_t          len;
         int              offs;          int              offs;
   
         stream = (-1 == fd) ?          mlink = mpage->mlinks;
             fopen(mpage->mlinks->file, "r") :          stream = fd == -1 ? fopen(mlink->file, "r") : fdopen(fd, "r");
             fdopen(fd, "r");          if (stream == NULL) {
         if (NULL == stream) {                  if (fd != -1)
                 if (-1 != fd)  
                         close(fd);                          close(fd);
                 if (warnings)                  if (warnings)
                         say(mpage->mlinks->file, "&fopen");                          say(mlink->file, "&fopen");
                 return;                  return;
         }          }
   
         line = NULL;          line = NULL;
         linesz = 0;          linesz = 0;
   
         /* Skip to first blank line. */          /* Parse the section number from the header line. */
   
         while (getline(&line, &linesz, stream) != -1)          while (getline(&line, &linesz, stream) != -1) {
                 if (*line == '\n')                  if (*line == '\n')
                           continue;
                   if ((sec = strchr(line, '(')) == NULL)
                         break;                          break;
                   if ((p = strchr(++sec, ')')) == NULL)
                           break;
                   free(mpage->sec);
                   mpage->sec = mandoc_strndup(sec, p - sec);
                   if (warnings && *mlink->dsec != '\0' &&
                       strcasecmp(mpage->sec, mlink->dsec))
                           say(mlink->file,
                               "Section \"%s\" manual in %s directory",
                               mpage->sec, mlink->dsec);
                   break;
           }
   
           /* Skip to first blank line. */
   
           while (line == NULL || *line != '\n')
                   if (getline(&line, &linesz, stream) == -1)
                           break;
   
         /*          /*
          * Assume the first line that is not indented           * Assume the first line that is not indented
          * is the first section header.  Skip to it.           * is the first section header.  Skip to it.
Line 1362  parse_cat(struct mpage *mpage, int fd)
Line 1433  parse_cat(struct mpage *mpage, int fd)
   
         if (NULL == title || '\0' == *title) {          if (NULL == title || '\0' == *title) {
                 if (warnings)                  if (warnings)
                         say(mpage->mlinks->file,                          say(mlink->file, "Cannot find NAME section");
                             "Cannot find NAME section");  
                 fclose(stream);                  fclose(stream);
                 free(title);                  free(title);
                 return;                  return;
Line 1382  parse_cat(struct mpage *mpage, int fd)
Line 1452  parse_cat(struct mpage *mpage, int fd)
                         /* Skip to next word. */ ;                          /* Skip to next word. */ ;
         } else {          } else {
                 if (warnings)                  if (warnings)
                         say(mpage->mlinks->file,                          say(mlink->file, "No dash in title line, "
                             "No dash in title line");                              "reusing \"%s\" as one-line description", title);
                 p = title;                  p = title;
         }          }
   
Line 1427  putkey(const struct mpage *mpage, char *value, uint64_
Line 1497  putkey(const struct mpage *mpage, char *value, uint64_
  */   */
 static void  static void
 putmdockey(const struct mpage *mpage,  putmdockey(const struct mpage *mpage,
         const struct roff_node *n, uint64_t m)          const struct roff_node *n, uint64_t m, int taboo)
 {  {
   
         for ( ; NULL != n; n = n->next) {          for ( ; NULL != n; n = n->next) {
                   if (n->flags & taboo)
                           continue;
                 if (NULL != n->child)                  if (NULL != n->child)
                         putmdockey(mpage, n->child, m);                          putmdockey(mpage, n->child, m, taboo);
                 if (n->type == ROFFT_TEXT)                  if (n->type == ROFFT_TEXT)
                         putkey(mpage, n->string, m);                          putkey(mpage, n->string, m);
         }          }
Line 1447  parse_man(struct mpage *mpage, const struct roff_meta 
Line 1519  parse_man(struct mpage *mpage, const struct roff_meta 
         char             byte;          char             byte;
         size_t           sz;          size_t           sz;
   
         if (NULL == n)          if (n == NULL)
                 return;                  return;
   
         /*          /*
Line 1459  parse_man(struct mpage *mpage, const struct roff_meta 
Line 1531  parse_man(struct mpage *mpage, const struct roff_meta 
   
         if (n->type == ROFFT_BODY && n->tok == MAN_SH) {          if (n->type == ROFFT_BODY && n->tok == MAN_SH) {
                 body = n;                  body = n;
                 assert(body->parent);                  if ((head = body->parent->head) != NULL &&
                 if (NULL != (head = body->parent->head) &&                      (head = head->child) != NULL &&
                     1 == head->nchild &&                      head->next == NULL &&
                     NULL != (head = (head->child)) &&  
                     head->type == ROFFT_TEXT &&                      head->type == ROFFT_TEXT &&
                     0 == strcmp(head->string, "NAME") &&                      strcmp(head->string, "NAME") == 0 &&
                     NULL != body->child) {                      body->child != NULL) {
   
                         /*                          /*
                          * Suck the entire NAME section into memory.                           * Suck the entire NAME section into memory.
Line 1571  parse_mdoc(struct mpage *mpage, const struct roff_meta
Line 1642  parse_mdoc(struct mpage *mpage, const struct roff_meta
   
         assert(NULL != n);          assert(NULL != n);
         for (n = n->child; NULL != n; n = n->next) {          for (n = n->child; NULL != n; n = n->next) {
                   if (n->flags & mdocs[n->tok].taboo)
                           continue;
                 switch (n->type) {                  switch (n->type) {
                 case ROFFT_ELEM:                  case ROFFT_ELEM:
                 case ROFFT_BLOCK:                  case ROFFT_BLOCK:
Line 1582  parse_mdoc(struct mpage *mpage, const struct roff_meta
Line 1655  parse_mdoc(struct mpage *mpage, const struct roff_meta
                                        break;                                         break;
                         if (mdocs[n->tok].mask)                          if (mdocs[n->tok].mask)
                                 putmdockey(mpage, n->child,                                  putmdockey(mpage, n->child,
                                     mdocs[n->tok].mask);                                      mdocs[n->tok].mask, mdocs[n->tok].taboo);
                         break;                          break;
                 default:                  default:
                         assert(n->type != ROFFT_ROOT);                          assert(n->type != ROFFT_ROOT);
Line 1698  parse_mdoc_Va(struct mpage *mpage, const struct roff_m
Line 1771  parse_mdoc_Va(struct mpage *mpage, const struct roff_m
         if (n->type != ROFFT_ELEM && n->type != ROFFT_BODY)          if (n->type != ROFFT_ELEM && n->type != ROFFT_BODY)
                 return 0;                  return 0;
   
         if (n->nchild == 1 && n->child->type == ROFFT_TEXT)          if (n->child != NULL &&
               n->child->next == NULL &&
               n->child->type == ROFFT_TEXT)
                 return 1;                  return 1;
   
         cp = NULL;          cp = NULL;
Line 1748  parse_mdoc_Nm(struct mpage *mpage, const struct roff_m
Line 1823  parse_mdoc_Nm(struct mpage *mpage, const struct roff_m
 {  {
   
         if (SEC_NAME == n->sec)          if (SEC_NAME == n->sec)
                 putmdockey(mpage, n->child, NAME_TITLE);                  putmdockey(mpage, n->child, NAME_TITLE, 0);
         else if (n->sec == SEC_SYNOPSIS && n->type == ROFFT_HEAD) {          else if (n->sec == SEC_SYNOPSIS && n->type == ROFFT_HEAD) {
                 if (n->child == NULL)                  if (n->child == NULL)
                         putkey(mpage, meta->name, NAME_SYN);                          putkey(mpage, meta->name, NAME_SYN);
                 else                  else
                         putmdockey(mpage, n->child, NAME_SYN);                          putmdockey(mpage, n->child, NAME_SYN, 0);
         }          }
         if ( ! (mpage->name_head_done ||          if ( ! (mpage->name_head_done ||
             n->child == NULL || n->child->string == NULL ||              n->child == NULL || n->child->string == NULL ||
             strcasecmp(n->child->string, meta->title))) {              strcasecmp(n->child->string, meta->title))) {
                 putkey(mpage, n->child->string, ROFFT_HEAD);                  putkey(mpage, n->child->string, NAME_HEAD);
                 mpage->name_head_done = 1;                  mpage->name_head_done = 1;
         }          }
         return 0;          return 0;
Line 1806  putkeys(const struct mpage *mpage, char *cp, size_t sz
Line 1881  putkeys(const struct mpage *mpage, char *cp, size_t sz
                         name_mask &= ~NAME_FIRST;                          name_mask &= ~NAME_FIRST;
                 if (debug > 1)                  if (debug > 1)
                         say(mpage->mlinks->file,                          say(mpage->mlinks->file,
                             "Adding name %*s, bits=%d", sz, cp, v);                              "Adding name %*s, bits=0x%llx", (int)sz, cp,
                               (unsigned long long)v);
         } else {          } else {
                 htab = &strings;                  htab = &strings;
                 if (debug > 1)                  if (debug > 1)
Line 1814  putkeys(const struct mpage *mpage, char *cp, size_t sz
Line 1890  putkeys(const struct mpage *mpage, char *cp, size_t sz
                         if ((uint64_t)1 << i & v)                          if ((uint64_t)1 << i & v)
                             say(mpage->mlinks->file,                              say(mpage->mlinks->file,
                                 "Adding key %s=%*s",                                  "Adding key %s=%*s",
                                 mansearch_keynames[i], sz, cp);                                  mansearch_keynames[i], (int)sz, cp);
         }          }
   
         end = cp + sz;          end = cp + sz;
Legend:
Removed from v.1.212  
changed lines
  Added in v.1.220.2.12
CVSweb