[BACK]Return to read.c CVS log [TXT][DIR] Up to [cvsweb.bsd.lv] / mandoc

Diff for /mandoc/read.c between version 1.120 and 1.140

version 1.120, 2015/01/28 21:11:54 version 1.140, 2015/07/19 06:05:16
Line 8 
Line 8 
  * purpose with or without fee is hereby granted, provided that the above   * purpose with or without fee is hereby granted, provided that the above
  * copyright notice and this permission notice appear in all copies.   * copyright notice and this permission notice appear in all copies.
  *   *
  * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHOR DISCLAIMS ALL WARRANTIES   * THE SOFTWARE IS PROVIDED "AS IS" AND THE AUTHORS DISCLAIM ALL WARRANTIES
  * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF   * WITH REGARD TO THIS SOFTWARE INCLUDING ALL IMPLIED WARRANTIES OF
  * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR   * MERCHANTABILITY AND FITNESS. IN NO EVENT SHALL THE AUTHORS BE LIABLE FOR
  * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES   * ANY SPECIAL, DIRECT, INDIRECT, OR CONSEQUENTIAL DAMAGES OR ANY DAMAGES
  * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN   * WHATSOEVER RESULTING FROM LOSS OF USE, DATA OR PROFITS, WHETHER IN AN
  * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF   * ACTION OF CONTRACT, NEGLIGENCE OR OTHER TORTIOUS ACTION, ARISING OUT OF
Line 23 
Line 23 
 #include <sys/mman.h>  #include <sys/mman.h>
 #include <sys/stat.h>  #include <sys/stat.h>
 #endif  #endif
 #include <sys/wait.h>  
   
 #include <assert.h>  #include <assert.h>
 #include <ctype.h>  #include <ctype.h>
Line 35 
Line 34 
 #include <stdlib.h>  #include <stdlib.h>
 #include <string.h>  #include <string.h>
 #include <unistd.h>  #include <unistd.h>
   #include <zlib.h>
   
 #include "mandoc.h"  
 #include "mandoc_aux.h"  #include "mandoc_aux.h"
 #include "libmandoc.h"  #include "mandoc.h"
   #include "roff.h"
 #include "mdoc.h"  #include "mdoc.h"
 #include "man.h"  #include "man.h"
   #include "libmandoc.h"
   #include "roff_int.h"
   
 #define REPARSE_LIMIT   1000  #define REPARSE_LIMIT   1000
   
 struct  mparse {  struct  mparse {
         struct man       *pman; /* persistent man parser */          struct roff_man  *man; /* man parser */
         struct mdoc      *pmdoc; /* persistent mdoc parser */  
         struct man       *man; /* man parser */  
         struct mdoc      *mdoc; /* mdoc parser */  
         struct roff      *roff; /* roff parser (!NULL) */          struct roff      *roff; /* roff parser (!NULL) */
         const struct mchars *mchars; /* character table */          const struct mchars *mchars; /* character table */
         char             *sodest; /* filename pointed to by .so */          char             *sodest; /* filename pointed to by .so */
Line 60  struct mparse {
Line 59  struct mparse {
         enum mandoclevel  file_status; /* status of current parse */          enum mandoclevel  file_status; /* status of current parse */
         enum mandoclevel  wlevel; /* ignore messages below this */          enum mandoclevel  wlevel; /* ignore messages below this */
         int               options; /* parser options */          int               options; /* parser options */
           int               gzip; /* current input file is gzipped */
         int               filenc; /* encoding of the current file */          int               filenc; /* encoding of the current file */
         int               reparse_count; /* finite interp. stack */          int               reparse_count; /* finite interp. stack */
         int               line; /* line number in the file */          int               line; /* line number in the file */
         pid_t             child; /* the gunzip(1) process */  
 };  };
   
 static  void      choose_parser(struct mparse *);  static  void      choose_parser(struct mparse *);
Line 109  static const char * const mandocerrs[MANDOCERR_MAX] = 
Line 108  static const char * const mandocerrs[MANDOCERR_MAX] = 
         "no document body",          "no document body",
         "content before first section header",          "content before first section header",
         "first section is not \"NAME\"",          "first section is not \"NAME\"",
         "bad NAME section contents",          "NAME section without name",
           "NAME section without description",
           "description not at the end of NAME",
           "bad NAME section content",
           "missing description line, using \"\"",
         "sections out of conventional order",          "sections out of conventional order",
         "duplicate section title",          "duplicate section title",
         "unexpected section",          "unexpected section",
Line 135  static const char * const mandocerrs[MANDOCERR_MAX] = 
Line 138  static const char * const mandocerrs[MANDOCERR_MAX] = 
         "skipping empty request",          "skipping empty request",
         "conditional request controls empty scope",          "conditional request controls empty scope",
         "skipping empty macro",          "skipping empty macro",
           "empty block",
         "empty argument, using 0n",          "empty argument, using 0n",
         "argument count wrong",  
         "missing display type, using -ragged",          "missing display type, using -ragged",
         "list type is not the first argument",          "list type is not the first argument",
         "missing -width in -tag list, using 8n",          "missing -width in -tag list, using 8n",
         "missing utility name, using \"\"",          "missing utility name, using \"\"",
           "missing function name, using \"\"",
         "empty head in list item",          "empty head in list item",
         "empty list item",          "empty list item",
         "missing font type, using \\fR",          "missing font type, using \\fR",
         "unknown font type, using \\fR",          "unknown font type, using \\fR",
         "nothing follows prefix",          "nothing follows prefix",
           "empty reference block",
         "missing -std argument, adding it",          "missing -std argument, adding it",
           "missing option string, using \"\"",
           "missing resource identifier, using \"\"",
         "missing eqn box, using \"\"",          "missing eqn box, using \"\"",
   
         /* related to bad macro arguments */          /* related to bad macro arguments */
Line 156  static const char * const mandocerrs[MANDOCERR_MAX] = 
Line 163  static const char * const mandocerrs[MANDOCERR_MAX] = 
         "skipping duplicate display type",          "skipping duplicate display type",
         "skipping duplicate list type",          "skipping duplicate list type",
         "skipping -width argument",          "skipping -width argument",
           "wrong number of cells",
         "unknown AT&T UNIX version",          "unknown AT&T UNIX version",
         "comma in function argument",          "comma in function argument",
         "parenthesis in function name",          "parenthesis in function name",
         "invalid content in Rs block",          "invalid content in Rs block",
         "invalid Boolean argument",          "invalid Boolean argument",
         "unknown font, skipping request",          "unknown font, skipping request",
           "odd number of characters in request",
   
         /* related to plain text */          /* related to plain text */
         "blank line in fill mode, using .sp",          "blank line in fill mode, using .sp",
Line 206  static const char * const mandocerrs[MANDOCERR_MAX] = 
Line 215  static const char * const mandocerrs[MANDOCERR_MAX] = 
   
         /* related to request and macro arguments */          /* related to request and macro arguments */
         "escaped character not allowed in a name",          "escaped character not allowed in a name",
         "argument count wrong",  
         "NOT IMPLEMENTED: Bd -file",          "NOT IMPLEMENTED: Bd -file",
         "missing list type, using -item",          "missing list type, using -item",
         "missing manual name, using \"\"",          "missing manual name, using \"\"",
Line 281  choose_parser(struct mparse *curp)
Line 289  choose_parser(struct mparse *curp)
                 }                  }
         }          }
   
         if (format == MPARSE_MDOC) {          if (curp->man == NULL) {
                 if (NULL == curp->pmdoc)                  curp->man = roff_man_alloc(curp->roff, curp, curp->defos,
                         curp->pmdoc = mdoc_alloc(                      curp->options & MPARSE_QUICK ? 1 : 0);
                             curp->roff, curp, curp->defos,                  curp->man->macroset = MACROSET_MAN;
                             MPARSE_QUICK & curp->options ? 1 : 0);                  curp->man->first->tok = TOKEN_NONE;
                 assert(curp->pmdoc);  
                 curp->mdoc = curp->pmdoc;  
                 return;  
         }          }
   
         /* Fall back to man(7) as a last resort. */          if (format == MPARSE_MDOC) {
                   mdoc_hash_init();
         if (NULL == curp->pman)                  curp->man->macroset = MACROSET_MDOC;
                 curp->pman = man_alloc(                  curp->man->first->tok = TOKEN_NONE;
                     curp->roff, curp, curp->defos,          } else {
                     MPARSE_QUICK & curp->options ? 1 : 0);                  man_hash_init();
         assert(curp->pman);                  curp->man->macroset = MACROSET_MAN;
         curp->man = curp->pman;                  curp->man->first->tok = TOKEN_NONE;
           }
 }  }
   
 /*  /*
Line 320  mparse_buf_r(struct mparse *curp, struct buf blk, size
Line 326  mparse_buf_r(struct mparse *curp, struct buf blk, size
         int              of;          int              of;
         int              lnn; /* line number in the real file */          int              lnn; /* line number in the real file */
         int              fd;          int              fd;
         pid_t            save_child;  
         unsigned char    c;          unsigned char    c;
   
         memset(&ln, 0, sizeof(ln));          memset(&ln, 0, sizeof(ln));
Line 393  mparse_buf_r(struct mparse *curp, struct buf blk, size
Line 398  mparse_buf_r(struct mparse *curp, struct buf blk, size
                                     MANDOCERR_CHAR_UNSUPP,                                      MANDOCERR_CHAR_UNSUPP,
                                     curp, curp->line, pos, "0x%x", c);                                      curp, curp->line, pos, "0x%x", c);
                                 i++;                                  i++;
                                 ln.buf[pos++] = '?';                                  if (c != '\r')
                                           ln.buf[pos++] = '?';
                                 continue;                                  continue;
                         }                          }
   
Line 531  rerun:
Line 537  rerun:
                         if (curp->secondary)                          if (curp->secondary)
                                 curp->secondary->sz -= pos + 1;                                  curp->secondary->sz -= pos + 1;
                         save_file = curp->file;                          save_file = curp->file;
                         save_child = curp->child;  
                         if (mparse_open(curp, &fd, ln.buf + of) ==                          if (mparse_open(curp, &fd, ln.buf + of) ==
                             MANDOCLEVEL_OK) {                              MANDOCLEVEL_OK) {
                                 mparse_readfd(curp, fd, ln.buf + of);                                  mparse_readfd(curp, fd, ln.buf + of);
Line 549  rerun:
Line 554  rerun:
                                 of = 0;                                  of = 0;
                                 mparse_buf_r(curp, ln, of, 0);                                  mparse_buf_r(curp, ln, of, 0);
                         }                          }
                         curp->child = save_child;  
                         pos = 0;                          pos = 0;
                         continue;                          continue;
                 default:                  default:
Line 563  rerun:
Line 567  rerun:
                  * parsers with each one.                   * parsers with each one.
                  */                   */
   
                 if ( ! (curp->man || curp->mdoc))                  if (curp->man == NULL ||
                       curp->man->macroset == MACROSET_NONE)
                         choose_parser(curp);                          choose_parser(curp);
   
                 /*                  /*
Line 575  rerun:
Line 580  rerun:
                  * Do the same for ROFF_EQN.                   * Do the same for ROFF_EQN.
                  */                   */
   
                 if (rr == ROFF_TBL) {                  if (rr == ROFF_TBL)
                         while ((span = roff_span(curp->roff)) != NULL)                          while ((span = roff_span(curp->roff)) != NULL)
                                 if (curp->man == NULL)                                  roff_addtbl(curp->man, span);
                                         mdoc_addspan(curp->mdoc, span);                  else if (rr == ROFF_EQN)
                                 else                          roff_addeqn(curp->man, roff_eqn(curp->roff));
                                         man_addspan(curp->man, span);                  else if ((curp->man->macroset == MACROSET_MDOC ?
                 } else if (rr == ROFF_EQN) {                      mdoc_parseln(curp->man, curp->line, ln.buf, of) :
                         if (curp->man == NULL)  
                                 mdoc_addeqn(curp->mdoc, roff_eqn(curp->roff));  
                         else  
                                 man_addeqn(curp->man, roff_eqn(curp->roff));  
                 } else if ((curp->man == NULL ?  
                     mdoc_parseln(curp->mdoc, curp->line, ln.buf, of) :  
                     man_parseln(curp->man, curp->line, ln.buf, of)) == 2)                      man_parseln(curp->man, curp->line, ln.buf, of)) == 2)
                                 break;                                  break;
   
Line 608  static int
Line 607  static int
 read_whole_file(struct mparse *curp, const char *file, int fd,  read_whole_file(struct mparse *curp, const char *file, int fd,
                 struct buf *fb, int *with_mmap)                  struct buf *fb, int *with_mmap)
 {  {
           gzFile           gz;
         size_t           off;          size_t           off;
         ssize_t          ssz;          ssize_t          ssz;
   
Line 625  read_whole_file(struct mparse *curp, const char *file,
Line 625  read_whole_file(struct mparse *curp, const char *file,
          * concerned that this is going to tank any machines.           * concerned that this is going to tank any machines.
          */           */
   
         if (S_ISREG(st.st_mode)) {          if (curp->gzip == 0 && S_ISREG(st.st_mode)) {
                 if (st.st_size >= (1U << 31)) {                  if (st.st_size > 0x7fffffff) {
                         mandoc_msg(MANDOCERR_TOOLARGE, curp, 0, 0, NULL);                          mandoc_msg(MANDOCERR_TOOLARGE, curp, 0, 0, NULL);
                         return(0);                          return(0);
                 }                  }
Line 638  read_whole_file(struct mparse *curp, const char *file,
Line 638  read_whole_file(struct mparse *curp, const char *file,
         }          }
 #endif  #endif
   
           if (curp->gzip) {
                   if ((gz = gzdopen(fd, "rb")) == NULL) {
                           perror(file);
                           exit((int)MANDOCLEVEL_SYSERR);
                   }
           } else
                   gz = NULL;
   
         /*          /*
          * If this isn't a regular file (like, say, stdin), then we must           * If this isn't a regular file (like, say, stdin), then we must
          * go the old way and just read things in bit by bit.           * go the old way and just read things in bit by bit.
Line 656  read_whole_file(struct mparse *curp, const char *file,
Line 664  read_whole_file(struct mparse *curp, const char *file,
                         }                          }
                         resize_buf(fb, 65536);                          resize_buf(fb, 65536);
                 }                  }
                 ssz = read(fd, fb->buf + (int)off, fb->sz - off);                  ssz = curp->gzip ?
                       gzread(gz, fb->buf + (int)off, fb->sz - off) :
                       read(fd, fb->buf + (int)off, fb->sz - off);
                 if (ssz == 0) {                  if (ssz == 0) {
                         fb->sz = off;                          fb->sz = off;
                         return(1);                          return(1);
Line 677  static void
Line 687  static void
 mparse_end(struct mparse *curp)  mparse_end(struct mparse *curp)
 {  {
   
         if (curp->mdoc == NULL &&          if (curp->man == NULL && curp->sodest == NULL)
             curp->man == NULL &&                  curp->man = roff_man_alloc(curp->roff, curp, curp->defos,
             curp->sodest == NULL) {                      curp->options & MPARSE_QUICK ? 1 : 0);
                 if (curp->options & MPARSE_MDOC)          if (curp->man->macroset == MACROSET_NONE)
                         curp->mdoc = curp->pmdoc;                  curp->man->macroset = MACROSET_MAN;
                 else {          if (curp->man->macroset == MACROSET_MDOC)
                         if (curp->pman == NULL)                  mdoc_endparse(curp->man);
                                 curp->pman = man_alloc(          else
                                     curp->roff, curp, curp->defos,  
                                     curp->options & MPARSE_QUICK ? 1 : 0);  
                         curp->man = curp->pman;  
                 }  
         }  
         if (curp->mdoc)  
                 mdoc_endparse(curp->mdoc);  
         if (curp->man)  
                 man_endparse(curp->man);                  man_endparse(curp->man);
         roff_endparse(curp->roff);          roff_endparse(curp->roff);
 }  }
Line 778  mparse_readfd(struct mparse *curp, int fd, const char 
Line 780  mparse_readfd(struct mparse *curp, int fd, const char 
         if (fd != STDIN_FILENO && close(fd) == -1)          if (fd != STDIN_FILENO && close(fd) == -1)
                 perror(file);                  perror(file);
   
         mparse_wait(curp);  
         return(curp->file_status);          return(curp->file_status);
 }  }
   
 enum mandoclevel  enum mandoclevel
 mparse_open(struct mparse *curp, int *fd, const char *file)  mparse_open(struct mparse *curp, int *fd, const char *file)
 {  {
         int               pfd[2];  
         int               save_errno;  
         char             *cp;          char             *cp;
   
         curp->file = file;          curp->file = file;
           cp = strrchr(file, '.');
           curp->gzip = (cp != NULL && ! strcmp(cp + 1, "gz"));
   
         /* Unless zipped, try to just open the file. */          /* First try to use the filename as it is. */
   
         if ((cp = strrchr(file, '.')) == NULL ||          if ((*fd = open(file, O_RDONLY)) != -1)
             strcmp(cp + 1, "gz")) {                  return(MANDOCLEVEL_OK);
                 curp->child = 0;  
                 if ((*fd = open(file, O_RDONLY)) != -1)  
                         return(MANDOCLEVEL_OK);  
   
                 /* Open failed; try to append ".gz". */          /*
            * If that doesn't work and the filename doesn't
            * already  end in .gz, try appending .gz.
            */
   
           if ( ! curp->gzip) {
                 mandoc_asprintf(&cp, "%s.gz", file);                  mandoc_asprintf(&cp, "%s.gz", file);
                 file = cp;                  *fd = open(file, O_RDONLY);
         } else  
                 cp = NULL;  
   
         /* Before forking, make sure the file can be read. */  
   
         save_errno = errno;  
         if (access(file, R_OK) == -1) {  
                 if (cp != NULL)  
                         errno = save_errno;  
                 free(cp);                  free(cp);
                 *fd = -1;                  if (*fd != -1) {
                 curp->child = 0;                          curp->gzip = 1;
                 mandoc_msg(MANDOCERR_FILE, curp, 0, 0, strerror(errno));                          return(MANDOCLEVEL_OK);
                 return(MANDOCLEVEL_ERROR);  
         }  
   
         /* Run gunzip(1). */  
   
         if (pipe(pfd) == -1) {  
                 perror("pipe");  
                 exit((int)MANDOCLEVEL_SYSERR);  
         }  
   
         switch (curp->child = fork()) {  
         case -1:  
                 perror("fork");  
                 exit((int)MANDOCLEVEL_SYSERR);  
         case 0:  
                 close(pfd[0]);  
                 if (dup2(pfd[1], STDOUT_FILENO) == -1) {  
                         perror("dup");  
                         exit((int)MANDOCLEVEL_SYSERR);  
                 }                  }
                 execlp("gunzip", "gunzip", "-c", file, NULL);  
                 perror("exec");  
                 exit((int)MANDOCLEVEL_SYSERR);  
         default:  
                 close(pfd[1]);  
                 *fd = pfd[0];  
                 return(MANDOCLEVEL_OK);  
         }          }
 }  
   
 enum mandoclevel          /* Neither worked, give up. */
 mparse_wait(struct mparse *curp)  
 {  
         int       status;  
   
         if (curp->child == 0)          mandoc_msg(MANDOCERR_FILE, curp, 0, 0, strerror(errno));
                 return(MANDOCLEVEL_OK);          return(MANDOCLEVEL_ERROR);
   
         if (waitpid(curp->child, &status, 0) == -1) {  
                 perror("wait");  
                 exit((int)MANDOCLEVEL_SYSERR);  
         }  
         if (WIFSIGNALED(status)) {  
                 mandoc_vmsg(MANDOCERR_FILE, curp, 0, 0,  
                     "gunzip died from signal %d", WTERMSIG(status));  
                 return(MANDOCLEVEL_ERROR);  
         }  
         if (WEXITSTATUS(status)) {  
                 mandoc_vmsg(MANDOCERR_FILE, curp, 0, 0,  
                     "gunzip failed with code %d", WEXITSTATUS(status));  
                 return(MANDOCLEVEL_ERROR);  
         }  
         return(MANDOCLEVEL_OK);  
 }  }
   
 struct mparse *  struct mparse *
Line 886  mparse_alloc(int options, enum mandoclevel wlevel, man
Line 833  mparse_alloc(int options, enum mandoclevel wlevel, man
   
         curp->mchars = mchars;          curp->mchars = mchars;
         curp->roff = roff_alloc(curp, curp->mchars, options);          curp->roff = roff_alloc(curp, curp->mchars, options);
         if (curp->options & MPARSE_MDOC)          curp->man = roff_man_alloc( curp->roff, curp, curp->defos,
                 curp->pmdoc = mdoc_alloc(                  curp->options & MPARSE_QUICK ? 1 : 0);
                     curp->roff, curp, curp->defos,          if (curp->options & MPARSE_MDOC) {
                     curp->options & MPARSE_QUICK ? 1 : 0);                  mdoc_hash_init();
         if (curp->options & MPARSE_MAN)                  curp->man->macroset = MACROSET_MDOC;
                 curp->pman = man_alloc(          } else if (curp->options & MPARSE_MAN) {
                     curp->roff, curp, curp->defos,                  man_hash_init();
                     curp->options & MPARSE_QUICK ? 1 : 0);                  curp->man->macroset = MACROSET_MAN;
           }
           curp->man->first->tok = TOKEN_NONE;
         return(curp);          return(curp);
 }  }
   
Line 904  mparse_reset(struct mparse *curp)
Line 852  mparse_reset(struct mparse *curp)
   
         roff_reset(curp->roff);          roff_reset(curp->roff);
   
         if (curp->mdoc)          if (curp->man != NULL)
                 mdoc_reset(curp->mdoc);                  roff_man_reset(curp->man);
         if (curp->man)  
                 man_reset(curp->man);  
         if (curp->secondary)          if (curp->secondary)
                 curp->secondary->sz = 0;                  curp->secondary->sz = 0;
   
         curp->file_status = MANDOCLEVEL_OK;          curp->file_status = MANDOCLEVEL_OK;
         curp->mdoc = NULL;  
         curp->man = NULL;  
   
         free(curp->sodest);          free(curp->sodest);
         curp->sodest = NULL;          curp->sodest = NULL;
Line 923  void
Line 867  void
 mparse_free(struct mparse *curp)  mparse_free(struct mparse *curp)
 {  {
   
         if (curp->pmdoc)          roff_man_free(curp->man);
                 mdoc_free(curp->pmdoc);  
         if (curp->pman)  
                 man_free(curp->pman);  
         if (curp->roff)          if (curp->roff)
                 roff_free(curp->roff);                  roff_free(curp->roff);
         if (curp->secondary)          if (curp->secondary)
Line 938  mparse_free(struct mparse *curp)
Line 879  mparse_free(struct mparse *curp)
 }  }
   
 void  void
 mparse_result(struct mparse *curp,  mparse_result(struct mparse *curp, struct roff_man **man,
         struct mdoc **mdoc, struct man **man, char **sodest)          char **sodest)
 {  {
   
         if (sodest && NULL != (*sodest = curp->sodest)) {          if (sodest && NULL != (*sodest = curp->sodest)) {
                 *mdoc = NULL;  
                 *man = NULL;                  *man = NULL;
                 return;                  return;
         }          }
         if (mdoc)  
                 *mdoc = curp->mdoc;  
         if (man)          if (man)
                 *man = curp->man;                  *man = curp->man;
 }  }
Legend:
Removed from v.1.120  
changed lines
  Added in v.1.140
CVSweb