Remove the peeking into the stdio internals inside of scan(). Hm, this
[mmh] / uip / scansbr.c
index 480cab5..232a419 100644 (file)
 #include <h/tws.h>
 #include <h/utils.h>
 
-#ifdef _FSTDIO
-# define _ptr _p                /* Gag    */
-# define _cnt _w                /* Wretch */
-#endif
-
 #define MAXSCANL 256           /* longest possible scan line */
 
 /*
@@ -65,7 +60,7 @@ scan (FILE *inb, int innum, int outnum, char *nfs, int width, int curflg,
       int unseen, char *folder, long size, int noisy)
 {
     int i, compnum, encrypted, state;
-    unsigned char *cp, *tmpbuf;
+    unsigned char *cp, *tmpbuf, *startbody;
     char **nxtbuf;
     char *saved_c_text = NULL;
     struct comp *cptr;
@@ -93,24 +88,52 @@ scan (FILE *inb, int innum, int outnum, char *nfs, int width, int curflg,
            umask(~m_gmprot());
 
        /* Compile format string */
-       ncomps = fmt_compile (nfs, &fmt) + 1;
+       ncomps = fmt_compile (nfs, &fmt, 1) + 2;
 
-       FINDCOMP(bodycomp, "body");
-       FINDCOMP(datecomp, "date");
-       FINDCOMP(cptr, "folder");
+       bodycomp = fmt_findcomp("body");
+       datecomp = fmt_findcomp("date");
+       cptr = fmt_findcomp("folder");
        if (cptr && folder)
-           cptr->c_text = folder;
-       FINDCOMP(cptr, "encrypted");
-       if (!cptr)
-           if ((cptr = (struct comp *) calloc (1, sizeof(*cptr)))) {
-               cptr->c_name = "encrypted";
-               cptr->c_next = wantcomp[i = CHASH (cptr->c_name)];
-               wantcomp[i] = cptr;
+           cptr->c_text = getcpy(folder);
+       if (fmt_addcompentry("encrypted")) {
                ncomps++;
        }
-       FINDCOMP (cptr, "dtimenow");
+       cptr =  fmt_findcomp("dtimenow");
        if (cptr)
            cptr->c_text = getcpy(dtimenow (0));
+
+       /*
+        * In other programs I got rid of this complicated buffer switching,
+        * but since scan reads lots of messages at once and this complicated
+        * memory management, I decided to keep it; otherwise there was
+        * the potential for a lot of malloc() and free()s, and I could
+        * see the malloc() pool really getting fragmented.  Maybe it
+        * wouldn't be an issue in practice; perhaps this will get
+        * revisited someday.
+        *
+        * So, some notes for what's going on:
+        *
+        * nxtbuf is an array of pointers that contains malloc()'d buffers
+        * to hold our component text.  used_buf is an array of struct comp
+        * pointers that holds pointers to component structures we found while
+        * processing a message.
+        *
+        * We read in the message with m_getfld(), using "tmpbuf" as our
+        * input buffer.  tmpbuf is set at the start of message processing
+        * to the first buffer in our buffer pool (nxtbuf).
+        *
+        * Every time we find a component we care about, we set that component's
+        * text buffer to the current value of tmpbuf, and then switch tmpbuf
+        * to the next buffer in our pool.  We also add that component to
+        * our used_buf pool.
+        *
+        * When we're done, we go back and zero out all of the component
+        * text buffer pointers that we saved in used_buf.
+        *
+        * Note that this means c_text memory is NOT owned by the fmt_module
+        * and it's our responsibility to free it.
+        */
+
        nxtbuf = compbuffers = (char **) calloc((size_t) ncomps, sizeof(char *));
        if (nxtbuf == NULL)
            adios (NULL, "unable to allocate component buffers");
@@ -130,6 +153,7 @@ scan (FILE *inb, int innum, int outnum, char *nfs, int width, int curflg,
     nxtbuf = compbuffers;
     savecomp = used_buf;
     tmpbuf = *nxtbuf++;
+    startbody = NULL;
     dat[0] = innum ? innum : outnum;
     dat[1] = curflg;
     dat[4] = unseen;
@@ -176,23 +200,18 @@ scan (FILE *inb, int innum, int outnum, char *nfs, int width, int curflg,
                 * buffer as the component temp buffer (buffer switching
                 * saves an extra copy of the component text).
                 */
-               if ((cptr = wantcomp[CHASH(name)])) {
-                   do {
-                       if (!mh_strcasecmp(name, cptr->c_name)) {
-                           if (! cptr->c_text) {
-                               cptr->c_text = tmpbuf;
-                               for (cp = tmpbuf + strlen (tmpbuf) - 1; 
+               if ((cptr = fmt_findcasecomp(name))) {
+                   if (! cptr->c_text) {
+                       cptr->c_text = tmpbuf;
+                       for (cp = tmpbuf + strlen (tmpbuf) - 1; 
                                        cp >= tmpbuf; cp--)
-                                   if (isspace (*cp))
-                                       *cp = 0;
-                                   else
-                                       break;
-                               *--savecomp = cptr;
-                               tmpbuf = *nxtbuf++;
-                           }
-                           break;
-                       }
-                   } while ((cptr = cptr->c_next));
+                           if (isspace (*cp))
+                               *cp = 0;
+                           else
+                               break;
+                       *--savecomp = cptr;
+                       tmpbuf = *nxtbuf++;
+                   }
                }
 
                while (state == FLDPLUS) {
@@ -213,48 +232,40 @@ scan (FILE *inb, int innum, int outnum, char *nfs, int width, int curflg,
                    state = m_getfld (state, name, tmpbuf + i,
                                      rlwidth - i, inb);
                }
+
                if (! outnum) {
                    state = FILEEOF; /* stop now if scan cmd */
+                   if (bodycomp && startbody == NULL)
+                       startbody = tmpbuf;
                    goto finished;
                }
                if (putc ('\n', scnout) == EOF) DIEWRERR();
                FPUTS (tmpbuf);
                /*
-                * performance hack: some people like to run "inc" on
-                * things like net.sources or large digests.  We do a
-                * copy directly into the output buffer rather than
-                * going through an intermediate buffer.
+                 * The previous code here used to call m_getfld() using
+                 * pointers to the underlying output stdio buffers to
+                 * avoid the extra copy.  Tests by Markus Schnalke show
+                 * no noticable performance loss on larger mailboxes
+                 * if we incur an extra copy, and messing around with
+                 * internal stdio buffers is becoming more and more
+                 * unportable as times go on.  So from now on just deal
+                 * with the overhead of an extra copy.
                 *
-                * We need the amount of data m_getfld found & don't
-                * want to do a strlen on the long buffer so there's
-                * a hack in m_getfld to save the amount of data it
-                * returned in the global "msg_count".
+                * Subtle change - with the previous code tmpbuf wasn't
+                * used, so we could reuse it for the {body} component.
+                * Now since we're using tmpbuf as our read buffer we
+                * need to save the beginning of the body for later.
+                * See the above (and below) use of startbody.
                 */
 body:;
+               if (bodycomp && startbody == NULL) {
+                   startbody = tmpbuf;
+                   tmpbuf = *nxtbuf++;
+               }
+
                while (state == BODY) {
-#ifdef LINUX_STDIO
-                   if (scnout->_IO_write_ptr == scnout->_IO_write_end) {
-#elif defined(__DragonFly__)
-                   if (((struct __FILE_public *)scnout)->_w <= 0) {
-#else
-                   if (scnout->_cnt <= 0) {
-#endif
-                       if (fflush(scnout) == EOF)
-                           DIEWRERR ();
-                   }
-#ifdef LINUX_STDIO
-                   state = m_getfld(state, name, scnout->_IO_write_ptr,
-                       (long)scnout->_IO_write_ptr-(long)scnout->_IO_write_end , inb);
-                   scnout->_IO_write_ptr += msg_count;
-#elif defined(__DragonFly__)
-                   state = m_getfld( state, name, ((struct __FILE_public *)scnout)->_p, -(((struct __FILE_public *)scnout)->_w), inb );
-                   ((struct __FILE_public *)scnout)->_w -= msg_count;
-                   ((struct __FILE_public *)scnout)->_p += msg_count;
-#else
-                   state = m_getfld( state, name, scnout->_ptr, -(scnout->_cnt), inb );
-                   scnout->_cnt -= msg_count;
-                   scnout->_ptr += msg_count;
-#endif
+                   state = m_getfld(state, name, tmpbuf, rlwidth, inb);
+                   FPUTS(tmpbuf);
                }
                goto finished;
 
@@ -295,7 +306,7 @@ finished:
     /* Save and restore buffer so we don't trash our dynamic pool! */
     if (bodycomp) {
        saved_c_text = bodycomp->c_text;
-       bodycomp->c_text = tmpbuf;
+       bodycomp->c_text = startbody;
     }
 
     if (size)
@@ -335,7 +346,7 @@ finished:
     if (noisy)
        fputs (scanl, stdout);
 
-    FINDCOMP (cptr, "encrypted");
+    cptr = fmt_findcomp ("encrypted");
     encrypted = cptr && cptr->c_text;
 
     /* return dynamically allocated buffers to pool */