Changed type of name argument to m_getfld() from unsigned char *
[mmh] / sbr / m_getfld.c
1
2 /*
3  * m_getfld.c -- read/parse a message
4  *
5  * This code is Copyright (c) 2002, by the authors of nmh.  See the
6  * COPYRIGHT file in the root directory of the nmh distribution for
7  * complete copyright information.
8  */
9
10 #include <h/mh.h>
11 #include <h/mts.h>
12 #include <h/utils.h>
13
14 /* This module has a long and checkered history.  First, it didn't burst
15    maildrops correctly because it considered two CTRL-A:s in a row to be
16    an inter-message delimiter.  It really is four CTRL-A:s followed by a
17    newline.  Unfortunately, MMDF will convert this delimiter *inside* a
18    message to a CTRL-B followed by three CTRL-A:s and a newline.  This
19    caused the old version of m_getfld() to declare eom prematurely.  The
20    fix was a lot slower than
21
22                 c == '\001' && peekc (iob) == '\001'
23
24    but it worked, and to increase generality, MBOX style maildrops could
25    be parsed as well.  Unfortunately the speed issue finally caught up with
26    us since this routine is at the very heart of MH.
27
28    To speed things up considerably, the routine Eom() was made an auxilary
29    function called by the macro eom().  Unless we are bursting a maildrop,
30    the eom() macro returns FALSE saying we aren't at the end of the
31    message.
32
33    The next thing to do is to read the mts.conf file and initialize
34    delimiter[] and delimlen accordingly...
35
36    After mhl was made a built-in in msh, m_getfld() worked just fine
37    (using m_unknown() at startup).  Until one day: a message which was
38    the result of a bursting was shown. Then, since the burst boundaries
39    aren't CTRL-A:s, m_getfld() would blinding plunge on past the boundary.
40    Very sad.  The solution: introduce m_eomsbr().  This hook gets called
41    after the end of each line (since testing for eom involves an fseek()).
42    This worked fine, until one day: a message with no body portion arrived.
43    Then the
44
45                    while (eom (c = Getc (iob), iob))
46                         continue;
47
48    loop caused m_getfld() to return FMTERR.  So, that logic was changed to
49    check for (*eom_action) and act accordingly.
50
51    This worked fine, until one day: someone didn't use four CTRL:A's as
52    their delimiters.  So, the bullet got bit and we read mts.h and
53    continue to struggle on.  It's not that bad though, since the only time
54    the code gets executed is when inc (or msh) calls it, and both of these
55    have already called mts_init().
56
57    ------------------------
58    (Written by Van Jacobson for the mh6 m_getfld, January, 1986):
59
60    This routine was accounting for 60% of the cpu time used by most mh
61    programs.  I spent a bit of time tuning and it now accounts for <10%
62    of the time used.  Like any heavily tuned routine, it's a bit
63    complex and you want to be sure you understand everything that it's
64    doing before you start hacking on it.  Let me try to emphasize
65    that:  every line in this atrocity depends on every other line,
66    sometimes in subtle ways.  You should understand it all, in detail,
67    before trying to change any part.  If you do change it, test the
68    result thoroughly (I use a hand-constructed test file that exercises
69    all the ways a header name, header body, header continuation,
70    header-body separator, body line and body eom can align themselves
71    with respect to a buffer boundary).  "Minor" bugs in this routine
72    result in garbaged or lost mail.
73
74    If you hack on this and slow it down, I, my children and my
75    children's children will curse you.
76
77    This routine gets used on three different types of files: normal,
78    single msg files, "packed" unix or mmdf mailboxs (when used by inc)
79    and packed, directoried bulletin board files (when used by msh).
80    The biggest impact of different file types is in "eom" testing.  The
81    code has been carefully organized to test for eom at appropriate
82    times and at no other times (since the check is quite expensive).
83    I have tried to arrange things so that the eom check need only be
84    done on entry to this routine.  Since an eom can only occur after a
85    newline, this is easy to manage for header fields.  For the msg
86    body, we try to efficiently search the input buffer to see if
87    contains the eom delimiter.  If it does, we take up to the
88    delimiter, otherwise we take everything in the buffer.  (The change
89    to the body eom/copy processing produced the most noticeable
90    performance difference, particularly for "inc" and "show".)
91
92    There are three qualitatively different things this routine busts
93    out of a message: field names, field text and msg bodies.  Field
94    names are typically short (~8 char) and the loop that extracts them
95    might terminate on a colon, newline or max width.  I considered
96    using a Vax "scanc" to locate the end of the field followed by a
97    "bcopy" but the routine call overhead on a Vax is too large for this
98    to work on short names.  If Berkeley ever makes "inline" part of the
99    C optimiser (so things like "scanc" turn into inline instructions) a
100    change here would be worthwhile.
101
102    Field text is typically 60 - 100 characters so there's (barely)
103    a win in doing a routine call to something that does a "locc"
104    followed by a "bmove".  About 30% of the fields have continuations
105    (usually the 822 "received:" lines) and each continuation generates
106    another routine call.  "Inline" would be a big win here, as well.
107
108    Messages, as of this writing, seem to come in two flavors: small
109    (~1K) and long (>2K).  Most messages have 400 - 600 bytes of headers
110    so message bodies average at least a few hundred characters.
111    Assuming your system uses reasonably sized stdio buffers (1K or
112    more), this routine should be able to remove the body in large
113    (>500 byte) chunks.  The makes the cost of a call to "bcopy"
114    small but there is a premium on checking for the eom in packed
115    maildrops.  The eom pattern is always a simple string so we can
116    construct an efficient pattern matcher for it (e.g., a Vax "matchc"
117    instruction).  Some thought went into recognizing the start of
118    an eom that has been split across two buffers.
119
120    This routine wants to deal with large chunks of data so, rather
121    than "getc" into a local buffer, it uses stdio's buffer.  If
122    you try to use it on a non-buffered file, you'll get what you
123    deserve.  This routine "knows" that struct FILEs have a _ptr
124    and a _cnt to describe the current state of the buffer and
125    it knows that _filbuf ignores the _ptr & _cnt and simply fills
126    the buffer.  If stdio on your system doesn't work this way, you
127    may have to make small changes in this routine.
128    
129    This routine also "knows" that an EOF indication on a stream is
130    "sticky" (i.e., you will keep getting EOF until you reposition the
131    stream).  If your system doesn't work this way it is broken and you
132    should complain to the vendor.  As a consequence of the sticky
133    EOF, this routine will never return any kind of EOF status when
134    there is data in "name" or "buf").
135   */
136
137 /*
138 Purpose
139 =======
140 Reads an Internet message (RFC 5322), or one or more messages stored in a
141 maildrop in mbox (RFC 4155) or MMDF format, from a file stream.  Each call
142 to m_getfld() reads one header field, or a portion of the body, in sequence.
143
144 Inputs
145 ======
146 state:  message parse state
147 bufsz:  maximum number of characters to load into buf
148 iob:  input file stream
149
150 Outputs
151 =======
152 name:  header field name (array of size NAMESZ=999)
153 buf:  either a header field body or message body
154 (return value):  message parse state on return from function
155 (global) int msg_count:  number of characters loaded into buf
156
157 Functions (part of Inputs, really)
158 =========
159 void m_unknown(FILE *iob):  Determines the message delimiter string for the
160   maildrop.  Called by inc, scan, and msh when reading from a maildrop file.
161
162 void m_eomsbr (int (*action)(int)):  Sets the hook to check for end of
163   message in a maildrop.  Called only by msh.
164
165 Those functions save state in the State variables listed below.
166
167 Definitions
168 ===========
169 state is one of:
170   FLD      // Field returned
171   FLDPLUS  // Field returned with more to come
172   FLDEOF   // Field returned ending at eom
173   BODY     // Body  returned with more to come
174   BODYEOF  // Body  returned ending at eom
175   FILEEOF  // Reached end of input file
176   FMTERR   // Message Format error
177   LENERR   // Name too long error from getfld
178
179 msg_style is maildrop style, one of:
180   MS_UNKNOWN // type not known yet
181   MS_DEFAULT // default (one msg per file)
182   MS_MBOX    // Unix-style "from" lines
183   MS_MMDF    // string mmdlm2
184   MS_MSH     // whacko msh
185
186 State variables (part of Outputs)
187 ===============
188 m_getfld() retains state internally between calls in some state variables.
189
190 These two variables are global, but only used internally by m_getfld.c:
191 int msg_style
192 char *msg_delim
193
194 These are used for the end-of-message matcher when reading maildrops:
195 static unsigned char **pat_map
196 static unsigned char *fdelim
197 static unsigned char *delimend
198 static int fdelimlen
199 static unsigned char *edelim
200 static int edelimlen
201
202 Restriction
203 ===========
204 m_getfld() is restricted to operate on one file stream at a time because of
205 the retained state (see "State variables" above).
206
207 Current usage
208 =============
209 The first call to m_getfld() on a file stream is with a state of FLD.
210 Subsequent calls provide the state returned by the previous call.
211
212 Along the way, I thought of these possible interface changes that we
213 might want to consider before rototilling the internals:
214
215 1) To remove globals that don't need to be:
216    Change msg_style and msg_delim to be file static.
217
218 2) To remove a global:
219    Change bufsz to be in-out instead of in, and therefore int * instead of
220    int, and use that instead of global msg_count.  There are only 3 call
221    sites that use msg_count so it wouldn't take much effort to remove use of
222    it.  Of course, all call sites would have to change to provide an int *
223    instead of an int.  Some now pass constants.
224
225 3) To remove the state argument from the signature:
226    Given the Current usage and Restriction above, the state variable could
227    be removed from the signature and just retained internally.
228
229 4) To remove the Restriction above:
230    One approach would be for m_getfld() to retain multiple copies of that
231    state, one per iob that it sees.  Another approach would be for the
232    caller to store it in an opaque struct, the address of which is passed
233    through the interface.
234 */
235
236 /*
237  * static prototypes
238  */
239 static int m_Eom (int, FILE *);
240 static unsigned char *matchc(int, char *, int, char *);
241 static unsigned char *locc(int, unsigned char *, unsigned char);
242
243 #define Getc(iob)       getc(iob)
244 #define eom(c,iob)      (msg_style != MS_DEFAULT && \
245                          (((c) == *msg_delim && m_Eom(c,iob)) ||\
246                           (eom_action && (*eom_action)(c))))
247
248 static unsigned char **pat_map;
249
250 /*
251  * defined in sbr/m_msgdef.c = 0
252  * This is a disgusting hack for "inc" so it can know how many
253  * characters were stuffed in the buffer on the last call
254  * (see comments in uip/scansbr.c).
255  */
256 extern int msg_count;
257
258 /*
259  * defined in sbr/m_msgdef.c = MS_DEFAULT
260  */
261 extern int msg_style;
262
263 /*
264  * The "full" delimiter string for a packed maildrop consists
265  * of a newline followed by the actual delimiter.  E.g., the
266  * full string for a Unix maildrop would be: "\n\nFrom ".
267  * "Fdelim" points to the start of the full string and is used
268  * in the BODY case of the main routine to search the buffer for
269  * a possible eom.  Msg_delim points to the first character of
270  * the actual delim. string (i.e., fdelim+1).  Edelim
271  * points to the 2nd character of actual delimiter string.  It
272  * is used in m_Eom because the first character of the string
273  * has been read and matched before m_Eom is called.
274  */
275 extern char *msg_delim;         /* defined in sbr/m_msgdef.c = "" */
276 static unsigned char *fdelim;
277 static unsigned char *delimend;
278 static int fdelimlen;
279 static unsigned char *edelim;
280 static int edelimlen;
281
282 static int (*eom_action)(int) = NULL;
283
284 #ifdef _FSTDIO
285 # define _ptr    _p             /* Gag   */
286 # define _cnt    _r             /* Retch */
287 # define _filbuf __srget        /* Puke  */
288 # define DEFINED__FILBUF_TO_SOMETHING_SPECIFIC
289
290 # if defined __CYGWIN__
291   /* Cygwin's stdio.h does not declare __srget(). */
292   int __srget(FILE *);
293 # endif /* __CYGWIN__ */
294 #endif
295
296 #ifndef DEFINED__FILBUF_TO_SOMETHING_SPECIFIC
297 extern int  _filbuf(FILE*);
298 #endif
299
300
301 int
302 m_getfld (int state, unsigned char name[NAMESZ], unsigned char *buf,
303           int bufsz, FILE *iob)
304 {
305     register unsigned char  *bp, *cp, *ep, *sp;
306     register int cnt, c, i, j;
307
308     if ((c = Getc(iob)) < 0) {
309         msg_count = 0;
310         *buf = 0;
311         return FILEEOF;
312     }
313     if (eom (c, iob)) {
314         if (! eom_action) {
315             /* flush null messages */
316             while ((c = Getc(iob)) >= 0 && eom (c, iob))
317                 ;
318             if (c >= 0)
319                 ungetc(c, iob);
320         }
321         msg_count = 0;
322         *buf = 0;
323         return FILEEOF;
324     }
325
326     switch (state) {
327         case FLDEOF: 
328         case BODYEOF: 
329         case FLD: 
330             if (c == '\n' || c == '-') {
331                 /* we hit the header/body separator */
332                 while (c != '\n' && (c = Getc(iob)) >= 0)
333                     ;
334
335                 if (c < 0 || (c = Getc(iob)) < 0 || eom (c, iob)) {
336                     if (! eom_action) {
337                         /* flush null messages */
338                         while ((c = Getc(iob)) >= 0 && eom (c, iob))
339                             ;
340                         if (c >= 0)
341                             ungetc(c, iob);
342                     }
343                     msg_count = 0;
344                     *buf = 0;
345                     return FILEEOF;
346                 }
347                 state = BODY;
348                 goto body;
349             }
350             /*
351              * get the name of this component.  take characters up
352              * to a ':', a newline or NAMESZ-1 characters, whichever
353              * comes first.  
354              */
355             cp = name;
356             i = NAMESZ - 1;
357             for (;;) {
358 #ifdef LINUX_STDIO
359                 bp = sp = (unsigned char *) iob->_IO_read_ptr - 1;
360                 j = (cnt = ((long) iob->_IO_read_end -
361                         (long) iob->_IO_read_ptr)  + 1) < i ? cnt : i;
362 #elif defined(__DragonFly__)
363                 bp = sp = (unsigned char *) ((struct __FILE_public *)iob)->_p - 1;
364                 j = (cnt = ((struct __FILE_public *)iob)->_r+1) < i ? cnt : i;
365 #else
366                 bp = sp = (unsigned char *) iob->_ptr - 1;
367                 j = (cnt = iob->_cnt+1) < i ? cnt : i;
368 #endif
369                 while (--j >= 0 && (c = *bp++) != ':' && c != '\n')
370                     *cp++ = c;
371
372                 j = bp - sp;
373                 if ((cnt -= j) <= 0) {
374 #ifdef LINUX_STDIO
375                     iob->_IO_read_ptr = iob->_IO_read_end;
376                     if (__underflow(iob) == EOF) {
377 #elif defined(__DragonFly__)
378                     if (__srget(iob) == EOF) {
379 #else
380                     if (_filbuf(iob) == EOF) {
381 #endif
382                         *cp = *buf = 0;
383                         advise (NULL, "eof encountered in field \"%s\"", name);
384                         return FMTERR;
385                     }
386 #ifdef LINUX_STDIO
387                 iob->_IO_read_ptr++; /* NOT automatic in __underflow()! */
388 #endif
389                 } else {
390 #ifdef LINUX_STDIO
391                     iob->_IO_read_ptr = bp + 1;
392 #elif defined(__DragonFly__)
393                     ((struct __FILE_public *)iob)->_p = bp + 1;
394                     ((struct __FILE_public *)iob)->_r = cnt - 1;
395 #else
396                     iob->_ptr = bp + 1;
397                     iob->_cnt = cnt - 1;
398 #endif
399                 }
400                 if (c == ':')
401                     break;
402
403                 /*
404                  * something went wrong.  possibilities are:
405                  *  . hit a newline (error)
406                  *  . got more than namesz chars. (error)
407                  *  . hit the end of the buffer. (loop)
408                  */
409                 if (c == '\n') {
410                     /* We hit the end of the line without seeing ':' to
411                      * terminate the field name.  This is usually (always?)
412                      * spam.  But, blowing up is lame, especially when
413                      * scan(1)ing a folder with such messages.  Pretend such
414                      * lines are the first of the body (at least mutt also
415                      * handles it this way). */
416
417                     /* See if buf can hold this line, since we were assuming
418                      * we had a buffer of NAMESZ, not bufsz. */
419                     /* + 1 for the newline */
420                     if (bufsz < j + 1) {
421                         /* No, it can't.  Oh well, guess we'll blow up. */
422                         *cp = *buf = 0;
423                         advise (NULL, "eol encountered in field \"%s\"", name);
424                         state = FMTERR;
425                         goto finish;
426                     }
427                     memcpy (buf, name, j - 1);
428                     buf[j - 1] = '\n';
429                     buf[j] = '\0';
430                     /* mhparse.c:get_content wants to find the position of the
431                      * body start, but it thinks there's a blank line between
432                      * the header and the body (naturally!), so seek back so
433                      * that things line up even though we don't have that
434                      * blank line in this case.  Simpler parsers (e.g. mhl)
435                      * get extra newlines, but that should be harmless enough,
436                      * right?  This is a corrupt message anyway. */
437                     fseek (iob, ftell (iob) - 2, SEEK_SET);
438                     return BODY;
439                 }
440                 if ((i -= j) <= 0) {
441                     *cp = *buf = 0;
442                     advise (NULL, "field name \"%s\" exceeds %d bytes", name, NAMESZ - 2);
443                     state = LENERR;
444                     goto finish;
445                 }
446             }
447
448             while (isspace (*--cp) && cp >= name)
449                 ;
450             *++cp = 0;
451             /* fall through */
452
453         case FLDPLUS: 
454             /*
455              * get (more of) the text of a field.  take
456              * characters up to the end of this field (newline
457              * followed by non-blank) or bufsz-1 characters.
458              */
459             cp = buf; i = bufsz-1;
460             for (;;) {
461 #ifdef LINUX_STDIO
462                 cnt = (long) iob->_IO_read_end - (long) iob->_IO_read_ptr;
463                 bp = (unsigned char *) --iob->_IO_read_ptr;
464 #elif defined(__DragonFly__)
465                 cnt = ((struct __FILE_public *)iob)->_r++;
466                 bp = (unsigned char *) --((struct __FILE_public *)iob)->_p;
467 #else
468                 cnt = iob->_cnt++;
469                 bp = (unsigned char *) --iob->_ptr;
470 #endif
471                 c = cnt < i ? cnt : i;
472                 while ((ep = locc( c, bp, '\n' ))) {
473                     /*
474                      * if we hit the end of this field, return.
475                      */
476                     if ((j = *++ep) != ' ' && j != '\t') {
477 #ifdef LINUX_STDIO
478                         j = ep - (unsigned char *) iob->_IO_read_ptr;
479                         memcpy (cp, iob->_IO_read_ptr, j);
480                         iob->_IO_read_ptr = ep;
481 #elif defined(__DragonFly__)
482                         j = ep - (unsigned char *) ((struct __FILE_public *)iob)->_p;
483                         memcpy (cp, ((struct __FILE_public *)iob)->_p, j);
484                         ((struct __FILE_public *)iob)->_p = ep;
485                         ((struct __FILE_public *)iob)->_r -= j;
486 #else
487                         j = ep - (unsigned char *) iob->_ptr;
488                         memcpy (cp, iob->_ptr, j);
489                         iob->_ptr = ep;
490                         iob->_cnt -= j;
491 #endif
492                         cp += j;
493                         state = FLD;
494                         goto finish;
495                     }
496                     c -= ep - bp;
497                     bp = ep;
498                 }
499                 /*
500                  * end of input or dest buffer - copy what we've found.
501                  */
502 #ifdef LINUX_STDIO
503                 c += bp - (unsigned char *) iob->_IO_read_ptr;
504                 memcpy( cp, iob->_IO_read_ptr, c);
505 #elif defined(__DragonFly__)
506                 c += bp - (unsigned char *) ((struct __FILE_public *)iob)->_p;
507                 memcpy( cp, ((struct __FILE_public *)iob)->_p, c);
508 #else
509                 c += bp - (unsigned char *) iob->_ptr;
510                 memcpy( cp, iob->_ptr, c);
511 #endif
512                 i -= c;
513                 cp += c;
514                 if (i <= 0) {
515                     /* the dest buffer is full */
516 #ifdef LINUX_STDIO
517                     iob->_IO_read_ptr += c;
518 #elif defined(__DragonFly__)
519                     ((struct __FILE_public *)iob)->_r -= c;
520                     ((struct __FILE_public *)iob)->_p += c;
521 #else
522                     iob->_cnt -= c;
523                     iob->_ptr += c;
524 #endif
525                     state = FLDPLUS;
526                     break;
527                 }
528                 /* 
529                  * There's one character left in the input buffer.
530                  * Copy it & fill the buffer.  If the last char
531                  * was a newline and the next char is not whitespace,
532                  * this is the end of the field.  Otherwise loop.
533                  */
534                 --i;
535 #ifdef LINUX_STDIO
536                 *cp++ = j = *(iob->_IO_read_ptr + c);
537                 iob->_IO_read_ptr = iob->_IO_read_end;
538                 c = __underflow(iob);
539                 iob->_IO_read_ptr++;    /* NOT automatic! */
540 #elif defined(__DragonFly__)
541                 *cp++ =j = *(((struct __FILE_public *)iob)->_p + c);
542                 c = __srget(iob);
543 #else
544                 *cp++ = j = *(iob->_ptr + c);
545                 c = _filbuf(iob);
546 #endif
547                 if (c == EOF || 
548                   ((j == '\0' || j == '\n') && c != ' ' && c != '\t')) {
549                     if (c != EOF) {
550 #ifdef LINUX_STDIO
551                         --iob->_IO_read_ptr;
552 #elif defined(__DragonFly__)
553                         --((struct __FILE_public *)iob)->_p;
554                         ++((struct __FILE_public *)iob)->_r;
555 #else
556                         --iob->_ptr;
557                         ++iob->_cnt;
558 #endif
559                     }
560                     state = FLD;
561                     break;
562                 }
563             }
564             break;
565
566         case BODY: 
567         body:
568             /*
569              * get the message body up to bufsz characters or the
570              * end of the message.  Sleazy hack: if bufsz is negative
571              * we assume that we were called to copy directly into
572              * the output buffer and we don't add an eos.
573              */
574             i = (bufsz < 0) ? -bufsz : bufsz-1;
575 #ifdef LINUX_STDIO
576             bp = (unsigned char *) --iob->_IO_read_ptr;
577             cnt = (long) iob->_IO_read_end - (long) iob->_IO_read_ptr;
578 #elif defined(__DragonFly__)
579             bp = (unsigned char *) --((struct __FILE_public *)iob)->_p;
580             cnt = ++((struct __FILE_public *)iob)->_r;
581 #else
582             bp = (unsigned char *) --iob->_ptr;
583             cnt = ++iob->_cnt;
584 #endif
585             c = (cnt < i ? cnt : i);
586             if (msg_style != MS_DEFAULT && c > 1) {
587                 /*
588                  * packed maildrop - only take up to the (possible)
589                  * start of the next message.  This "matchc" should
590                  * probably be a Boyer-Moore matcher for non-vaxen,
591                  * particularly since we have the alignment table
592                  * all built for the end-of-buffer test (next).
593                  * But our vax timings indicate that the "matchc"
594                  * instruction is 50% faster than a carefully coded
595                  * B.M. matcher for most strings.  (So much for elegant
596                  * algorithms vs. brute force.)  Since I (currently)
597                  * run MH on a vax, we use the matchc instruction. --vj
598                  */
599                 if ((ep = matchc( fdelimlen, fdelim, c, bp )))
600                     c = ep - bp + 1;
601                 else {
602                     /*
603                      * There's no delim in the buffer but there may be
604                      * a partial one at the end.  If so, we want to leave
605                      * it so the "eom" check on the next call picks it up.
606                      * Use a modified Boyer-Moore matcher to make this
607                      * check relatively cheap.  The first "if" figures
608                      * out what position in the pattern matches the last
609                      * character in the buffer.  The inner "while" matches
610                      * the pattern against the buffer, backwards starting
611                      * at that position.  Note that unless the buffer
612                      * ends with one of the characters in the pattern
613                      * (excluding the first and last), we do only one test.
614                      */
615                     ep = bp + c - 1;
616                     if ((sp = pat_map[*ep])) {
617                         do {
618                             /* This if() is true unless (a) the buffer is too
619                              * small to contain this delimiter prefix, or
620                              * (b) it contains exactly enough chars for the
621                              * delimiter prefix.
622                              * For case (a) obviously we aren't going to match.
623                              * For case (b), if the buffer really contained exactly
624                              * a delim prefix, then the m_eom call at entry
625                              * should have found it.  Thus it's not a delim
626                              * and we know we won't get a match.
627                              */
628                             if (((sp - fdelim) + 2) <= c) {
629                                 cp = sp;
630                                 /* Unfortunately although fdelim has a preceding NUL
631                                  * we can't use this as a sentinel in case the buffer
632                                  * contains a NUL in exactly the wrong place (this
633                                  * would cause us to run off the front of fdelim).
634                                  */
635                                 while (*--ep == *--cp)
636                                     if (cp < fdelim)
637                                         break;
638                                 if (cp < fdelim) {
639                                     /* we matched the entire delim prefix,
640                                      * so only take the buffer up to there.
641                                      * we know ep >= bp -- check above prevents underrun
642                                      */
643                                     c = (ep - bp) + 2;
644                                     break;
645                                 }
646                             }
647                             /* try matching one less char of delim string */
648                             ep = bp + c - 1;
649                         } while (--sp > fdelim);
650                     }
651                 }
652             }
653             memcpy( buf, bp, c );
654 #ifdef LINUX_STDIO
655             iob->_IO_read_ptr += c;
656 #elif defined(__DragonFly__)
657             ((struct __FILE_public *)iob)->_r -= c;
658             ((struct __FILE_public *)iob)->_p += c;
659 #else
660             iob->_cnt -= c;
661             iob->_ptr += c;
662 #endif
663             if (bufsz < 0) {
664                 msg_count = c;
665                 return (state);
666             }
667             cp = buf + c;
668             break;
669
670         default: 
671             adios (NULL, "m_getfld() called with bogus state of %d", state);
672     }
673 finish:
674     *cp = 0;
675     msg_count = cp - buf;
676     return (state);
677 }
678
679
680 void
681 m_unknown(FILE *iob)
682 {
683     register int c;
684     register long pos;
685     char text[10];
686     register char *cp;
687     register char *delimstr;
688
689 /*
690  * Figure out what the message delimitter string is for this
691  * maildrop.  (This used to be part of m_Eom but I didn't like
692  * the idea of an "if" statement that could only succeed on the
693  * first call to m_Eom getting executed on each call, i.e., at
694  * every newline in the message).
695  *
696  * If the first line of the maildrop is a Unix "From " line, we
697  * say the style is MBOX and eat the rest of the line.  Otherwise
698  * we say the style is MMDF and look for the delimiter string
699  * specified when nmh was built (or from the mts.conf file).
700  */
701
702     msg_style = MS_UNKNOWN;
703
704     pos = ftell (iob);
705     if (fread (text, sizeof(*text), 5, iob) == 5
706             && strncmp (text, "From ", 5) == 0) {
707         msg_style = MS_MBOX;
708         delimstr = "\nFrom ";
709         while ((c = getc (iob)) != '\n' && c >= 0)
710             ;
711     } else {
712         /* not a Unix style maildrop */
713         fseek (iob, pos, SEEK_SET);
714         if (mmdlm2 == NULL || *mmdlm2 == 0)
715             mmdlm2 = "\001\001\001\001\n";
716         delimstr = mmdlm2;
717         msg_style = MS_MMDF;
718     }
719     c = strlen (delimstr);
720     fdelim = (unsigned char *) mh_xmalloc((size_t) (c + 3));
721     *fdelim++ = '\0';
722     *fdelim = '\n';
723     msg_delim = (char *)fdelim+1;
724     edelim = (unsigned char *)msg_delim+1;
725     fdelimlen = c + 1;
726     edelimlen = c - 1;
727     strcpy (msg_delim, delimstr);
728     delimend = (unsigned char *)msg_delim + edelimlen;
729     if (edelimlen <= 1)
730         adios (NULL, "maildrop delimiter must be at least 2 bytes");
731     /*
732      * build a Boyer-Moore end-position map for the matcher in m_getfld.
733      * N.B. - we don't match just the first char (since it's the newline
734      * separator) or the last char (since the matchc would have found it
735      * if it was a real delim).
736      */
737     pat_map = (unsigned char **) calloc (256, sizeof(unsigned char *));
738
739     for (cp = (char *) fdelim + 1; cp < (char *) delimend; cp++ )
740         pat_map[(unsigned char)*cp] = (unsigned char *) cp;
741
742     if (msg_style == MS_MMDF) {
743         /* flush extra msg hdrs */
744         while ((c = Getc(iob)) >= 0 && eom (c, iob))
745             ;
746         if (c >= 0)
747             ungetc(c, iob);
748     }
749 }
750
751
752 void
753 m_eomsbr (int (*action)(int))
754 {
755     if ((eom_action = action)) {
756         msg_style = MS_MSH;
757         *msg_delim = 0;
758         fdelimlen = 1;
759         delimend = fdelim;
760     } else {
761         msg_style = MS_MMDF;
762         msg_delim = (char *)fdelim + 1;
763         fdelimlen = strlen((char *)fdelim);
764         delimend = (unsigned char *)(msg_delim + edelimlen);
765     }
766 }
767
768
769 /*
770  * test for msg delimiter string
771  */
772
773 static int
774 m_Eom (int c, FILE *iob)
775 {
776     register long pos = 0L;
777     register int i;
778     char text[10];
779
780     pos = ftell (iob);
781     if ((i = fread (text, sizeof *text, edelimlen, iob)) != edelimlen
782             || strncmp (text, (char *)edelim, edelimlen)) {
783         if (i == 0 && msg_style == MS_MBOX)
784             /* the final newline in the (brain damaged) unix-format
785              * maildrop is part of the delimitter - delete it.
786              */
787             return 1;
788
789 #if 0
790         fseek (iob, pos, SEEK_SET);
791 #endif
792
793         fseek (iob, (long)(pos-1), SEEK_SET);
794         getc (iob);             /* should be OK */
795         return 0;
796     }
797
798     if (msg_style == MS_MBOX) {
799         while ((c = getc (iob)) != '\n')
800             if (c < 0)
801                 break;
802     }
803
804     return 1;
805 }
806
807
808 static unsigned char *
809 matchc(int patln, char *pat, int strln, char *str)
810 {
811         register char *es = str + strln - patln;
812         register char *sp;
813         register char *pp;
814         register char *ep = pat + patln;
815         register char pc = *pat++;
816
817         for(;;) {
818                 while (pc != *str++)
819                         if (str > es)
820                                 return 0;
821                 if (str > es+1)
822                         return 0;
823                 sp = str; pp = pat;
824                 while (pp < ep && *sp++ == *pp)
825                         pp++;
826                 if (pp >= ep) 
827                         return ((unsigned char *)--str);
828         }
829 }
830
831
832 /*
833  * Locate character "term" in the next "cnt" characters of "src".
834  * If found, return its address, otherwise return 0.
835  */
836
837 static unsigned char *
838 locc(int cnt, unsigned char *src, unsigned char term)
839 {
840     while (*src++ != term && --cnt > 0);
841
842     return (cnt > 0 ? --src : (unsigned char *)0);
843 }
844