d7d1b4cb9e5a7c448dacc3c38702216c6b5740aa
[claws.git] / src / common / utils.c
1 /*
2  * Claws Mail -- a GTK+ based, lightweight, and fast e-mail client
3  * Copyright (C) 1999-2016 Hiroyuki Yamamoto & The Claws Mail Team
4  *
5  * This program is free software; you can redistribute it and/or modify
6  * it under the terms of the GNU General Public License as published by
7  * the Free Software Foundation; either version 3 of the License, or
8  * (at your option) any later version.
9  *
10  * This program is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13  * GNU General Public License for more details.
14  *
15  * You should have received a copy of the GNU General Public License
16  * along with this program. If not, see <http://www.gnu.org/licenses/>.
17  *
18  * The code of the g_utf8_substring function below is owned by
19  * Matthias Clasen <matthiasc@src.gnome.org>/<mclasen@redhat.com>
20  * and is got from GLIB 2.30: https://git.gnome.org/browse/glib/commit/
21  *  ?h=glib-2-30&id=9eb65dd3ed5e1a9638595cbe10699c7606376511
22  *
23  * GLib 2.30 is licensed under GPL v2 or later and:
24  * Copyright (C) 1999 Tom Tromey
25  * Copyright (C) 2000 Red Hat, Inc.
26  *
27  * https://git.gnome.org/browse/glib/tree/glib/gutf8.c
28  *  ?h=glib-2-30&id=9eb65dd3ed5e1a9638595cbe10699c7606376511
29  */
30
31 #ifdef HAVE_CONFIG_H
32 #  include "config.h"
33 #include "claws-features.h"
34 #endif
35
36 #include "defs.h"
37
38 #include <glib.h>
39 #include <gio/gio.h>
40
41 #include <glib/gi18n.h>
42
43 #ifdef USE_PTHREAD
44 #include <pthread.h>
45 #endif
46
47 #include <stdio.h>
48 #include <string.h>
49 #include <ctype.h>
50 #include <errno.h>
51 #include <sys/param.h>
52 #ifndef G_OS_WIN32
53 #include <sys/socket.h>
54 #endif
55
56 #if (HAVE_WCTYPE_H && HAVE_WCHAR_H)
57 #  include <wchar.h>
58 #  include <wctype.h>
59 #endif
60 #include <stdlib.h>
61 #include <sys/stat.h>
62 #include <unistd.h>
63 #include <stdarg.h>
64 #include <sys/types.h>
65 #if HAVE_SYS_WAIT_H
66 #  include <sys/wait.h>
67 #endif
68 #include <dirent.h>
69 #include <time.h>
70 #include <regex.h>
71
72 #ifdef G_OS_UNIX
73 #include <sys/utsname.h>
74 #endif
75
76 #include <fcntl.h>
77
78 #ifdef G_OS_WIN32
79 #  include <direct.h>
80 #  include <io.h>
81 #  include <w32lib.h>
82 #endif
83
84 #include "utils.h"
85 #include "socket.h"
86 #include "../codeconv.h"
87 #include "tlds.h"
88
89 #define BUFFSIZE        8192
90
91 static gboolean debug_mode = FALSE;
92 #ifdef G_OS_WIN32
93 static GSList *tempfiles=NULL;
94 #endif
95
96 #if !GLIB_CHECK_VERSION(2, 26, 0)
97 guchar *g_base64_decode_wa(const gchar *text, gsize *out_len)
98 {
99         guchar *ret;
100         gsize input_length;
101         gint state = 0;
102         guint save = 0;
103
104         input_length = strlen(text);
105
106         ret = g_malloc0((input_length / 4) * 3 + 1);
107
108         *out_len = g_base64_decode_step(text, input_length, ret, &state, &save);
109
110         return ret;
111 }
112 #endif
113
114 /* Return true if we are running as root.  This function should beused
115    instead of getuid () == 0.  */
116 gboolean superuser_p (void)
117 {
118 #ifdef G_OS_WIN32
119   return w32_is_administrator ();
120 #else
121   return !getuid();
122 #endif  
123 }
124
125 GSList *slist_copy_deep(GSList *list, GCopyFunc func)
126 {
127 #if GLIB_CHECK_VERSION(2, 34, 0)
128         return g_slist_copy_deep(list, func, NULL);
129 #else
130         GSList *res = g_slist_copy(list);
131         GSList *walk = res;
132         while (walk) {
133                 walk->data = func(walk->data, NULL);
134                 walk = walk->next;
135         }
136         return res;
137 #endif
138 }
139
140 void list_free_strings(GList *list)
141 {
142         list = g_list_first(list);
143
144         while (list != NULL) {
145                 g_free(list->data);
146                 list = list->next;
147         }
148 }
149
150 void slist_free_strings(GSList *list)
151 {
152         while (list != NULL) {
153                 g_free(list->data);
154                 list = list->next;
155         }
156 }
157
158 void slist_free_strings_full(GSList *list)
159 {
160 #if GLIB_CHECK_VERSION(2,28,0)
161         g_slist_free_full(list, (GDestroyNotify)g_free);
162 #else
163         g_slist_foreach(list, (GFunc)g_free, NULL);
164         g_slist_free(list);
165 #endif
166 }
167
168 static void hash_free_strings_func(gpointer key, gpointer value, gpointer data)
169 {
170         g_free(key);
171 }
172
173 void hash_free_strings(GHashTable *table)
174 {
175         g_hash_table_foreach(table, hash_free_strings_func, NULL);
176 }
177
178 gint str_case_equal(gconstpointer v, gconstpointer v2)
179 {
180         return g_ascii_strcasecmp((const gchar *)v, (const gchar *)v2) == 0;
181 }
182
183 guint str_case_hash(gconstpointer key)
184 {
185         const gchar *p = key;
186         guint h = *p;
187
188         if (h) {
189                 h = g_ascii_tolower(h);
190                 for (p += 1; *p != '\0'; p++)
191                         h = (h << 5) - h + g_ascii_tolower(*p);
192         }
193
194         return h;
195 }
196
197 void ptr_array_free_strings(GPtrArray *array)
198 {
199         gint i;
200         gchar *str;
201
202         cm_return_if_fail(array != NULL);
203
204         for (i = 0; i < array->len; i++) {
205                 str = g_ptr_array_index(array, i);
206                 g_free(str);
207         }
208 }
209
210 gint to_number(const gchar *nstr)
211 {
212         register const gchar *p;
213
214         if (*nstr == '\0') return -1;
215
216         for (p = nstr; *p != '\0'; p++)
217                 if (!g_ascii_isdigit(*p)) return -1;
218
219         return atoi(nstr);
220 }
221
222 /* convert integer into string,
223    nstr must be not lower than 11 characters length */
224 gchar *itos_buf(gchar *nstr, gint n)
225 {
226         g_snprintf(nstr, 11, "%d", n);
227         return nstr;
228 }
229
230 /* convert integer into string */
231 gchar *itos(gint n)
232 {
233         static gchar nstr[11];
234
235         return itos_buf(nstr, n);
236 }
237
238 #define divide(num,divisor,i,d)         \
239 {                                       \
240         i = num >> divisor;             \
241         d = num & ((1<<divisor)-1);     \
242         d = (d*100) >> divisor;         \
243 }
244
245
246 /*!
247  * \brief Convert a given size in bytes in a human-readable string
248  *
249  * \param size  The size expressed in bytes to convert in string
250  * \return      The string that respresents the size in an human-readable way
251  */
252 gchar *to_human_readable(goffset size)
253 {
254         static gchar str[14];
255         static gchar *b_format = NULL, *kb_format = NULL, 
256                      *mb_format = NULL, *gb_format = NULL;
257         register int t = 0, r = 0;
258         if (b_format == NULL) {
259                 b_format  = _("%dB");
260                 kb_format = _("%d.%02dKB");
261                 mb_format = _("%d.%02dMB");
262                 gb_format = _("%.2fGB");
263         }
264         
265         if (size < (goffset)1024) {
266                 g_snprintf(str, sizeof(str), b_format, (gint)size);
267                 return str;
268         } else if (size >> 10 < (goffset)1024) {
269                 divide(size, 10, t, r);
270                 g_snprintf(str, sizeof(str), kb_format, t, r);
271                 return str;
272         } else if (size >> 20 < (goffset)1024) {
273                 divide(size, 20, t, r);
274                 g_snprintf(str, sizeof(str), mb_format, t, r);
275                 return str;
276         } else {
277                 g_snprintf(str, sizeof(str), gb_format, (gfloat)(size >> 30));
278                 return str;
279         }
280 }
281
282 /* strcmp with NULL-checking */
283 gint strcmp2(const gchar *s1, const gchar *s2)
284 {
285         if (s1 == NULL || s2 == NULL)
286                 return -1;
287         else
288                 return strcmp(s1, s2);
289 }
290 /* strstr with NULL-checking */
291 gchar *strstr2(const gchar *s1, const gchar *s2)
292 {
293         if (s1 == NULL || s2 == NULL)
294                 return NULL;
295         else
296                 return strstr(s1, s2);
297 }
298 /* compare paths */
299 gint path_cmp(const gchar *s1, const gchar *s2)
300 {
301         gint len1, len2;
302         int rc;
303 #ifdef G_OS_WIN32
304         gchar *s1buf, *s2buf;
305 #endif
306
307         if (s1 == NULL || s2 == NULL) return -1;
308         if (*s1 == '\0' || *s2 == '\0') return -1;
309
310 #ifdef G_OS_WIN32
311         s1buf = g_strdup (s1);
312         s2buf = g_strdup (s2);
313         subst_char (s1buf, '/', G_DIR_SEPARATOR);
314         subst_char (s2buf, '/', G_DIR_SEPARATOR);
315         s1 = s1buf;
316         s2 = s2buf;
317 #endif /* !G_OS_WIN32 */
318
319         len1 = strlen(s1);
320         len2 = strlen(s2);
321
322         if (s1[len1 - 1] == G_DIR_SEPARATOR) len1--;
323         if (s2[len2 - 1] == G_DIR_SEPARATOR) len2--;
324
325         rc = strncmp(s1, s2, MAX(len1, len2));
326 #ifdef G_OS_WIN32
327         g_free (s1buf);
328         g_free (s2buf);
329 #endif /* !G_OS_WIN32 */
330         return rc;
331 }
332
333 /* remove trailing return code */
334 gchar *strretchomp(gchar *str)
335 {
336         register gchar *s;
337
338         if (!*str) return str;
339
340         for (s = str + strlen(str) - 1;
341              s >= str && (*s == '\n' || *s == '\r');
342              s--)
343                 *s = '\0';
344
345         return str;
346 }
347
348 /* remove trailing character */
349 gchar *strtailchomp(gchar *str, gchar tail_char)
350 {
351         register gchar *s;
352
353         if (!*str) return str;
354         if (tail_char == '\0') return str;
355
356         for (s = str + strlen(str) - 1; s >= str && *s == tail_char; s--)
357                 *s = '\0';
358
359         return str;
360 }
361
362 /* remove CR (carriage return) */
363 gchar *strcrchomp(gchar *str)
364 {
365         register gchar *s;
366
367         if (!*str) return str;
368
369         s = str + strlen(str) - 1;
370         if (*s == '\n' && s > str && *(s - 1) == '\r') {
371                 *(s - 1) = '\n';
372                 *s = '\0';
373         }
374
375         return str;
376 }
377
378 gint file_strip_crs(const gchar *file)
379 {
380         FILE *fp = NULL, *outfp = NULL;
381         gchar buf[4096];
382         gchar *out = get_tmp_file();
383         if (file == NULL)
384                 goto freeout;
385
386         fp = g_fopen(file, "rb");
387         if (!fp)
388                 goto freeout;
389
390         outfp = g_fopen(out, "wb");
391         if (!outfp) {
392                 fclose(fp);
393                 goto freeout;
394         }
395
396         while (fgets(buf, sizeof (buf), fp) != NULL) {
397                 strcrchomp(buf);
398                 if (fputs(buf, outfp) == EOF) {
399                         fclose(fp);
400                         fclose(outfp);
401                         goto unlinkout;
402                 }
403         }
404
405         fclose(fp);
406         if (fclose(outfp) == EOF) {
407                 goto unlinkout;
408         }
409         
410         if (move_file(out, file, TRUE) < 0)
411                 goto unlinkout;
412         
413         g_free(out);
414         return 0;
415 unlinkout:
416         claws_unlink(out);
417 freeout:
418         g_free(out);
419         return -1;
420 }
421
422 /* Similar to `strstr' but this function ignores the case of both strings.  */
423 gchar *strcasestr(const gchar *haystack, const gchar *needle)
424 {
425         size_t haystack_len = strlen(haystack);
426
427         return strncasestr(haystack, haystack_len, needle);
428 }
429
430 gchar *strncasestr(const gchar *haystack, gint haystack_len, const gchar *needle)
431 {
432         register size_t needle_len;
433
434         needle_len   = strlen(needle);
435
436         if (haystack_len < needle_len || needle_len == 0)
437                 return NULL;
438
439         while (haystack_len >= needle_len) {
440                 if (!g_ascii_strncasecmp(haystack, needle, needle_len))
441                         return (gchar *)haystack;
442                 else {
443                         haystack++;
444                         haystack_len--;
445                 }
446         }
447
448         return NULL;
449 }
450
451 gpointer my_memmem(gconstpointer haystack, size_t haystacklen,
452                    gconstpointer needle, size_t needlelen)
453 {
454         const gchar *haystack_ = (const gchar *)haystack;
455         const gchar *needle_ = (const gchar *)needle;
456         const gchar *haystack_cur = (const gchar *)haystack;
457         size_t haystack_left = haystacklen;
458
459         if (needlelen == 1)
460                 return memchr(haystack_, *needle_, haystacklen);
461
462         while ((haystack_cur = memchr(haystack_cur, *needle_, haystack_left))
463                != NULL) {
464                 if (haystacklen - (haystack_cur - haystack_) < needlelen)
465                         break;
466                 if (memcmp(haystack_cur + 1, needle_ + 1, needlelen - 1) == 0)
467                         return (gpointer)haystack_cur;
468                 else{
469                         haystack_cur++;
470                         haystack_left = haystacklen - (haystack_cur - haystack_);
471                 }
472         }
473
474         return NULL;
475 }
476
477 /* Copy no more than N characters of SRC to DEST, with NULL terminating.  */
478 gchar *strncpy2(gchar *dest, const gchar *src, size_t n)
479 {
480         register const gchar *s = src;
481         register gchar *d = dest;
482
483         while (--n && *s)
484                 *d++ = *s++;
485         *d = '\0';
486
487         return dest;
488 }
489
490
491 /* Examine if next block is non-ASCII string */
492 gboolean is_next_nonascii(const gchar *s)
493 {
494         const gchar *p;
495
496         /* skip head space */
497         for (p = s; *p != '\0' && g_ascii_isspace(*p); p++)
498                 ;
499         for (; *p != '\0' && !g_ascii_isspace(*p); p++) {
500                 if (*(guchar *)p > 127 || *(guchar *)p < 32)
501                         return TRUE;
502         }
503
504         return FALSE;
505 }
506
507 gint get_next_word_len(const gchar *s)
508 {
509         gint len = 0;
510
511         for (; *s != '\0' && !g_ascii_isspace(*s); s++, len++)
512                 ;
513
514         return len;
515 }
516
517 static void trim_subject_for_compare(gchar *str)
518 {
519         gchar *srcp;
520
521         eliminate_parenthesis(str, '[', ']');
522         eliminate_parenthesis(str, '(', ')');
523         g_strstrip(str);
524
525         srcp = str + subject_get_prefix_length(str);
526         if (srcp != str)
527                 memmove(str, srcp, strlen(srcp) + 1);
528 }
529
530 static void trim_subject_for_sort(gchar *str)
531 {
532         gchar *srcp;
533
534         g_strstrip(str);
535
536         srcp = str + subject_get_prefix_length(str);
537         if (srcp != str)
538                 memmove(str, srcp, strlen(srcp) + 1);
539 }
540
541 /* compare subjects */
542 gint subject_compare(const gchar *s1, const gchar *s2)
543 {
544         gchar *str1, *str2;
545
546         if (!s1 || !s2) return -1;
547         if (!*s1 || !*s2) return -1;
548
549         Xstrdup_a(str1, s1, return -1);
550         Xstrdup_a(str2, s2, return -1);
551
552         trim_subject_for_compare(str1);
553         trim_subject_for_compare(str2);
554
555         if (!*str1 || !*str2) return -1;
556
557         return strcmp(str1, str2);
558 }
559
560 gint subject_compare_for_sort(const gchar *s1, const gchar *s2)
561 {
562         gchar *str1, *str2;
563
564         if (!s1 || !s2) return -1;
565
566         Xstrdup_a(str1, s1, return -1);
567         Xstrdup_a(str2, s2, return -1);
568
569         trim_subject_for_sort(str1);
570         trim_subject_for_sort(str2);
571
572         return g_utf8_collate(str1, str2);
573 }
574
575 void trim_subject(gchar *str)
576 {
577         register gchar *srcp;
578         gchar op, cl;
579         gint in_brace;
580
581         g_strstrip(str);
582
583         srcp = str + subject_get_prefix_length(str);
584
585         if (*srcp == '[') {
586                 op = '[';
587                 cl = ']';
588         } else if (*srcp == '(') {
589                 op = '(';
590                 cl = ')';
591         } else
592                 op = 0;
593
594         if (op) {
595                 ++srcp;
596                 in_brace = 1;
597                 while (*srcp) {
598                         if (*srcp == op)
599                                 in_brace++;
600                         else if (*srcp == cl)
601                                 in_brace--;
602                         srcp++;
603                         if (in_brace == 0)
604                                 break;
605                 }
606         }
607         while (g_ascii_isspace(*srcp)) srcp++;
608         memmove(str, srcp, strlen(srcp) + 1);
609 }
610
611 void eliminate_parenthesis(gchar *str, gchar op, gchar cl)
612 {
613         register gchar *srcp, *destp;
614         gint in_brace;
615
616         destp = str;
617
618         while ((destp = strchr(destp, op))) {
619                 in_brace = 1;
620                 srcp = destp + 1;
621                 while (*srcp) {
622                         if (*srcp == op)
623                                 in_brace++;
624                         else if (*srcp == cl)
625                                 in_brace--;
626                         srcp++;
627                         if (in_brace == 0)
628                                 break;
629                 }
630                 while (g_ascii_isspace(*srcp)) srcp++;
631                 memmove(destp, srcp, strlen(srcp) + 1);
632         }
633 }
634
635 void extract_parenthesis(gchar *str, gchar op, gchar cl)
636 {
637         register gchar *srcp, *destp;
638         gint in_brace;
639
640         destp = str;
641
642         while ((srcp = strchr(destp, op))) {
643                 if (destp > str)
644                         *destp++ = ' ';
645                 memmove(destp, srcp + 1, strlen(srcp));
646                 in_brace = 1;
647                 while(*destp) {
648                         if (*destp == op)
649                                 in_brace++;
650                         else if (*destp == cl)
651                                 in_brace--;
652
653                         if (in_brace == 0)
654                                 break;
655
656                         destp++;
657                 }
658         }
659         *destp = '\0';
660 }
661
662 static void extract_parenthesis_with_skip_quote(gchar *str, gchar quote_chr,
663                                          gchar op, gchar cl)
664 {
665         register gchar *srcp, *destp;
666         gint in_brace;
667         gboolean in_quote = FALSE;
668
669         destp = str;
670
671         while ((srcp = strchr_with_skip_quote(destp, quote_chr, op))) {
672                 if (destp > str)
673                         *destp++ = ' ';
674                 memmove(destp, srcp + 1, strlen(srcp));
675                 in_brace = 1;
676                 while(*destp) {
677                         if (*destp == op && !in_quote)
678                                 in_brace++;
679                         else if (*destp == cl && !in_quote)
680                                 in_brace--;
681                         else if (*destp == quote_chr)
682                                 in_quote ^= TRUE;
683
684                         if (in_brace == 0)
685                                 break;
686
687                         destp++;
688                 }
689         }
690         *destp = '\0';
691 }
692
693 void extract_quote(gchar *str, gchar quote_chr)
694 {
695         register gchar *p;
696
697         if ((str = strchr(str, quote_chr))) {
698                 p = str;
699                 while ((p = strchr(p + 1, quote_chr)) && (p[-1] == '\\')) {
700                         memmove(p - 1, p, strlen(p) + 1);
701                         p--;
702                 }
703                 if(p) {
704                         *p = '\0';
705                         memmove(str, str + 1, p - str);
706                 }
707         }
708 }
709
710 /* Returns a newly allocated string with all quote_chr not at the beginning
711    or the end of str escaped with '\' or the given str if not required. */
712 gchar *escape_internal_quotes(gchar *str, gchar quote_chr)
713 {
714         register gchar *p, *q;
715         gchar *qstr;
716         int k = 0, l = 0;
717
718         if (str == NULL || *str == '\0')
719                 return str;
720
721         /* search for unescaped quote_chr */
722         p = str;
723         if (*p == quote_chr)
724                 ++p, ++l;
725         while (*p) {
726                 if (*p == quote_chr && *(p - 1) != '\\' && *(p + 1) != '\0')
727                         ++k;
728                 ++p, ++l;
729         }
730         if (!k) /* nothing to escape */
731                 return str;
732
733         /* unescaped quote_chr found */
734         qstr = g_malloc(l + k + 1);
735         p = str;
736         q = qstr;
737         if (*p == quote_chr) {
738                 *q = quote_chr;
739                 ++p, ++q;
740         }
741         while (*p) {
742                 if (*p == quote_chr && *(p - 1) != '\\' && *(p + 1) != '\0')
743                         *q++ = '\\';
744                 *q++ = *p++;
745         }
746         *q = '\0';
747
748         return qstr;
749 }
750
751 void eliminate_address_comment(gchar *str)
752 {
753         register gchar *srcp, *destp;
754         gint in_brace;
755
756         destp = str;
757
758         while ((destp = strchr(destp, '"'))) {
759                 if ((srcp = strchr(destp + 1, '"'))) {
760                         srcp++;
761                         if (*srcp == '@') {
762                                 destp = srcp + 1;
763                         } else {
764                                 while (g_ascii_isspace(*srcp)) srcp++;
765                                 memmove(destp, srcp, strlen(srcp) + 1);
766                         }
767                 } else {
768                         *destp = '\0';
769                         break;
770                 }
771         }
772
773         destp = str;
774
775         while ((destp = strchr_with_skip_quote(destp, '"', '('))) {
776                 in_brace = 1;
777                 srcp = destp + 1;
778                 while (*srcp) {
779                         if (*srcp == '(')
780                                 in_brace++;
781                         else if (*srcp == ')')
782                                 in_brace--;
783                         srcp++;
784                         if (in_brace == 0)
785                                 break;
786                 }
787                 while (g_ascii_isspace(*srcp)) srcp++;
788                 memmove(destp, srcp, strlen(srcp) + 1);
789         }
790 }
791
792 gchar *strchr_with_skip_quote(const gchar *str, gint quote_chr, gint c)
793 {
794         gboolean in_quote = FALSE;
795
796         while (*str) {
797                 if (*str == c && !in_quote)
798                         return (gchar *)str;
799                 if (*str == quote_chr)
800                         in_quote ^= TRUE;
801                 str++;
802         }
803
804         return NULL;
805 }
806
807 void extract_address(gchar *str)
808 {
809         cm_return_if_fail(str != NULL);
810         eliminate_address_comment(str);
811         if (strchr_with_skip_quote(str, '"', '<'))
812                 extract_parenthesis_with_skip_quote(str, '"', '<', '>');
813         g_strstrip(str);
814 }
815
816 void extract_list_id_str(gchar *str)
817 {
818         if (strchr_with_skip_quote(str, '"', '<'))
819                 extract_parenthesis_with_skip_quote(str, '"', '<', '>');
820         g_strstrip(str);
821 }
822
823 static GSList *address_list_append_real(GSList *addr_list, const gchar *str, gboolean removecomments)
824 {
825         gchar *work;
826         gchar *workp;
827
828         if (!str) return addr_list;
829
830         Xstrdup_a(work, str, return addr_list);
831
832         if (removecomments)
833                 eliminate_address_comment(work);
834         workp = work;
835
836         while (workp && *workp) {
837                 gchar *p, *next;
838
839                 if ((p = strchr_with_skip_quote(workp, '"', ','))) {
840                         *p = '\0';
841                         next = p + 1;
842                 } else
843                         next = NULL;
844
845                 if (removecomments && strchr_with_skip_quote(workp, '"', '<'))
846                         extract_parenthesis_with_skip_quote
847                                 (workp, '"', '<', '>');
848
849                 g_strstrip(workp);
850                 if (*workp)
851                         addr_list = g_slist_append(addr_list, g_strdup(workp));
852
853                 workp = next;
854         }
855
856         return addr_list;
857 }
858
859 GSList *address_list_append(GSList *addr_list, const gchar *str)
860 {
861         return address_list_append_real(addr_list, str, TRUE);
862 }
863
864 GSList *address_list_append_with_comments(GSList *addr_list, const gchar *str)
865 {
866         return address_list_append_real(addr_list, str, FALSE);
867 }
868
869 GSList *references_list_prepend(GSList *msgid_list, const gchar *str)
870 {
871         const gchar *strp;
872
873         if (!str) return msgid_list;
874         strp = str;
875
876         while (strp && *strp) {
877                 const gchar *start, *end;
878                 gchar *msgid;
879
880                 if ((start = strchr(strp, '<')) != NULL) {
881                         end = strchr(start + 1, '>');
882                         if (!end) break;
883                 } else
884                         break;
885
886                 msgid = g_strndup(start + 1, end - start - 1);
887                 g_strstrip(msgid);
888                 if (*msgid)
889                         msgid_list = g_slist_prepend(msgid_list, msgid);
890                 else
891                         g_free(msgid);
892
893                 strp = end + 1;
894         }
895
896         return msgid_list;
897 }
898
899 GSList *references_list_append(GSList *msgid_list, const gchar *str)
900 {
901         GSList *list;
902
903         list = references_list_prepend(NULL, str);
904         list = g_slist_reverse(list);
905         msgid_list = g_slist_concat(msgid_list, list);
906
907         return msgid_list;
908 }
909
910 GSList *newsgroup_list_append(GSList *group_list, const gchar *str)
911 {
912         gchar *work;
913         gchar *workp;
914
915         if (!str) return group_list;
916
917         Xstrdup_a(work, str, return group_list);
918
919         workp = work;
920
921         while (workp && *workp) {
922                 gchar *p, *next;
923
924                 if ((p = strchr_with_skip_quote(workp, '"', ','))) {
925                         *p = '\0';
926                         next = p + 1;
927                 } else
928                         next = NULL;
929
930                 g_strstrip(workp);
931                 if (*workp)
932                         group_list = g_slist_append(group_list,
933                                                     g_strdup(workp));
934
935                 workp = next;
936         }
937
938         return group_list;
939 }
940
941 GList *add_history(GList *list, const gchar *str)
942 {
943         GList *old;
944         gchar *oldstr;
945
946         cm_return_val_if_fail(str != NULL, list);
947
948         old = g_list_find_custom(list, (gpointer)str, (GCompareFunc)strcmp2);
949         if (old) {
950                 oldstr = old->data;
951                 list = g_list_remove(list, old->data);
952                 g_free(oldstr);
953         } else if (g_list_length(list) >= MAX_HISTORY_SIZE) {
954                 GList *last;
955
956                 last = g_list_last(list);
957                 if (last) {
958                         oldstr = last->data;
959                         list = g_list_remove(list, last->data);
960                         g_free(oldstr);
961                 }
962         }
963
964         list = g_list_prepend(list, g_strdup(str));
965
966         return list;
967 }
968
969 void remove_return(gchar *str)
970 {
971         register gchar *p = str;
972
973         while (*p) {
974                 if (*p == '\n' || *p == '\r')
975                         memmove(p, p + 1, strlen(p));
976                 else
977                         p++;
978         }
979 }
980
981 void remove_space(gchar *str)
982 {
983         register gchar *p = str;
984         register gint spc;
985
986         while (*p) {
987                 spc = 0;
988                 while (g_ascii_isspace(*(p + spc)))
989                         spc++;
990                 if (spc)
991                         memmove(p, p + spc, strlen(p + spc) + 1);
992                 else
993                         p++;
994         }
995 }
996
997 void unfold_line(gchar *str)
998 {
999         register gchar *ch;
1000         register gunichar c;
1001         register gint len;
1002
1003         ch = str; /* iterator for source string */
1004
1005         while (*ch != 0) {
1006                 c = g_utf8_get_char_validated(ch, -1);
1007
1008                 if (c == (gunichar)-1 || c == (gunichar)-2) {
1009                         /* non-unicode byte, move past it */
1010                         ch++;
1011                         continue;
1012                 }
1013
1014                 len = g_unichar_to_utf8(c, NULL);
1015
1016                 if (!g_unichar_isdefined(c) || !g_unichar_isprint(c) ||
1017                                 g_unichar_isspace(c)) {
1018                         /* replace anything bad or whitespacey with a single space */
1019                         *ch = ' ';
1020                         ch++;
1021                         if (len > 1) {
1022                                 /* move rest of the string forwards, since we just replaced
1023                                  * a multi-byte sequence with one byte */
1024                                 memmove(ch, ch + len-1, strlen(ch + len-1) + 1);
1025                         }
1026                 } else {
1027                         /* A valid unicode character, copy it. */
1028                         ch += len;
1029                 }
1030         }
1031 }
1032
1033 void subst_char(gchar *str, gchar orig, gchar subst)
1034 {
1035         register gchar *p = str;
1036
1037         while (*p) {
1038                 if (*p == orig)
1039                         *p = subst;
1040                 p++;
1041         }
1042 }
1043
1044 void subst_chars(gchar *str, gchar *orig, gchar subst)
1045 {
1046         register gchar *p = str;
1047
1048         while (*p) {
1049                 if (strchr(orig, *p) != NULL)
1050                         *p = subst;
1051                 p++;
1052         }
1053 }
1054
1055 void subst_for_filename(gchar *str)
1056 {
1057         if (!str)
1058                 return;
1059 #ifdef G_OS_WIN32
1060         subst_chars(str, "\t\r\n\\/*:", '_');
1061 #else
1062         subst_chars(str, "\t\r\n\\/*", '_');
1063 #endif
1064 }
1065
1066 void subst_for_shellsafe_filename(gchar *str)
1067 {
1068         if (!str)
1069                 return;
1070         subst_for_filename(str);
1071         subst_chars(str, " \"'|&;()<>'!{}[]",'_');
1072 }
1073
1074 gboolean is_ascii_str(const gchar *str)
1075 {
1076         const guchar *p = (const guchar *)str;
1077
1078         while (*p != '\0') {
1079                 if (*p != '\t' && *p != ' ' &&
1080                     *p != '\r' && *p != '\n' &&
1081                     (*p < 32 || *p >= 127))
1082                         return FALSE;
1083                 p++;
1084         }
1085
1086         return TRUE;
1087 }
1088
1089 static const gchar * line_has_quote_char_last(const gchar * str, const gchar *quote_chars)
1090 {
1091         gchar * position = NULL;
1092         gchar * tmp_pos = NULL;
1093         int i;
1094
1095         if (quote_chars == NULL)
1096                 return NULL;
1097
1098         for (i = 0; i < strlen(quote_chars); i++) {
1099                 tmp_pos = strrchr (str, quote_chars[i]);
1100                 if(position == NULL
1101                    || (tmp_pos != NULL && position <= tmp_pos) )
1102                         position = tmp_pos;
1103         }
1104         return position;
1105 }
1106
1107 gint get_quote_level(const gchar *str, const gchar *quote_chars)
1108 {
1109         const gchar *first_pos;
1110         const gchar *last_pos;
1111         const gchar *p = str;
1112         gint quote_level = -1;
1113
1114         /* speed up line processing by only searching to the last '>' */
1115         if ((first_pos = line_has_quote_char(str, quote_chars)) != NULL) {
1116                 /* skip a line if it contains a '<' before the initial '>' */
1117                 if (memchr(str, '<', first_pos - str) != NULL)
1118                         return -1;
1119                 last_pos = line_has_quote_char_last(first_pos, quote_chars);
1120         } else
1121                 return -1;
1122
1123         while (p <= last_pos) {
1124                 while (p < last_pos) {
1125                         if (g_ascii_isspace(*p))
1126                                 p++;
1127                         else
1128                                 break;
1129                 }
1130
1131                 if (strchr(quote_chars, *p))
1132                         quote_level++;
1133                 else if (*p != '-' && !g_ascii_isspace(*p) && p <= last_pos) {
1134                         /* any characters are allowed except '-','<' and space */
1135                         while (*p != '-' && *p != '<'
1136                                && !strchr(quote_chars, *p)
1137                                && !g_ascii_isspace(*p)
1138                                && p < last_pos)
1139                                 p++;
1140                         if (strchr(quote_chars, *p))
1141                                 quote_level++;
1142                         else
1143                                 break;
1144                 }
1145
1146                 p++;
1147         }
1148
1149         return quote_level;
1150 }
1151
1152 gint check_line_length(const gchar *str, gint max_chars, gint *line)
1153 {
1154         const gchar *p = str, *q;
1155         gint cur_line = 0, len;
1156
1157         while ((q = strchr(p, '\n')) != NULL) {
1158                 len = q - p + 1;
1159                 if (len > max_chars) {
1160                         if (line)
1161                                 *line = cur_line;
1162                         return -1;
1163                 }
1164                 p = q + 1;
1165                 ++cur_line;
1166         }
1167
1168         len = strlen(p);
1169         if (len > max_chars) {
1170                 if (line)
1171                         *line = cur_line;
1172                 return -1;
1173         }
1174
1175         return 0;
1176 }
1177
1178 const gchar * line_has_quote_char(const gchar * str, const gchar *quote_chars)
1179 {
1180         gchar * position = NULL;
1181         gchar * tmp_pos = NULL;
1182         int i;
1183
1184         if (quote_chars == NULL)
1185                 return FALSE;
1186
1187         for (i = 0; i < strlen(quote_chars); i++) {
1188                 tmp_pos = strchr (str,  quote_chars[i]);
1189                 if(position == NULL
1190                    || (tmp_pos != NULL && position >= tmp_pos) )
1191                         position = tmp_pos;
1192         }
1193         return position;
1194 }
1195
1196 static gchar *strstr_with_skip_quote(const gchar *haystack, const gchar *needle)
1197 {
1198         register guint haystack_len, needle_len;
1199         gboolean in_squote = FALSE, in_dquote = FALSE;
1200
1201         haystack_len = strlen(haystack);
1202         needle_len   = strlen(needle);
1203
1204         if (haystack_len < needle_len || needle_len == 0)
1205                 return NULL;
1206
1207         while (haystack_len >= needle_len) {
1208                 if (!in_squote && !in_dquote &&
1209                     !strncmp(haystack, needle, needle_len))
1210                         return (gchar *)haystack;
1211
1212                 /* 'foo"bar"' -> foo"bar"
1213                    "foo'bar'" -> foo'bar' */
1214                 if (*haystack == '\'') {
1215                         if (in_squote)
1216                                 in_squote = FALSE;
1217                         else if (!in_dquote)
1218                                 in_squote = TRUE;
1219                 } else if (*haystack == '\"') {
1220                         if (in_dquote)
1221                                 in_dquote = FALSE;
1222                         else if (!in_squote)
1223                                 in_dquote = TRUE;
1224                 } else if (*haystack == '\\') {
1225                         haystack++;
1226                         haystack_len--;
1227                 }
1228
1229                 haystack++;
1230                 haystack_len--;
1231         }
1232
1233         return NULL;
1234 }
1235
1236 gchar **strsplit_with_quote(const gchar *str, const gchar *delim,
1237                             gint max_tokens)
1238 {
1239         GSList *string_list = NULL, *slist;
1240         gchar **str_array, *s, *new_str;
1241         guint i, n = 1, len;
1242
1243         cm_return_val_if_fail(str != NULL, NULL);
1244         cm_return_val_if_fail(delim != NULL, NULL);
1245
1246         if (max_tokens < 1)
1247                 max_tokens = G_MAXINT;
1248
1249         s = strstr_with_skip_quote(str, delim);
1250         if (s) {
1251                 guint delimiter_len = strlen(delim);
1252
1253                 do {
1254                         len = s - str;
1255                         new_str = g_strndup(str, len);
1256
1257                         if (new_str[0] == '\'' || new_str[0] == '\"') {
1258                                 if (new_str[len - 1] == new_str[0]) {
1259                                         new_str[len - 1] = '\0';
1260                                         memmove(new_str, new_str + 1, len - 1);
1261                                 }
1262                         }
1263                         string_list = g_slist_prepend(string_list, new_str);
1264                         n++;
1265                         str = s + delimiter_len;
1266                         s = strstr_with_skip_quote(str, delim);
1267                 } while (--max_tokens && s);
1268         }
1269
1270         if (*str) {
1271                 new_str = g_strdup(str);
1272                 if (new_str[0] == '\'' || new_str[0] == '\"') {
1273                         len = strlen(str);
1274                         if (new_str[len - 1] == new_str[0]) {
1275                                 new_str[len - 1] = '\0';
1276                                 memmove(new_str, new_str + 1, len - 1);
1277                         }
1278                 }
1279                 string_list = g_slist_prepend(string_list, new_str);
1280                 n++;
1281         }
1282
1283         str_array = g_new(gchar*, n);
1284
1285         i = n - 1;
1286
1287         str_array[i--] = NULL;
1288         for (slist = string_list; slist; slist = slist->next)
1289                 str_array[i--] = slist->data;
1290
1291         g_slist_free(string_list);
1292
1293         return str_array;
1294 }
1295
1296 gchar *get_abbrev_newsgroup_name(const gchar *group, gint len)
1297 {
1298         gchar *abbrev_group;
1299         gchar *ap;
1300         const gchar *p = group;
1301         const gchar *last;
1302
1303         cm_return_val_if_fail(group != NULL, NULL);
1304
1305         last = group + strlen(group);
1306         abbrev_group = ap = g_malloc(strlen(group) + 1);
1307
1308         while (*p) {
1309                 while (*p == '.')
1310                         *ap++ = *p++;
1311                 if ((ap - abbrev_group) + (last - p) > len && strchr(p, '.')) {
1312                         *ap++ = *p++;
1313                         while (*p != '.') p++;
1314                 } else {
1315                         strcpy(ap, p);
1316                         return abbrev_group;
1317                 }
1318         }
1319
1320         *ap = '\0';
1321         return abbrev_group;
1322 }
1323
1324 gchar *trim_string(const gchar *str, gint len)
1325 {
1326         const gchar *p = str;
1327         gint mb_len;
1328         gchar *new_str;
1329         gint new_len = 0;
1330
1331         if (!str) return NULL;
1332         if (strlen(str) <= len)
1333                 return g_strdup(str);
1334         if (g_utf8_validate(str, -1, NULL) == FALSE)
1335                 return g_strdup(str);
1336
1337         while (*p != '\0') {
1338                 mb_len = g_utf8_skip[*(guchar *)p];
1339                 if (mb_len == 0)
1340                         break;
1341                 else if (new_len + mb_len > len)
1342                         break;
1343
1344                 new_len += mb_len;
1345                 p += mb_len;
1346         }
1347
1348         Xstrndup_a(new_str, str, new_len, return g_strdup(str));
1349         return g_strconcat(new_str, "...", NULL);
1350 }
1351
1352 GList *uri_list_extract_filenames(const gchar *uri_list)
1353 {
1354         GList *result = NULL;
1355         const gchar *p, *q;
1356         gchar *escaped_utf8uri;
1357
1358         p = uri_list;
1359
1360         while (p) {
1361                 if (*p != '#') {
1362                         while (g_ascii_isspace(*p)) p++;
1363                         if (!strncmp(p, "file:", 5)) {
1364                                 q = p;
1365                                 q += 5;
1366                                 while (*q && *q != '\n' && *q != '\r') q++;
1367
1368                                 if (q > p) {
1369                                         gchar *file, *locale_file = NULL;
1370                                         q--;
1371                                         while (q > p && g_ascii_isspace(*q))
1372                                                 q--;
1373                                         Xalloca(escaped_utf8uri, q - p + 2,
1374                                                 return result);
1375                                         Xalloca(file, q - p + 2,
1376                                                 return result);
1377                                         *file = '\0';
1378                                         strncpy(escaped_utf8uri, p, q - p + 1);
1379                                         escaped_utf8uri[q - p + 1] = '\0';
1380                                         decode_uri(file, escaped_utf8uri);
1381                     /*
1382                      * g_filename_from_uri() rejects escaped/locale encoded uri
1383                      * string which come from Nautilus.
1384                      */
1385 #ifndef G_OS_WIN32
1386                                         if (g_utf8_validate(file, -1, NULL))
1387                                                 locale_file
1388                                                         = conv_codeset_strdup(
1389                                                                 file + 5,
1390                                                                 CS_UTF_8,
1391                                                                 conv_get_locale_charset_str());
1392                                         if (!locale_file)
1393                                                 locale_file = g_strdup(file + 5);
1394 #else
1395                                         locale_file = g_filename_from_uri(escaped_utf8uri, NULL, NULL);
1396 #endif
1397                                         result = g_list_append(result, locale_file);
1398                                 }
1399                         }
1400                 }
1401                 p = strchr(p, '\n');
1402                 if (p) p++;
1403         }
1404
1405         return result;
1406 }
1407
1408 /* Converts two-digit hexadecimal to decimal.  Used for unescaping escaped
1409  * characters
1410  */
1411 static gint axtoi(const gchar *hexstr)
1412 {
1413         gint hi, lo, result;
1414
1415         hi = hexstr[0];
1416         if ('0' <= hi && hi <= '9') {
1417                 hi -= '0';
1418         } else
1419                 if ('a' <= hi && hi <= 'f') {
1420                         hi -= ('a' - 10);
1421                 } else
1422                         if ('A' <= hi && hi <= 'F') {
1423                                 hi -= ('A' - 10);
1424                         }
1425
1426         lo = hexstr[1];
1427         if ('0' <= lo && lo <= '9') {
1428                 lo -= '0';
1429         } else
1430                 if ('a' <= lo && lo <= 'f') {
1431                         lo -= ('a'-10);
1432                 } else
1433                         if ('A' <= lo && lo <= 'F') {
1434                                 lo -= ('A' - 10);
1435                         }
1436         result = lo + (16 * hi);
1437         return result;
1438 }
1439
1440 gboolean is_uri_string(const gchar *str)
1441 {
1442         while (str && *str && g_ascii_isspace(*str))
1443                 str++;
1444         return (g_ascii_strncasecmp(str, "http://", 7) == 0 ||
1445                 g_ascii_strncasecmp(str, "https://", 8) == 0 ||
1446                 g_ascii_strncasecmp(str, "ftp://", 6) == 0 ||
1447                 g_ascii_strncasecmp(str, "www.", 4) == 0);
1448 }
1449
1450 gchar *get_uri_path(const gchar *uri)
1451 {
1452         while (uri && *uri && g_ascii_isspace(*uri))
1453                 uri++;
1454         if (g_ascii_strncasecmp(uri, "http://", 7) == 0)
1455                 return (gchar *)(uri + 7);
1456         else if (g_ascii_strncasecmp(uri, "https://", 8) == 0)
1457                 return (gchar *)(uri + 8);
1458         else if (g_ascii_strncasecmp(uri, "ftp://", 6) == 0)
1459                 return (gchar *)(uri + 6);
1460         else
1461                 return (gchar *)uri;
1462 }
1463
1464 gint get_uri_len(const gchar *str)
1465 {
1466         const gchar *p;
1467
1468         if (is_uri_string(str)) {
1469                 for (p = str; *p != '\0'; p++) {
1470                         if (!g_ascii_isgraph(*p) || strchr("()<>\"", *p))
1471                                 break;
1472                 }
1473                 return p - str;
1474         }
1475
1476         return 0;
1477 }
1478
1479 /* Decodes URL-Encoded strings (i.e. strings in which spaces are replaced by
1480  * plusses, and escape characters are used)
1481  */
1482 void decode_uri_with_plus(gchar *decoded_uri, const gchar *encoded_uri, gboolean with_plus)
1483 {
1484         gchar *dec = decoded_uri;
1485         const gchar *enc = encoded_uri;
1486
1487         while (*enc) {
1488                 if (*enc == '%') {
1489                         enc++;
1490                         if (isxdigit((guchar)enc[0]) &&
1491                             isxdigit((guchar)enc[1])) {
1492                                 *dec = axtoi(enc);
1493                                 dec++;
1494                                 enc += 2;
1495                         }
1496                 } else {
1497                         if (with_plus && *enc == '+')
1498                                 *dec = ' ';
1499                         else
1500                                 *dec = *enc;
1501                         dec++;
1502                         enc++;
1503                 }
1504         }
1505
1506         *dec = '\0';
1507 }
1508
1509 void decode_uri(gchar *decoded_uri, const gchar *encoded_uri)
1510 {
1511         decode_uri_with_plus(decoded_uri, encoded_uri, TRUE);
1512 }
1513
1514 static gchar *decode_uri_gdup(const gchar *encoded_uri)
1515 {
1516     gchar *buffer = g_malloc(strlen(encoded_uri)+1);
1517     decode_uri_with_plus(buffer, encoded_uri, FALSE);
1518     return buffer;
1519 }
1520
1521 gint scan_mailto_url(const gchar *mailto, gchar **from, gchar **to, gchar **cc, gchar **bcc,
1522                      gchar **subject, gchar **body, gchar ***attach, gchar **inreplyto)
1523 {
1524         gchar *tmp_mailto;
1525         gchar *p;
1526         const gchar *forbidden_uris[] = { ".gnupg/",
1527                                           "/etc/passwd",
1528                                           "/etc/shadow",
1529                                           ".ssh/",
1530                                           "../",
1531                                           NULL };
1532         gint num_attach = 0;
1533         gchar **my_att = NULL;
1534
1535         Xstrdup_a(tmp_mailto, mailto, return -1);
1536
1537         if (!strncmp(tmp_mailto, "mailto:", 7))
1538                 tmp_mailto += 7;
1539
1540         p = strchr(tmp_mailto, '?');
1541         if (p) {
1542                 *p = '\0';
1543                 p++;
1544         }
1545
1546         if (to && !*to)
1547                 *to = decode_uri_gdup(tmp_mailto);
1548
1549         my_att = g_malloc(sizeof(char *));
1550         my_att[0] = NULL;
1551
1552         while (p) {
1553                 gchar *field, *value;
1554
1555                 field = p;
1556
1557                 p = strchr(p, '=');
1558                 if (!p) break;
1559                 *p = '\0';
1560                 p++;
1561
1562                 value = p;
1563
1564                 p = strchr(p, '&');
1565                 if (p) {
1566                         *p = '\0';
1567                         p++;
1568                 }
1569
1570                 if (*value == '\0') continue;
1571
1572                 if (from && !g_ascii_strcasecmp(field, "from")) {
1573                         if (!*from) {
1574                                 *from = decode_uri_gdup(value);
1575                         } else {
1576                                 gchar *tmp = decode_uri_gdup(value);
1577                                 gchar *new_from = g_strdup_printf("%s, %s", *from, tmp);
1578                                 g_free(*from);
1579                                 *from = new_from;
1580                         }
1581                 } else if (cc && !g_ascii_strcasecmp(field, "cc")) {
1582                         if (!*cc) {
1583                                 *cc = decode_uri_gdup(value);
1584                         } else {
1585                                 gchar *tmp = decode_uri_gdup(value);
1586                                 gchar *new_cc = g_strdup_printf("%s, %s", *cc, tmp);
1587                                 g_free(*cc);
1588                                 *cc = new_cc;
1589                         }
1590                 } else if (bcc && !g_ascii_strcasecmp(field, "bcc")) {
1591                         if (!*bcc) {
1592                                 *bcc = decode_uri_gdup(value);
1593                         } else {
1594                                 gchar *tmp = decode_uri_gdup(value);
1595                                 gchar *new_bcc = g_strdup_printf("%s, %s", *bcc, tmp);
1596                                 g_free(*bcc);
1597                                 *bcc = new_bcc;
1598                         }
1599                 } else if (subject && !*subject &&
1600                            !g_ascii_strcasecmp(field, "subject")) {
1601                         *subject = decode_uri_gdup(value);
1602                 } else if (body && !*body && !g_ascii_strcasecmp(field, "body")) {
1603                         *body = decode_uri_gdup(value);
1604                 } else if (body && !*body && !g_ascii_strcasecmp(field, "insert")) {
1605                         gchar *tmp = decode_uri_gdup(value);
1606                         if (!g_file_get_contents(tmp, body, NULL, NULL)) {
1607                                 g_warning("couldn't set insert file '%s' in body", value);
1608                         }
1609                         g_free(tmp);
1610                         tmp = NULL;
1611                 } else if (attach && !g_ascii_strcasecmp(field, "attach")) {
1612                         int i = 0;
1613                         gchar *tmp = decode_uri_gdup(value);
1614                         for (; forbidden_uris[i]; i++) {
1615                                 if (strstr(tmp, forbidden_uris[i])) {
1616                                         g_print("Refusing to attach '%s', potential private data leak\n",
1617                                                         tmp);
1618                                         g_free(tmp);
1619                                         tmp = NULL;
1620                                         break;
1621                                 }
1622                         }
1623                         if (tmp) {
1624                                 /* attach is correct */
1625                                 num_attach++;
1626                                 my_att = g_realloc(my_att, (sizeof(char *))*(num_attach+1));
1627                                 my_att[num_attach-1] = tmp;
1628                                 my_att[num_attach] = NULL;
1629                         }
1630                 } else if (inreplyto && !*inreplyto &&
1631                            !g_ascii_strcasecmp(field, "in-reply-to")) {
1632                         *inreplyto = decode_uri_gdup(value);
1633                 }
1634         }
1635
1636         if (attach)
1637                 *attach = my_att;
1638         return 0;
1639 }
1640
1641
1642 #ifdef G_OS_WIN32
1643 #include <windows.h>
1644 #ifndef CSIDL_APPDATA
1645 #define CSIDL_APPDATA 0x001a
1646 #endif
1647 #ifndef CSIDL_LOCAL_APPDATA
1648 #define CSIDL_LOCAL_APPDATA 0x001c
1649 #endif
1650 #ifndef CSIDL_FLAG_CREATE
1651 #define CSIDL_FLAG_CREATE 0x8000
1652 #endif
1653 #define DIM(v)               (sizeof(v)/sizeof((v)[0]))
1654
1655 #define RTLD_LAZY 0
1656 const char *
1657 w32_strerror (int w32_errno)
1658 {
1659   static char strerr[256];
1660   int ec = (int)GetLastError ();
1661
1662   if (w32_errno == 0)
1663     w32_errno = ec;
1664   FormatMessage (FORMAT_MESSAGE_FROM_SYSTEM, NULL, w32_errno,
1665                  MAKELANGID (LANG_NEUTRAL, SUBLANG_DEFAULT),
1666                  strerr, DIM (strerr)-1, NULL);
1667   return strerr;
1668 }
1669
1670 static __inline__ void *
1671 dlopen (const char * name, int flag)
1672 {
1673   void * hd = LoadLibrary (name);
1674   return hd;
1675 }
1676
1677 static __inline__ void *
1678 dlsym (void * hd, const char * sym)
1679 {
1680   if (hd && sym)
1681     {
1682       void * fnc = GetProcAddress (hd, sym);
1683       if (!fnc)
1684         return NULL;
1685       return fnc;
1686     }
1687   return NULL;
1688 }
1689
1690
1691 static __inline__ const char *
1692 dlerror (void)
1693 {
1694   return w32_strerror (0);
1695 }
1696
1697
1698 static __inline__ int
1699 dlclose (void * hd)
1700 {
1701   if (hd)
1702     {
1703       FreeLibrary (hd);
1704       return 0;
1705     }
1706   return -1;
1707 }
1708
1709 static HRESULT
1710 w32_shgetfolderpath (HWND a, int b, HANDLE c, DWORD d, LPSTR e)
1711 {
1712   static int initialized;
1713   static HRESULT (WINAPI * func)(HWND,int,HANDLE,DWORD,LPSTR);
1714
1715   if (!initialized)
1716     {
1717       static char *dllnames[] = { "shell32.dll", "shfolder.dll", NULL };
1718       void *handle;
1719       int i;
1720
1721       initialized = 1;
1722
1723       for (i=0, handle = NULL; !handle && dllnames[i]; i++)
1724         {
1725           handle = dlopen (dllnames[i], RTLD_LAZY);
1726           if (handle)
1727             {
1728               func = dlsym (handle, "SHGetFolderPathW");
1729               if (!func)
1730                 {
1731                   dlclose (handle);
1732                   handle = NULL;
1733                 }
1734             }
1735         }
1736     }
1737
1738   if (func)
1739     return func (a,b,c,d,e);
1740   else
1741     return -1;
1742 }
1743
1744 /* Returns a static string with the directroy from which the module
1745    has been loaded.  Returns an empty string on error. */
1746 static char *w32_get_module_dir(void)
1747 {
1748         static char *moddir;
1749
1750         if (!moddir) {
1751                 char name[MAX_PATH+10];
1752                 char *p;
1753
1754                 if ( !GetModuleFileNameA (0, name, sizeof (name)-10) )
1755                         *name = 0;
1756                 else {
1757                         p = strrchr (name, '\\');
1758                         if (p)
1759                                 *p = 0;
1760                         else
1761                                 *name = 0;
1762                 }
1763                 moddir = g_strdup (name);
1764         }
1765         return moddir;
1766 }
1767 #endif /* G_OS_WIN32 */
1768
1769 /* Return a static string with the locale dir. */
1770 const gchar *get_locale_dir(void)
1771 {
1772         static gchar *loc_dir;
1773
1774 #ifdef G_OS_WIN32
1775         if (!loc_dir)
1776                 loc_dir = g_strconcat(w32_get_module_dir(), G_DIR_SEPARATOR_S,
1777                                       "\\share\\locale", NULL);
1778 #endif
1779         if (!loc_dir)
1780                 loc_dir = LOCALEDIR;
1781         
1782         return loc_dir;
1783 }
1784
1785
1786 const gchar *get_home_dir(void)
1787 {
1788 #ifdef G_OS_WIN32
1789         static char home_dir_utf16[MAX_PATH] = "";
1790         static gchar *home_dir_utf8 = NULL;
1791         if (home_dir_utf16[0] == '\0') {
1792                 if (w32_shgetfolderpath
1793                             (NULL, CSIDL_APPDATA|CSIDL_FLAG_CREATE,
1794                              NULL, 0, home_dir_utf16) < 0)
1795                                 strcpy (home_dir_utf16, "C:\\Claws Mail");
1796                 home_dir_utf8 = g_utf16_to_utf8 ((const gunichar *)home_dir_utf16, -1, NULL, NULL, NULL);
1797         }
1798         return home_dir_utf8;
1799 #else
1800         static const gchar *homeenv = NULL;
1801
1802         if (homeenv)
1803                 return homeenv;
1804
1805         if (!homeenv && g_getenv("HOME") != NULL)
1806                 homeenv = g_strdup(g_getenv("HOME"));
1807         if (!homeenv)
1808                 homeenv = g_get_home_dir();
1809
1810         return homeenv;
1811 #endif
1812 }
1813
1814 static gchar *claws_rc_dir = NULL;
1815 static gboolean rc_dir_alt = FALSE;
1816 const gchar *get_rc_dir(void)
1817 {
1818
1819         if (!claws_rc_dir) {
1820                 claws_rc_dir = g_strconcat(get_home_dir(), G_DIR_SEPARATOR_S,
1821                                      RC_DIR, NULL);
1822                 debug_print("using default rc_dir %s\n", claws_rc_dir);
1823         }
1824         return claws_rc_dir;
1825 }
1826
1827 void set_rc_dir(const gchar *dir)
1828 {
1829         gchar *canonical_dir;
1830         if (claws_rc_dir != NULL) {
1831                 g_print("Error: rc_dir already set\n");
1832         } else {
1833                 int err = cm_canonicalize_filename(dir, &canonical_dir);
1834                 int len;
1835
1836                 if (err) {
1837                         g_print("Error looking for %s: %d(%s)\n",
1838                                 dir, -err, g_strerror(-err));
1839                         exit(0);
1840                 }
1841                 rc_dir_alt = TRUE;
1842
1843                 claws_rc_dir = canonical_dir;
1844                 
1845                 len = strlen(claws_rc_dir);
1846                 if (claws_rc_dir[len - 1] == G_DIR_SEPARATOR)
1847                         claws_rc_dir[len - 1] = '\0';
1848                 
1849                 debug_print("set rc_dir to %s\n", claws_rc_dir);
1850                 if (!is_dir_exist(claws_rc_dir)) {
1851                         if (make_dir_hier(claws_rc_dir) != 0) {
1852                                 g_print("Error: can't create %s\n",
1853                                 claws_rc_dir);
1854                                 exit(0);
1855                         }
1856                 }
1857         }
1858 }
1859
1860 gboolean rc_dir_is_alt(void) {
1861         return rc_dir_alt;
1862 }
1863
1864 const gchar *get_mail_base_dir(void)
1865 {
1866         return get_home_dir();
1867 }
1868
1869 const gchar *get_news_cache_dir(void)
1870 {
1871         static gchar *news_cache_dir = NULL;
1872         if (!news_cache_dir)
1873                 news_cache_dir = g_strconcat(get_rc_dir(), G_DIR_SEPARATOR_S,
1874                                              NEWS_CACHE_DIR, NULL);
1875
1876         return news_cache_dir;
1877 }
1878
1879 const gchar *get_imap_cache_dir(void)
1880 {
1881         static gchar *imap_cache_dir = NULL;
1882
1883         if (!imap_cache_dir)
1884                 imap_cache_dir = g_strconcat(get_rc_dir(), G_DIR_SEPARATOR_S,
1885                                              IMAP_CACHE_DIR, NULL);
1886
1887         return imap_cache_dir;
1888 }
1889
1890 const gchar *get_mime_tmp_dir(void)
1891 {
1892         static gchar *mime_tmp_dir = NULL;
1893
1894         if (!mime_tmp_dir)
1895                 mime_tmp_dir = g_strconcat(get_rc_dir(), G_DIR_SEPARATOR_S,
1896                                            MIME_TMP_DIR, NULL);
1897
1898         return mime_tmp_dir;
1899 }
1900
1901 const gchar *get_template_dir(void)
1902 {
1903         static gchar *template_dir = NULL;
1904
1905         if (!template_dir)
1906                 template_dir = g_strconcat(get_rc_dir(), G_DIR_SEPARATOR_S,
1907                                            TEMPLATE_DIR, NULL);
1908
1909         return template_dir;
1910 }
1911
1912 #ifdef G_OS_WIN32
1913 const gchar *w32_get_cert_file(void)
1914 {
1915         const gchar *cert_file = NULL;
1916         if (!cert_file)
1917                 cert_file = g_strconcat(w32_get_module_dir(),
1918                                  "\\share\\claws-mail\\",
1919                                 "ca-certificates.crt",
1920                                 NULL);  
1921         return cert_file;
1922 }
1923 #endif
1924
1925 /* Return the filepath of the claws-mail.desktop file */
1926 const gchar *get_desktop_file(void)
1927 {
1928 #ifdef DESKTOPFILEPATH
1929   return DESKTOPFILEPATH;
1930 #else
1931   return NULL;
1932 #endif
1933 }
1934
1935 /* Return the default directory for Plugins. */
1936 const gchar *get_plugin_dir(void)
1937 {
1938 #ifdef G_OS_WIN32
1939         static gchar *plugin_dir = NULL;
1940
1941         if (!plugin_dir)
1942                 plugin_dir = g_strconcat(w32_get_module_dir(),
1943                                          "\\lib\\claws-mail\\plugins\\",
1944                                          NULL);
1945         return plugin_dir;
1946 #else
1947         if (is_dir_exist(PLUGINDIR))
1948                 return PLUGINDIR;
1949         else {
1950                 static gchar *plugin_dir = NULL;
1951                 if (!plugin_dir)
1952                         plugin_dir = g_strconcat(get_rc_dir(), 
1953                                 G_DIR_SEPARATOR_S, "plugins", 
1954                                 G_DIR_SEPARATOR_S, NULL);
1955                 return plugin_dir;                      
1956         }
1957 #endif
1958 }
1959
1960
1961 #ifdef G_OS_WIN32
1962 /* Return the default directory for Themes. */
1963 const gchar *w32_get_themes_dir(void)
1964 {
1965         static gchar *themes_dir = NULL;
1966
1967         if (!themes_dir)
1968                 themes_dir = g_strconcat(w32_get_module_dir(),
1969                                          "\\share\\claws-mail\\themes",
1970                                          NULL);
1971         return themes_dir;
1972 }
1973 #endif
1974
1975 const gchar *get_tmp_dir(void)
1976 {
1977         static gchar *tmp_dir = NULL;
1978
1979         if (!tmp_dir)
1980                 tmp_dir = g_strconcat(get_rc_dir(), G_DIR_SEPARATOR_S,
1981                                       TMP_DIR, NULL);
1982
1983         return tmp_dir;
1984 }
1985
1986 gchar *get_tmp_file(void)
1987 {
1988         gchar *tmp_file;
1989         static guint32 id = 0;
1990
1991         tmp_file = g_strdup_printf("%s%ctmpfile.%08x",
1992                                    get_tmp_dir(), G_DIR_SEPARATOR, id++);
1993
1994         return tmp_file;
1995 }
1996
1997 const gchar *get_domain_name(void)
1998 {
1999 #ifdef G_OS_UNIX
2000         static gchar *domain_name = NULL;
2001         struct addrinfo hints, *res;
2002         char hostname[256];
2003         int s;
2004
2005         if (!domain_name) {
2006                 if (gethostname(hostname, sizeof(hostname)) != 0) {
2007                         perror("gethostname");
2008                         domain_name = "localhost";
2009                 } else {
2010                         memset(&hints, 0, sizeof(struct addrinfo));
2011                         hints.ai_family = AF_UNSPEC;
2012                         hints.ai_socktype = 0;
2013                         hints.ai_flags = AI_CANONNAME;
2014                         hints.ai_protocol = 0;
2015
2016                         s = getaddrinfo(hostname, NULL, &hints, &res);
2017                         if (s != 0) {
2018                                 fprintf(stderr, "getaddrinfo: %s\n", gai_strerror(s));
2019                                 domain_name = g_strdup(hostname);
2020                         } else {
2021                                 domain_name = g_strdup(res->ai_canonname);
2022                                 freeaddrinfo(res);
2023                         }
2024                 }
2025                 debug_print("domain name = %s\n", domain_name);
2026         }
2027
2028         return domain_name;
2029 #else
2030         return "localhost";
2031 #endif
2032 }
2033
2034 off_t get_file_size(const gchar *file)
2035 {
2036         GStatBuf s;
2037
2038         if (g_stat(file, &s) < 0) {
2039                 FILE_OP_ERROR(file, "stat");
2040                 return -1;
2041         }
2042
2043         return s.st_size;
2044 }
2045
2046 time_t get_file_mtime(const gchar *file)
2047 {
2048         GStatBuf s;
2049
2050         if (g_stat(file, &s) < 0) {
2051                 FILE_OP_ERROR(file, "stat");
2052                 return -1;
2053         }
2054
2055         return s.st_mtime;
2056 }
2057
2058 gboolean file_exist(const gchar *file, gboolean allow_fifo)
2059 {
2060         GStatBuf s;
2061
2062         if (file == NULL)
2063                 return FALSE;
2064
2065         if (g_stat(file, &s) < 0) {
2066                 if (ENOENT != errno) FILE_OP_ERROR(file, "stat");
2067                 return FALSE;
2068         }
2069
2070         if (S_ISREG(s.st_mode) || (allow_fifo && S_ISFIFO(s.st_mode)))
2071                 return TRUE;
2072
2073         return FALSE;
2074 }
2075
2076
2077 /* Test on whether FILE is a relative file name. This is
2078  * straightforward for Unix but more complex for Windows. */
2079 gboolean is_relative_filename(const gchar *file)
2080 {
2081         if (!file)
2082                 return TRUE;
2083 #ifdef G_OS_WIN32
2084         if ( *file == '\\' && file[1] == '\\' && strchr (file+2, '\\') )
2085                 return FALSE; /* Prefixed with a hostname - this can't
2086                                * be a relative name. */
2087
2088         if ( ((*file >= 'a' && *file <= 'z')
2089               || (*file >= 'A' && *file <= 'Z'))
2090              && file[1] == ':')
2091                 file += 2;  /* Skip drive letter. */
2092
2093         return !(*file == '\\' || *file == '/');
2094 #else
2095         return !(*file == G_DIR_SEPARATOR);
2096 #endif
2097 }
2098
2099
2100 gboolean is_dir_exist(const gchar *dir)
2101 {
2102         if (dir == NULL)
2103                 return FALSE;
2104
2105         return g_file_test(dir, G_FILE_TEST_IS_DIR);
2106 }
2107
2108 gboolean is_file_entry_exist(const gchar *file)
2109 {
2110         if (file == NULL)
2111                 return FALSE;
2112
2113         return g_file_test(file, G_FILE_TEST_EXISTS);
2114 }
2115
2116 gboolean dirent_is_regular_file(struct dirent *d)
2117 {
2118 #if !defined(G_OS_WIN32) && defined(HAVE_DIRENT_D_TYPE)
2119         if (d->d_type == DT_REG)
2120                 return TRUE;
2121         else if (d->d_type != DT_UNKNOWN)
2122                 return FALSE;
2123 #endif
2124
2125         return g_file_test(d->d_name, G_FILE_TEST_IS_REGULAR);
2126 }
2127
2128 gint change_dir(const gchar *dir)
2129 {
2130         gchar *prevdir = NULL;
2131
2132         if (debug_mode)
2133                 prevdir = g_get_current_dir();
2134
2135         if (g_chdir(dir) < 0) {
2136                 FILE_OP_ERROR(dir, "chdir");
2137                 if (debug_mode) g_free(prevdir);
2138                 return -1;
2139         } else if (debug_mode) {
2140                 gchar *cwd;
2141
2142                 cwd = g_get_current_dir();
2143                 if (strcmp(prevdir, cwd) != 0)
2144                         g_print("current dir: %s\n", cwd);
2145                 g_free(cwd);
2146                 g_free(prevdir);
2147         }
2148
2149         return 0;
2150 }
2151
2152 gint make_dir(const gchar *dir)
2153 {
2154         if (g_mkdir(dir, S_IRWXU) < 0) {
2155                 FILE_OP_ERROR(dir, "mkdir");
2156                 return -1;
2157         }
2158         if (g_chmod(dir, S_IRWXU) < 0)
2159                 FILE_OP_ERROR(dir, "chmod");
2160
2161         return 0;
2162 }
2163
2164 gint make_dir_hier(const gchar *dir)
2165 {
2166         gchar *parent_dir;
2167         const gchar *p;
2168
2169         for (p = dir; (p = strchr(p, G_DIR_SEPARATOR)) != NULL; p++) {
2170                 parent_dir = g_strndup(dir, p - dir);
2171                 if (*parent_dir != '\0') {
2172                         if (!is_dir_exist(parent_dir)) {
2173                                 if (make_dir(parent_dir) < 0) {
2174                                         g_free(parent_dir);
2175                                         return -1;
2176                                 }
2177                         }
2178                 }
2179                 g_free(parent_dir);
2180         }
2181
2182         if (!is_dir_exist(dir)) {
2183                 if (make_dir(dir) < 0)
2184                         return -1;
2185         }
2186
2187         return 0;
2188 }
2189
2190 gint remove_all_files(const gchar *dir)
2191 {
2192         GDir *dp;
2193         const gchar *file_name;
2194         gchar *tmp;
2195
2196         if ((dp = g_dir_open(dir, 0, NULL)) == NULL) {
2197                 g_warning("failed to open directory: %s", dir);
2198                 return -1;
2199         }
2200
2201         while ((file_name = g_dir_read_name(dp)) != NULL) {
2202                 tmp = g_strconcat(dir, G_DIR_SEPARATOR_S, file_name, NULL);
2203                 if (claws_unlink(tmp) < 0)
2204                         FILE_OP_ERROR(tmp, "unlink");
2205                 g_free(tmp);
2206         }
2207
2208         g_dir_close(dp);
2209
2210         return 0;
2211 }
2212
2213 gint remove_numbered_files(const gchar *dir, guint first, guint last)
2214 {
2215         GDir *dp;
2216         const gchar *dir_name;
2217         gchar *prev_dir;
2218         gint file_no;
2219
2220         if (first == last) {
2221                 /* Skip all the dir reading part. */
2222                 gchar *filename = g_strdup_printf("%s%s%u", dir, G_DIR_SEPARATOR_S, first);
2223                 if (is_dir_exist(filename)) {
2224                         /* a numbered directory with this name exists,
2225                          * remove the dot-file instead */
2226                         g_free(filename);
2227                         filename = g_strdup_printf("%s%s.%u", dir, G_DIR_SEPARATOR_S, first);
2228                 }
2229                 if (claws_unlink(filename) < 0) {
2230                         FILE_OP_ERROR(filename, "unlink");
2231                         g_free(filename);
2232                         return -1;
2233                 }
2234                 g_free(filename);
2235                 return 0;
2236         }
2237
2238         prev_dir = g_get_current_dir();
2239
2240         if (g_chdir(dir) < 0) {
2241                 FILE_OP_ERROR(dir, "chdir");
2242                 g_free(prev_dir);
2243                 return -1;
2244         }
2245
2246         if ((dp = g_dir_open(".", 0, NULL)) == NULL) {
2247                 g_warning("failed to open directory: %s", dir);
2248                 g_free(prev_dir);
2249                 return -1;
2250         }
2251
2252         while ((dir_name = g_dir_read_name(dp)) != NULL) {
2253                 file_no = to_number(dir_name);
2254                 if (file_no > 0 && first <= file_no && file_no <= last) {
2255                         if (is_dir_exist(dir_name)) {
2256                                 gchar *dot_file = g_strdup_printf(".%s", dir_name);
2257                                 if (is_file_exist(dot_file) && claws_unlink(dot_file) < 0) {
2258                                         FILE_OP_ERROR(dot_file, "unlink");
2259                                 }
2260                                 g_free(dot_file);
2261                                 continue;
2262                         }
2263                         if (claws_unlink(dir_name) < 0)
2264                                 FILE_OP_ERROR(dir_name, "unlink");
2265                 }
2266         }
2267
2268         g_dir_close(dp);
2269
2270         if (g_chdir(prev_dir) < 0) {
2271                 FILE_OP_ERROR(prev_dir, "chdir");
2272                 g_free(prev_dir);
2273                 return -1;
2274         }
2275
2276         g_free(prev_dir);
2277
2278         return 0;
2279 }
2280
2281 gint remove_numbered_files_not_in_list(const gchar *dir, GSList *numberlist)
2282 {
2283         GDir *dp;
2284         const gchar *dir_name;
2285         gchar *prev_dir;
2286         gint file_no;
2287         GHashTable *wanted_files;
2288         GSList *cur;
2289         GError *error = NULL;
2290
2291         if (numberlist == NULL)
2292             return 0;
2293
2294         prev_dir = g_get_current_dir();
2295
2296         if (g_chdir(dir) < 0) {
2297                 FILE_OP_ERROR(dir, "chdir");
2298                 g_free(prev_dir);
2299                 return -1;
2300         }
2301
2302         if ((dp = g_dir_open(".", 0, &error)) == NULL) {
2303                 g_message("Couldn't open current directory: %s (%d).\n",
2304                                 error->message, error->code);
2305                 g_error_free(error);
2306                 g_free(prev_dir);
2307                 return -1;
2308         }
2309
2310         wanted_files = g_hash_table_new(g_direct_hash, g_direct_equal);
2311         for (cur = numberlist; cur != NULL; cur = cur->next) {
2312                 /* numberlist->data is expected to be GINT_TO_POINTER */
2313                 g_hash_table_insert(wanted_files, cur->data, GINT_TO_POINTER(1));
2314         }
2315
2316         while ((dir_name = g_dir_read_name(dp)) != NULL) {
2317                 file_no = to_number(dir_name);
2318                 if (is_dir_exist(dir_name))
2319                         continue;
2320                 if (file_no > 0 && g_hash_table_lookup(wanted_files, GINT_TO_POINTER(file_no)) == NULL) {
2321                         debug_print("removing unwanted file %d from %s\n", file_no, dir);
2322                         if (is_dir_exist(dir_name)) {
2323                                 gchar *dot_file = g_strdup_printf(".%s", dir_name);
2324                                 if (is_file_exist(dot_file) && claws_unlink(dot_file) < 0) {
2325                                         FILE_OP_ERROR(dot_file, "unlink");
2326                                 }
2327                                 g_free(dot_file);
2328                                 continue;
2329                         }
2330                         if (claws_unlink(dir_name) < 0)
2331                                 FILE_OP_ERROR(dir_name, "unlink");
2332                 }
2333         }
2334
2335         g_dir_close(dp);
2336         g_hash_table_destroy(wanted_files);
2337
2338         if (g_chdir(prev_dir) < 0) {
2339                 FILE_OP_ERROR(prev_dir, "chdir");
2340                 g_free(prev_dir);
2341                 return -1;
2342         }
2343
2344         g_free(prev_dir);
2345
2346         return 0;
2347 }
2348
2349 gint remove_all_numbered_files(const gchar *dir)
2350 {
2351         return remove_numbered_files(dir, 0, UINT_MAX);
2352 }
2353
2354 gint remove_dir_recursive(const gchar *dir)
2355 {
2356         GStatBuf s;
2357         GDir *dp;
2358         const gchar *dir_name;
2359         gchar *prev_dir;
2360
2361         if (g_stat(dir, &s) < 0) {
2362                 FILE_OP_ERROR(dir, "stat");
2363                 if (ENOENT == errno) return 0;
2364                 return -(errno);
2365         }
2366
2367         if (!S_ISDIR(s.st_mode)) {
2368                 if (claws_unlink(dir) < 0) {
2369                         FILE_OP_ERROR(dir, "unlink");
2370                         return -(errno);
2371                 }
2372
2373                 return 0;
2374         }
2375
2376         prev_dir = g_get_current_dir();
2377         /* g_print("prev_dir = %s\n", prev_dir); */
2378
2379         if (!path_cmp(prev_dir, dir)) {
2380                 g_free(prev_dir);
2381                 if (g_chdir("..") < 0) {
2382                         FILE_OP_ERROR(dir, "chdir");
2383                         return -(errno);
2384                 }
2385                 prev_dir = g_get_current_dir();
2386         }
2387
2388         if (g_chdir(dir) < 0) {
2389                 FILE_OP_ERROR(dir, "chdir");
2390                 g_free(prev_dir);
2391                 return -(errno);
2392         }
2393
2394         if ((dp = g_dir_open(".", 0, NULL)) == NULL) {
2395                 g_warning("failed to open directory: %s", dir);
2396                 g_chdir(prev_dir);
2397                 g_free(prev_dir);
2398                 return -(errno);
2399         }
2400
2401         /* remove all files in the directory */
2402         while ((dir_name = g_dir_read_name(dp)) != NULL) {
2403                 /* g_print("removing %s\n", dir_name); */
2404
2405                 if (is_dir_exist(dir_name)) {
2406                         gint ret;
2407
2408                         if ((ret = remove_dir_recursive(dir_name)) < 0) {
2409                                 g_warning("can't remove directory: %s", dir_name);
2410                                 return ret;
2411                         }
2412                 } else {
2413                         if (claws_unlink(dir_name) < 0)
2414                                 FILE_OP_ERROR(dir_name, "unlink");
2415                 }
2416         }
2417
2418         g_dir_close(dp);
2419
2420         if (g_chdir(prev_dir) < 0) {
2421                 FILE_OP_ERROR(prev_dir, "chdir");
2422                 g_free(prev_dir);
2423                 return -(errno);
2424         }
2425
2426         g_free(prev_dir);
2427
2428         if (g_rmdir(dir) < 0) {
2429                 FILE_OP_ERROR(dir, "rmdir");
2430                 return -(errno);
2431         }
2432
2433         return 0;
2434 }
2435
2436 gint rename_force(const gchar *oldpath, const gchar *newpath)
2437 {
2438 #ifndef G_OS_UNIX
2439         if (!is_file_entry_exist(oldpath)) {
2440                 errno = ENOENT;
2441                 return -1;
2442         }
2443         if (is_file_exist(newpath)) {
2444                 if (claws_unlink(newpath) < 0)
2445                         FILE_OP_ERROR(newpath, "unlink");
2446         }
2447 #endif
2448         return g_rename(oldpath, newpath);
2449 }
2450
2451 /*
2452  * Append src file body to the tail of dest file.
2453  * Now keep_backup has no effects.
2454  */
2455 gint append_file(const gchar *src, const gchar *dest, gboolean keep_backup)
2456 {
2457         FILE *src_fp, *dest_fp;
2458         gint n_read;
2459         gchar buf[BUFSIZ];
2460
2461         gboolean err = FALSE;
2462
2463         if ((src_fp = g_fopen(src, "rb")) == NULL) {
2464                 FILE_OP_ERROR(src, "g_fopen");
2465                 return -1;
2466         }
2467
2468         if ((dest_fp = g_fopen(dest, "ab")) == NULL) {
2469                 FILE_OP_ERROR(dest, "g_fopen");
2470                 fclose(src_fp);
2471                 return -1;
2472         }
2473
2474         if (change_file_mode_rw(dest_fp, dest) < 0) {
2475                 FILE_OP_ERROR(dest, "chmod");
2476                 g_warning("can't change file mode: %s", dest);
2477         }
2478
2479         while ((n_read = fread(buf, sizeof(gchar), sizeof(buf), src_fp)) > 0) {
2480                 if (n_read < sizeof(buf) && ferror(src_fp))
2481                         break;
2482                 if (fwrite(buf, 1, n_read, dest_fp) < n_read) {
2483                         g_warning("writing to %s failed.", dest);
2484                         fclose(dest_fp);
2485                         fclose(src_fp);
2486                         claws_unlink(dest);
2487                         return -1;
2488                 }
2489         }
2490
2491         if (ferror(src_fp)) {
2492                 FILE_OP_ERROR(src, "fread");
2493                 err = TRUE;
2494         }
2495         fclose(src_fp);
2496         if (fclose(dest_fp) == EOF) {
2497                 FILE_OP_ERROR(dest, "fclose");
2498                 err = TRUE;
2499         }
2500
2501         if (err) {
2502                 claws_unlink(dest);
2503                 return -1;
2504         }
2505
2506         return 0;
2507 }
2508
2509 gint copy_file(const gchar *src, const gchar *dest, gboolean keep_backup)
2510 {
2511         FILE *src_fp, *dest_fp;
2512         gint n_read;
2513         gchar buf[BUFSIZ];
2514         gchar *dest_bak = NULL;
2515         gboolean err = FALSE;
2516
2517         if ((src_fp = g_fopen(src, "rb")) == NULL) {
2518                 FILE_OP_ERROR(src, "g_fopen");
2519                 return -1;
2520         }
2521         if (is_file_exist(dest)) {
2522                 dest_bak = g_strconcat(dest, ".bak", NULL);
2523                 if (rename_force(dest, dest_bak) < 0) {
2524                         FILE_OP_ERROR(dest, "rename");
2525                         fclose(src_fp);
2526                         g_free(dest_bak);
2527                         return -1;
2528                 }
2529         }
2530
2531         if ((dest_fp = g_fopen(dest, "wb")) == NULL) {
2532                 FILE_OP_ERROR(dest, "g_fopen");
2533                 fclose(src_fp);
2534                 if (dest_bak) {
2535                         if (rename_force(dest_bak, dest) < 0)
2536                                 FILE_OP_ERROR(dest_bak, "rename");
2537                         g_free(dest_bak);
2538                 }
2539                 return -1;
2540         }
2541
2542         if (change_file_mode_rw(dest_fp, dest) < 0) {
2543                 FILE_OP_ERROR(dest, "chmod");
2544                 g_warning("can't change file mode: %s", dest);
2545         }
2546
2547         while ((n_read = fread(buf, sizeof(gchar), sizeof(buf), src_fp)) > 0) {
2548                 if (n_read < sizeof(buf) && ferror(src_fp))
2549                         break;
2550                 if (fwrite(buf, 1, n_read, dest_fp) < n_read) {
2551                         g_warning("writing to %s failed.", dest);
2552                         fclose(dest_fp);
2553                         fclose(src_fp);
2554                         claws_unlink(dest);
2555                         if (dest_bak) {
2556                                 if (rename_force(dest_bak, dest) < 0)
2557                                         FILE_OP_ERROR(dest_bak, "rename");
2558                                 g_free(dest_bak);
2559                         }
2560                         return -1;
2561                 }
2562         }
2563
2564         if (ferror(src_fp)) {
2565                 FILE_OP_ERROR(src, "fread");
2566                 err = TRUE;
2567         }
2568         fclose(src_fp);
2569         if (fclose(dest_fp) == EOF) {
2570                 FILE_OP_ERROR(dest, "fclose");
2571                 err = TRUE;
2572         }
2573
2574         if (err) {
2575                 claws_unlink(dest);
2576                 if (dest_bak) {
2577                         if (rename_force(dest_bak, dest) < 0)
2578                                 FILE_OP_ERROR(dest_bak, "rename");
2579                         g_free(dest_bak);
2580                 }
2581                 return -1;
2582         }
2583
2584         if (keep_backup == FALSE && dest_bak)
2585                 claws_unlink(dest_bak);
2586
2587         g_free(dest_bak);
2588
2589         return 0;
2590 }
2591
2592 gint move_file(const gchar *src, const gchar *dest, gboolean overwrite)
2593 {
2594         if (overwrite == FALSE && is_file_exist(dest)) {
2595                 g_warning("move_file(): file %s already exists.", dest);
2596                 return -1;
2597         }
2598
2599         if (rename_force(src, dest) == 0) return 0;
2600
2601         if (EXDEV != errno) {
2602                 FILE_OP_ERROR(src, "rename");
2603                 return -1;
2604         }
2605
2606         if (copy_file(src, dest, FALSE) < 0) return -1;
2607
2608         claws_unlink(src);
2609
2610         return 0;
2611 }
2612
2613 gint copy_file_part_to_fp(FILE *fp, off_t offset, size_t length, FILE *dest_fp)
2614 {
2615         gint n_read;
2616         gint bytes_left, to_read;
2617         gchar buf[BUFSIZ];
2618
2619         if (fseek(fp, offset, SEEK_SET) < 0) {
2620                 perror("fseek");
2621                 return -1;
2622         }
2623
2624         bytes_left = length;
2625         to_read = MIN(bytes_left, sizeof(buf));
2626
2627         while ((n_read = fread(buf, sizeof(gchar), to_read, fp)) > 0) {
2628                 if (n_read < to_read && ferror(fp))
2629                         break;
2630                 if (fwrite(buf, 1, n_read, dest_fp) < n_read) {
2631                         return -1;
2632                 }
2633                 bytes_left -= n_read;
2634                 if (bytes_left == 0)
2635                         break;
2636                 to_read = MIN(bytes_left, sizeof(buf));
2637         }
2638
2639         if (ferror(fp)) {
2640                 perror("fread");
2641                 return -1;
2642         }
2643
2644         return 0;
2645 }
2646
2647 gint copy_file_part(FILE *fp, off_t offset, size_t length, const gchar *dest)
2648 {
2649         FILE *dest_fp;
2650         gboolean err = FALSE;
2651
2652         if ((dest_fp = g_fopen(dest, "wb")) == NULL) {
2653                 FILE_OP_ERROR(dest, "g_fopen");
2654                 return -1;
2655         }
2656
2657         if (change_file_mode_rw(dest_fp, dest) < 0) {
2658                 FILE_OP_ERROR(dest, "chmod");
2659                 g_warning("can't change file mode: %s", dest);
2660         }
2661
2662         if (copy_file_part_to_fp(fp, offset, length, dest_fp) < 0)
2663                 err = TRUE;
2664
2665         if (!err && fclose(dest_fp) == EOF) {
2666                 FILE_OP_ERROR(dest, "fclose");
2667                 err = TRUE;
2668         }
2669
2670         if (err) {
2671                 g_warning("writing to %s failed.", dest);
2672                 claws_unlink(dest);
2673                 return -1;
2674         }
2675
2676         return 0;
2677 }
2678
2679 /* convert line endings into CRLF. If the last line doesn't end with
2680  * linebreak, add it.
2681  */
2682 gchar *canonicalize_str(const gchar *str)
2683 {
2684         const gchar *p;
2685         guint new_len = 0;
2686         gchar *out, *outp;
2687
2688         for (p = str; *p != '\0'; ++p) {
2689                 if (*p != '\r') {
2690                         ++new_len;
2691                         if (*p == '\n')
2692                                 ++new_len;
2693                 }
2694         }
2695         if (p == str || *(p - 1) != '\n')
2696                 new_len += 2;
2697
2698         out = outp = g_malloc(new_len + 1);
2699         for (p = str; *p != '\0'; ++p) {
2700                 if (*p != '\r') {
2701                         if (*p == '\n')
2702                                 *outp++ = '\r';
2703                         *outp++ = *p;
2704                 }
2705         }
2706         if (p == str || *(p - 1) != '\n') {
2707                 *outp++ = '\r';
2708                 *outp++ = '\n';
2709         }
2710         *outp = '\0';
2711
2712         return out;
2713 }
2714
2715 gint canonicalize_file(const gchar *src, const gchar *dest)
2716 {
2717         FILE *src_fp, *dest_fp;
2718         gchar buf[BUFFSIZE];
2719         gint len;
2720         gboolean err = FALSE;
2721         gboolean last_linebreak = FALSE;
2722
2723         if (src == NULL || dest == NULL)
2724                 return -1;
2725
2726         if ((src_fp = g_fopen(src, "rb")) == NULL) {
2727                 FILE_OP_ERROR(src, "g_fopen");
2728                 return -1;
2729         }
2730
2731         if ((dest_fp = g_fopen(dest, "wb")) == NULL) {
2732                 FILE_OP_ERROR(dest, "g_fopen");
2733                 fclose(src_fp);
2734                 return -1;
2735         }
2736
2737         if (change_file_mode_rw(dest_fp, dest) < 0) {
2738                 FILE_OP_ERROR(dest, "chmod");
2739                 g_warning("can't change file mode: %s", dest);
2740         }
2741
2742         while (fgets(buf, sizeof(buf), src_fp) != NULL) {
2743                 gint r = 0;
2744
2745                 len = strlen(buf);
2746                 if (len == 0) break;
2747                 last_linebreak = FALSE;
2748
2749                 if (buf[len - 1] != '\n') {
2750                         last_linebreak = TRUE;
2751                         r = fputs(buf, dest_fp);
2752                 } else if (len > 1 && buf[len - 1] == '\n' && buf[len - 2] == '\r') {
2753                         r = fputs(buf, dest_fp);
2754                 } else {
2755                         if (len > 1) {
2756                                 r = fwrite(buf, 1, len - 1, dest_fp);
2757                                 if (r != (len -1))
2758                                         r = EOF;
2759                         }
2760                         if (r != EOF)
2761                                 r = fputs("\r\n", dest_fp);
2762                 }
2763
2764                 if (r == EOF) {
2765                         g_warning("writing to %s failed.", dest);
2766                         fclose(dest_fp);
2767                         fclose(src_fp);
2768                         claws_unlink(dest);
2769                         return -1;
2770                 }
2771         }
2772
2773         if (last_linebreak == TRUE) {
2774                 if (fputs("\r\n", dest_fp) == EOF)
2775                         err = TRUE;
2776         }
2777
2778         if (ferror(src_fp)) {
2779                 FILE_OP_ERROR(src, "fgets");
2780                 err = TRUE;
2781         }
2782         fclose(src_fp);
2783         if (fclose(dest_fp) == EOF) {
2784                 FILE_OP_ERROR(dest, "fclose");
2785                 err = TRUE;
2786         }
2787
2788         if (err) {
2789                 claws_unlink(dest);
2790                 return -1;
2791         }
2792
2793         return 0;
2794 }
2795
2796 gint canonicalize_file_replace(const gchar *file)
2797 {
2798         gchar *tmp_file;
2799
2800         tmp_file = get_tmp_file();
2801
2802         if (canonicalize_file(file, tmp_file) < 0) {
2803                 g_free(tmp_file);
2804                 return -1;
2805         }
2806
2807         if (move_file(tmp_file, file, TRUE) < 0) {
2808                 g_warning("can't replace file: %s", file);
2809                 claws_unlink(tmp_file);
2810                 g_free(tmp_file);
2811                 return -1;
2812         }
2813
2814         g_free(tmp_file);
2815         return 0;
2816 }
2817
2818 gchar *normalize_newlines(const gchar *str)
2819 {
2820         const gchar *p;
2821         gchar *out, *outp;
2822
2823         out = outp = g_malloc(strlen(str) + 1);
2824         for (p = str; *p != '\0'; ++p) {
2825                 if (*p == '\r') {
2826                         if (*(p + 1) != '\n')
2827                                 *outp++ = '\n';
2828                 } else
2829                         *outp++ = *p;
2830         }
2831
2832         *outp = '\0';
2833
2834         return out;
2835 }
2836
2837 gchar *get_outgoing_rfc2822_str(FILE *fp)
2838 {
2839         gchar buf[BUFFSIZE];
2840         GString *str;
2841         gchar *ret;
2842
2843         str = g_string_new(NULL);
2844
2845         /* output header part */
2846         while (fgets(buf, sizeof(buf), fp) != NULL) {
2847                 strretchomp(buf);
2848                 if (!g_ascii_strncasecmp(buf, "Bcc:", 4)) {
2849                         gint next;
2850
2851                         for (;;) {
2852                                 next = fgetc(fp);
2853                                 if (next == EOF)
2854                                         break;
2855                                 else if (next != ' ' && next != '\t') {
2856                                         ungetc(next, fp);
2857                                         break;
2858                                 }
2859                                 if (fgets(buf, sizeof(buf), fp) == NULL)
2860                                         break;
2861                         }
2862                 } else {
2863                         g_string_append(str, buf);
2864                         g_string_append(str, "\r\n");
2865                         if (buf[0] == '\0')
2866                                 break;
2867                 }
2868         }
2869
2870         /* output body part */
2871         while (fgets(buf, sizeof(buf), fp) != NULL) {
2872                 strretchomp(buf);
2873                 if (buf[0] == '.')
2874                         g_string_append_c(str, '.');
2875                 g_string_append(str, buf);
2876                 g_string_append(str, "\r\n");
2877         }
2878
2879         ret = str->str;
2880         g_string_free(str, FALSE);
2881
2882         return ret;
2883 }
2884
2885 /*
2886  * Create a new boundary in a way that it is very unlikely that this
2887  * will occur in the following text.  It would be easy to ensure
2888  * uniqueness if everything is either quoted-printable or base64
2889  * encoded (note that conversion is allowed), but because MIME bodies
2890  * may be nested, it may happen that the same boundary has already
2891  * been used.
2892  *
2893  *   boundary := 0*69<bchars> bcharsnospace
2894  *   bchars := bcharsnospace / " "
2895  *   bcharsnospace := DIGIT / ALPHA / "'" / "(" / ")" /
2896  *                  "+" / "_" / "," / "-" / "." /
2897  *                  "/" / ":" / "=" / "?"
2898  *
2899  * some special characters removed because of buggy MTAs
2900  */
2901
2902 gchar *generate_mime_boundary(const gchar *prefix)
2903 {
2904         static gchar tbl[] = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
2905                              "abcdefghijklmnopqrstuvwxyz"
2906                              "1234567890+_./=";
2907         gchar buf_uniq[24];
2908         gint i;
2909
2910         for (i = 0; i < sizeof(buf_uniq) - 1; i++)
2911                 buf_uniq[i] = tbl[g_random_int_range(0, sizeof(tbl) - 1)];
2912         buf_uniq[i] = '\0';
2913
2914         return g_strdup_printf("%s_/%s", prefix ? prefix : "MP",
2915                                buf_uniq);
2916 }
2917
2918 gint change_file_mode_rw(FILE *fp, const gchar *file)
2919 {
2920 #if HAVE_FCHMOD
2921         return fchmod(fileno(fp), S_IRUSR|S_IWUSR);
2922 #else
2923         return g_chmod(file, S_IRUSR|S_IWUSR);
2924 #endif
2925 }
2926
2927 FILE *my_tmpfile(void)
2928 {
2929         const gchar suffix[] = ".XXXXXX";
2930         const gchar *tmpdir;
2931         guint tmplen;
2932         const gchar *progname;
2933         guint proglen;
2934         gchar *fname;
2935         gint fd;
2936         FILE *fp;
2937 #ifndef G_OS_WIN32
2938         gchar buf[2]="\0";
2939 #endif
2940
2941         tmpdir = get_tmp_dir();
2942         tmplen = strlen(tmpdir);
2943         progname = g_get_prgname();
2944         if (progname == NULL)
2945                 progname = "claws-mail";
2946         proglen = strlen(progname);
2947         Xalloca(fname, tmplen + 1 + proglen + sizeof(suffix),
2948                 return tmpfile());
2949
2950         memcpy(fname, tmpdir, tmplen);
2951         fname[tmplen] = G_DIR_SEPARATOR;
2952         memcpy(fname + tmplen + 1, progname, proglen);
2953         memcpy(fname + tmplen + 1 + proglen, suffix, sizeof(suffix));
2954
2955         fd = g_mkstemp(fname);
2956         if (fd < 0)
2957                 return tmpfile();
2958
2959 #ifndef G_OS_WIN32
2960         claws_unlink(fname);
2961         
2962         /* verify that we can write in the file after unlinking */
2963         if (write(fd, buf, 1) < 0) {
2964                 close(fd);
2965                 return tmpfile();
2966         }
2967         
2968 #endif
2969
2970         fp = fdopen(fd, "w+b");
2971         if (!fp)
2972                 close(fd);
2973         else {
2974                 rewind(fp);
2975                 return fp;
2976         }
2977
2978         return tmpfile();
2979 }
2980
2981 FILE *get_tmpfile_in_dir(const gchar *dir, gchar **filename)
2982 {
2983         int fd;
2984         *filename = g_strdup_printf("%s%cclaws.XXXXXX", dir, G_DIR_SEPARATOR);
2985         fd = g_mkstemp(*filename);
2986         if (fd < 0)
2987                 return NULL;
2988         return fdopen(fd, "w+");
2989 }
2990
2991 FILE *str_open_as_stream(const gchar *str)
2992 {
2993         FILE *fp;
2994         size_t len;
2995
2996         cm_return_val_if_fail(str != NULL, NULL);
2997
2998         fp = my_tmpfile();
2999         if (!fp) {
3000                 FILE_OP_ERROR("str_open_as_stream", "my_tmpfile");
3001                 return NULL;
3002         }
3003
3004         len = strlen(str);
3005         if (len == 0) return fp;
3006
3007         if (fwrite(str, 1, len, fp) != len) {
3008                 FILE_OP_ERROR("str_open_as_stream", "fwrite");
3009                 fclose(fp);
3010                 return NULL;
3011         }
3012
3013         rewind(fp);
3014         return fp;
3015 }
3016
3017 gint str_write_to_file(const gchar *str, const gchar *file)
3018 {
3019         FILE *fp;
3020         size_t len;
3021
3022         cm_return_val_if_fail(str != NULL, -1);
3023         cm_return_val_if_fail(file != NULL, -1);
3024
3025         if ((fp = g_fopen(file, "wb")) == NULL) {
3026                 FILE_OP_ERROR(file, "g_fopen");
3027                 return -1;
3028         }
3029
3030         len = strlen(str);
3031         if (len == 0) {
3032                 fclose(fp);
3033                 return 0;
3034         }
3035
3036         if (fwrite(str, 1, len, fp) != len) {
3037                 FILE_OP_ERROR(file, "fwrite");
3038                 fclose(fp);
3039                 claws_unlink(file);
3040                 return -1;
3041         }
3042
3043         if (fclose(fp) == EOF) {
3044                 FILE_OP_ERROR(file, "fclose");
3045                 claws_unlink(file);
3046                 return -1;
3047         }
3048
3049         return 0;
3050 }
3051
3052 static gchar *file_read_stream_to_str_full(FILE *fp, gboolean recode)
3053 {
3054         GByteArray *array;
3055         guchar buf[BUFSIZ];
3056         gint n_read;
3057         gchar *str;
3058
3059         cm_return_val_if_fail(fp != NULL, NULL);
3060
3061         array = g_byte_array_new();
3062
3063         while ((n_read = fread(buf, sizeof(gchar), sizeof(buf), fp)) > 0) {
3064                 if (n_read < sizeof(buf) && ferror(fp))
3065                         break;
3066                 g_byte_array_append(array, buf, n_read);
3067         }
3068
3069         if (ferror(fp)) {
3070                 FILE_OP_ERROR("file stream", "fread");
3071                 g_byte_array_free(array, TRUE);
3072                 return NULL;
3073         }
3074
3075         buf[0] = '\0';
3076         g_byte_array_append(array, buf, 1);
3077         str = (gchar *)array->data;
3078         g_byte_array_free(array, FALSE);
3079
3080         if (recode && !g_utf8_validate(str, -1, NULL)) {
3081                 const gchar *src_codeset, *dest_codeset;
3082                 gchar *tmp = NULL;
3083                 src_codeset = conv_get_locale_charset_str();
3084                 dest_codeset = CS_UTF_8;
3085                 tmp = conv_codeset_strdup(str, src_codeset, dest_codeset);
3086                 g_free(str);
3087                 str = tmp;
3088         }
3089
3090         return str;
3091 }
3092
3093 static gchar *file_read_to_str_full(const gchar *file, gboolean recode)
3094 {
3095         FILE *fp;
3096         gchar *str;
3097         GStatBuf s;
3098 #ifndef G_OS_WIN32
3099         gint fd, err;
3100         struct timeval timeout = {1, 0};
3101         fd_set fds;
3102         int fflags = 0;
3103 #endif
3104
3105         cm_return_val_if_fail(file != NULL, NULL);
3106
3107         if (g_stat(file, &s) != 0) {
3108                 FILE_OP_ERROR(file, "stat");
3109                 return NULL;
3110         }
3111         if (S_ISDIR(s.st_mode)) {
3112                 g_warning("%s: is a directory", file);
3113                 return NULL;
3114         }
3115
3116 #ifdef G_OS_WIN32
3117         fp = g_fopen (file, "rb");
3118         if (fp == NULL) {
3119                 FILE_OP_ERROR(file, "open");
3120                 return NULL;
3121         }
3122 #else     
3123         /* test whether the file is readable without blocking */
3124         fd = g_open(file, O_RDONLY | O_NONBLOCK, 0);
3125         if (fd == -1) {
3126                 FILE_OP_ERROR(file, "open");
3127                 return NULL;
3128         }
3129
3130         FD_ZERO(&fds);
3131         FD_SET(fd, &fds);
3132
3133         /* allow for one second */
3134         err = select(fd+1, &fds, NULL, NULL, &timeout);
3135         if (err <= 0 || !FD_ISSET(fd, &fds)) {
3136                 if (err < 0) {
3137                         FILE_OP_ERROR(file, "select");
3138                 } else {
3139                         g_warning("%s: doesn't seem readable", file);
3140                 }
3141                 close(fd);
3142                 return NULL;
3143         }
3144         
3145         /* Now clear O_NONBLOCK */
3146         if ((fflags = fcntl(fd, F_GETFL)) < 0) {
3147                 FILE_OP_ERROR(file, "fcntl (F_GETFL)");
3148                 close(fd);
3149                 return NULL;
3150         }
3151         if (fcntl(fd, F_SETFL, (fflags & ~O_NONBLOCK)) < 0) {
3152                 FILE_OP_ERROR(file, "fcntl (F_SETFL)");
3153                 close(fd);
3154                 return NULL;
3155         }
3156         
3157         /* get the FILE pointer */
3158         fp = fdopen(fd, "rb");
3159
3160         if (fp == NULL) {
3161                 FILE_OP_ERROR(file, "fdopen");
3162                 close(fd); /* if fp isn't NULL, we'll use fclose instead! */
3163                 return NULL;
3164         }
3165 #endif
3166
3167         str = file_read_stream_to_str_full(fp, recode);
3168
3169         fclose(fp);
3170
3171         return str;
3172 }
3173
3174 gchar *file_read_to_str(const gchar *file)
3175 {
3176         return file_read_to_str_full(file, TRUE);
3177 }
3178 gchar *file_read_stream_to_str(FILE *fp)
3179 {
3180         return file_read_stream_to_str_full(fp, TRUE);
3181 }
3182
3183 gchar *file_read_to_str_no_recode(const gchar *file)
3184 {
3185         return file_read_to_str_full(file, FALSE);
3186 }
3187 gchar *file_read_stream_to_str_no_recode(FILE *fp)
3188 {
3189         return file_read_stream_to_str_full(fp, FALSE);
3190 }
3191
3192 char *fgets_crlf(char *buf, int size, FILE *stream)
3193 {
3194         gboolean is_cr = FALSE;
3195         gboolean last_was_cr = FALSE;
3196         int c = 0;
3197         char *cs;
3198
3199         cs = buf;
3200         while (--size > 0 && (c = getc(stream)) != EOF)
3201         {
3202                 *cs++ = c;
3203                 is_cr = (c == '\r');
3204                 if (c == '\n') {
3205                         break;
3206                 }
3207                 if (last_was_cr) {
3208                         *(--cs) = '\n';
3209                         cs++;
3210                         ungetc(c, stream);
3211                         break;
3212                 }
3213                 last_was_cr = is_cr;
3214         }
3215         if (c == EOF && cs == buf)
3216                 return NULL;
3217
3218         *cs = '\0';
3219
3220         return buf;     
3221 }
3222
3223 static gint execute_async(gchar *const argv[], const gchar *working_directory)
3224 {
3225         cm_return_val_if_fail(argv != NULL && argv[0] != NULL, -1);
3226
3227         if (g_spawn_async(working_directory, (gchar **)argv, NULL, G_SPAWN_SEARCH_PATH,
3228                           NULL, NULL, NULL, FALSE) == FALSE) {
3229                 g_warning("couldn't execute command: %s", argv[0]);
3230                 return -1;
3231         }
3232
3233         return 0;
3234 }
3235
3236 static gint execute_sync(gchar *const argv[], const gchar *working_directory)
3237 {
3238         gint status;
3239
3240         cm_return_val_if_fail(argv != NULL && argv[0] != NULL, -1);
3241
3242 #ifdef G_OS_UNIX
3243         if (g_spawn_sync(working_directory, (gchar **)argv, NULL, G_SPAWN_SEARCH_PATH,
3244                          NULL, NULL, NULL, NULL, &status, NULL) == FALSE) {
3245                 g_warning("couldn't execute command: %s", argv[0]);
3246                 return -1;
3247         }
3248
3249         if (WIFEXITED(status))
3250                 return WEXITSTATUS(status);
3251         else
3252                 return -1;
3253 #else
3254         if (g_spawn_sync(working_directory, (gchar **)argv, NULL,
3255                                 G_SPAWN_SEARCH_PATH|
3256                                 G_SPAWN_CHILD_INHERITS_STDIN|
3257                                 G_SPAWN_LEAVE_DESCRIPTORS_OPEN,
3258                          NULL, NULL, NULL, NULL, &status, NULL) == FALSE) {
3259                 g_warning("couldn't execute command: %s", argv[0]);
3260                 return -1;
3261         }
3262
3263         return status;
3264 #endif
3265 }
3266
3267 gint execute_command_line(const gchar *cmdline, gboolean async,
3268                 const gchar *working_directory)
3269 {
3270         gchar **argv;
3271         gint ret;
3272
3273         debug_print("execute_command_line(): executing: %s\n", cmdline?cmdline:"(null)");
3274
3275         argv = strsplit_with_quote(cmdline, " ", 0);
3276
3277         if (async)
3278                 ret = execute_async(argv, working_directory);
3279         else
3280                 ret = execute_sync(argv, working_directory);
3281
3282         g_strfreev(argv);
3283
3284         return ret;
3285 }
3286
3287 gchar *get_command_output(const gchar *cmdline)
3288 {
3289         gchar *child_stdout;
3290         gint status;
3291
3292         cm_return_val_if_fail(cmdline != NULL, NULL);
3293
3294         debug_print("get_command_output(): executing: %s\n", cmdline);
3295
3296         if (g_spawn_command_line_sync(cmdline, &child_stdout, NULL, &status,
3297                                       NULL) == FALSE) {
3298                 g_warning("couldn't execute command: %s", cmdline);
3299                 return NULL;
3300         }
3301
3302         return child_stdout;
3303 }
3304
3305 static gint is_unchanged_uri_char(char c)
3306 {
3307         switch (c) {
3308                 case '(':
3309                 case ')':
3310                         return 0;
3311                 default:
3312                         return 1;
3313         }
3314 }
3315
3316 static void encode_uri(gchar *encoded_uri, gint bufsize, const gchar *uri)
3317 {
3318         int i;
3319         int k;
3320
3321         k = 0;
3322         for(i = 0; i < strlen(uri) ; i++) {
3323                 if (is_unchanged_uri_char(uri[i])) {
3324                         if (k + 2 >= bufsize)
3325                                 break;
3326                         encoded_uri[k++] = uri[i];
3327                 }
3328                 else {
3329                         char * hexa = "0123456789ABCDEF";
3330
3331                         if (k + 4 >= bufsize)
3332                                 break;
3333                         encoded_uri[k++] = '%';
3334                         encoded_uri[k++] = hexa[uri[i] / 16];
3335                         encoded_uri[k++] = hexa[uri[i] % 16];
3336                 }
3337         }
3338         encoded_uri[k] = 0;
3339 }
3340
3341 gint open_uri(const gchar *uri, const gchar *cmdline)
3342 {
3343
3344 #ifndef G_OS_WIN32
3345         gchar buf[BUFFSIZE];
3346         gchar *p;
3347         gchar encoded_uri[BUFFSIZE];
3348         cm_return_val_if_fail(uri != NULL, -1);
3349
3350         /* an option to choose whether to use encode_uri or not ? */
3351         encode_uri(encoded_uri, BUFFSIZE, uri);
3352
3353         if (cmdline &&
3354             (p = strchr(cmdline, '%')) && *(p + 1) == 's' &&
3355             !strchr(p + 2, '%'))
3356                 g_snprintf(buf, sizeof(buf), cmdline, encoded_uri);
3357         else {
3358                 if (cmdline)
3359                         g_warning("Open URI command-line is invalid "
3360                                   "(there must be only one '%%s'): %s",
3361                                   cmdline);
3362                 g_snprintf(buf, sizeof(buf), DEFAULT_BROWSER_CMD, encoded_uri);
3363         }
3364
3365         execute_command_line(buf, TRUE, NULL);
3366 #else
3367         ShellExecute(NULL, "open", uri, NULL, NULL, SW_SHOW);
3368 #endif
3369         return 0;
3370 }
3371
3372 gint open_txt_editor(const gchar *filepath, const gchar *cmdline)
3373 {
3374         gchar buf[BUFFSIZE];
3375         gchar *p;
3376
3377         cm_return_val_if_fail(filepath != NULL, -1);
3378
3379         if (cmdline &&
3380             (p = strchr(cmdline, '%')) && *(p + 1) == 's' &&
3381             !strchr(p + 2, '%'))
3382                 g_snprintf(buf, sizeof(buf), cmdline, filepath);
3383         else {
3384                 if (cmdline)
3385                         g_warning("Open Text Editor command-line is invalid "
3386                                   "(there must be only one '%%s'): %s",
3387                                   cmdline);
3388                 g_snprintf(buf, sizeof(buf), DEFAULT_EDITOR_CMD, filepath);
3389         }
3390
3391         execute_command_line(buf, TRUE, NULL);
3392
3393         return 0;
3394 }
3395
3396 time_t remote_tzoffset_sec(const gchar *zone)
3397 {
3398         static gchar ustzstr[] = "PSTPDTMSTMDTCSTCDTESTEDT";
3399         gchar zone3[4];
3400         gchar *p;
3401         gchar c;
3402         gint iustz;
3403         gint offset;
3404         time_t remoteoffset;
3405
3406         strncpy(zone3, zone, 3);
3407         zone3[3] = '\0';
3408         remoteoffset = 0;
3409
3410         if (sscanf(zone, "%c%d", &c, &offset) == 2 &&
3411             (c == '+' || c == '-')) {
3412                 remoteoffset = ((offset / 100) * 60 + (offset % 100)) * 60;
3413                 if (c == '-')
3414                         remoteoffset = -remoteoffset;
3415         } else if (!strncmp(zone, "UT" , 2) ||
3416                    !strncmp(zone, "GMT", 3)) {
3417                 remoteoffset = 0;
3418         } else if (strlen(zone3) == 3) {
3419                 for (p = ustzstr; *p != '\0'; p += 3) {
3420                         if (!g_ascii_strncasecmp(p, zone3, 3)) {
3421                                 iustz = ((gint)(p - ustzstr) / 3 + 1) / 2 - 8;
3422                                 remoteoffset = iustz * 3600;
3423                                 break;
3424                         }
3425                 }
3426                 if (*p == '\0')
3427                         return -1;
3428         } else if (strlen(zone3) == 1) {
3429                 switch (zone[0]) {
3430                 case 'Z': remoteoffset =   0; break;
3431                 case 'A': remoteoffset =  -1; break;
3432                 case 'B': remoteoffset =  -2; break;
3433                 case 'C': remoteoffset =  -3; break;
3434                 case 'D': remoteoffset =  -4; break;
3435                 case 'E': remoteoffset =  -5; break;
3436                 case 'F': remoteoffset =  -6; break;
3437                 case 'G': remoteoffset =  -7; break;
3438                 case 'H': remoteoffset =  -8; break;
3439                 case 'I': remoteoffset =  -9; break;
3440                 case 'K': remoteoffset = -10; break; /* J is not used */
3441                 case 'L': remoteoffset = -11; break;
3442                 case 'M': remoteoffset = -12; break;
3443                 case 'N': remoteoffset =   1; break;
3444                 case 'O': remoteoffset =   2; break;
3445                 case 'P': remoteoffset =   3; break;
3446                 case 'Q': remoteoffset =   4; break;
3447                 case 'R': remoteoffset =   5; break;
3448                 case 'S': remoteoffset =   6; break;
3449                 case 'T': remoteoffset =   7; break;
3450                 case 'U': remoteoffset =   8; break;
3451                 case 'V': remoteoffset =   9; break;
3452                 case 'W': remoteoffset =  10; break;
3453                 case 'X': remoteoffset =  11; break;
3454                 case 'Y': remoteoffset =  12; break;
3455                 default:  remoteoffset =   0; break;
3456                 }
3457                 remoteoffset = remoteoffset * 3600;
3458         } else
3459                 return -1;
3460
3461         return remoteoffset;
3462 }
3463
3464 time_t tzoffset_sec(time_t *now)
3465 {
3466         struct tm gmt, *lt;
3467         gint off;
3468         struct tm buf1, buf2;
3469 #ifdef G_OS_WIN32
3470         if (now && *now < 0)
3471                 return 0;
3472 #endif  
3473         gmt = *gmtime_r(now, &buf1);
3474         lt = localtime_r(now, &buf2);
3475
3476         off = (lt->tm_hour - gmt.tm_hour) * 60 + lt->tm_min - gmt.tm_min;
3477
3478         if (lt->tm_year < gmt.tm_year)
3479                 off -= 24 * 60;
3480         else if (lt->tm_year > gmt.tm_year)
3481                 off += 24 * 60;
3482         else if (lt->tm_yday < gmt.tm_yday)
3483                 off -= 24 * 60;
3484         else if (lt->tm_yday > gmt.tm_yday)
3485                 off += 24 * 60;
3486
3487         if (off >= 24 * 60)             /* should be impossible */
3488                 off = 23 * 60 + 59;     /* if not, insert silly value */
3489         if (off <= -24 * 60)
3490                 off = -(23 * 60 + 59);
3491
3492         return off * 60;
3493 }
3494
3495 /* calculate timezone offset */
3496 gchar *tzoffset(time_t *now)
3497 {
3498         static gchar offset_string[6];
3499         struct tm gmt, *lt;
3500         gint off;
3501         gchar sign = '+';
3502         struct tm buf1, buf2;
3503 #ifdef G_OS_WIN32
3504         if (now && *now < 0)
3505                 return 0;
3506 #endif
3507         gmt = *gmtime_r(now, &buf1);
3508         lt = localtime_r(now, &buf2);
3509
3510         off = (lt->tm_hour - gmt.tm_hour) * 60 + lt->tm_min - gmt.tm_min;
3511
3512         if (lt->tm_year < gmt.tm_year)
3513                 off -= 24 * 60;
3514         else if (lt->tm_year > gmt.tm_year)
3515                 off += 24 * 60;
3516         else if (lt->tm_yday < gmt.tm_yday)
3517                 off -= 24 * 60;
3518         else if (lt->tm_yday > gmt.tm_yday)
3519                 off += 24 * 60;
3520
3521         if (off < 0) {
3522                 sign = '-';
3523                 off = -off;
3524         }
3525
3526         if (off >= 24 * 60)             /* should be impossible */
3527                 off = 23 * 60 + 59;     /* if not, insert silly value */
3528
3529         sprintf(offset_string, "%c%02d%02d", sign, off / 60, off % 60);
3530
3531         return offset_string;
3532 }
3533
3534 static void _get_rfc822_date(gchar *buf, gint len, gboolean hidetz)
3535 {
3536         struct tm *lt;
3537         time_t t;
3538         gchar day[4], mon[4];
3539         gint dd, hh, mm, ss, yyyy;
3540         struct tm buf1;
3541         gchar buf2[BUFFSIZE];
3542
3543         t = time(NULL);
3544         lt = localtime_r(&t, &buf1);
3545
3546         sscanf(asctime_r(lt, buf2), "%3s %3s %d %d:%d:%d %d\n",
3547                day, mon, &dd, &hh, &mm, &ss, &yyyy);
3548
3549         g_snprintf(buf, len, "%s, %d %s %d %02d:%02d:%02d %s",
3550                    day, dd, mon, yyyy, hh, mm, ss, (hidetz? "-0000": tzoffset(&t)));
3551 }
3552
3553 void get_rfc822_date(gchar *buf, gint len)
3554 {
3555         _get_rfc822_date(buf, len, FALSE);
3556 }
3557
3558 void get_rfc822_date_hide_tz(gchar *buf, gint len)
3559 {
3560         _get_rfc822_date(buf, len, TRUE);
3561 }
3562
3563 void debug_set_mode(gboolean mode)
3564 {
3565         debug_mode = mode;
3566 }
3567
3568 gboolean debug_get_mode(void)
3569 {
3570         return debug_mode;
3571 }
3572
3573 void debug_print_real(const gchar *format, ...)
3574 {
3575         va_list args;
3576         gchar buf[BUFFSIZE];
3577
3578         if (!debug_mode) return;
3579
3580         va_start(args, format);
3581         g_vsnprintf(buf, sizeof(buf), format, args);
3582         va_end(args);
3583
3584         g_print("%s", buf);
3585 }
3586
3587
3588 const char * debug_srcname(const char *file)
3589 {
3590         const char *s = strrchr (file, '/');
3591         return s? s+1:file;
3592 }
3593
3594
3595 void * subject_table_lookup(GHashTable *subject_table, gchar * subject)
3596 {
3597         if (subject == NULL)
3598                 subject = "";
3599         else
3600                 subject += subject_get_prefix_length(subject);
3601
3602         return g_hash_table_lookup(subject_table, subject);
3603 }
3604
3605 void subject_table_insert(GHashTable *subject_table, gchar * subject,
3606                           void * data)
3607 {
3608         if (subject == NULL || *subject == 0)
3609                 return;
3610         subject += subject_get_prefix_length(subject);
3611         g_hash_table_insert(subject_table, subject, data);
3612 }
3613
3614 void subject_table_remove(GHashTable *subject_table, gchar * subject)
3615 {
3616         if (subject == NULL)
3617                 return;
3618
3619         subject += subject_get_prefix_length(subject);
3620         g_hash_table_remove(subject_table, subject);
3621 }
3622
3623 static regex_t u_regex;
3624 static gboolean u_init_;
3625
3626 void utils_free_regex(void)
3627 {
3628         if (u_init_) {
3629                 regfree(&u_regex);
3630                 u_init_ = FALSE;
3631         }
3632 }
3633
3634 /*!
3635  *\brief        Check if a string is prefixed with known (combinations)
3636  *              of prefixes. The function assumes that each prefix
3637  *              is terminated by zero or exactly _one_ space.
3638  *
3639  *\param        str String to check for a prefixes
3640  *
3641  *\return       int Number of chars in the prefix that should be skipped
3642  *              for a "clean" subject line. If no prefix was found, 0
3643  *              is returned.
3644  */
3645 int subject_get_prefix_length(const gchar *subject)
3646 {
3647         /*!< Array with allowable reply prefixes regexps. */
3648         static const gchar * const prefixes[] = {
3649                 "Re\\:",                        /* "Re:" */
3650                 "Re\\[[1-9][0-9]*\\]\\:",       /* "Re[XXX]:" (non-conforming news mail clients) */
3651                 "Antw\\:",                      /* "Antw:" (Dutch / German Outlook) */
3652                 "Aw\\:",                        /* "Aw:"   (German) */
3653                 "Antwort\\:",                   /* "Antwort:" (German Lotus Notes) */
3654                 "Res\\:",                       /* "Res:" (Spanish/Brazilian Outlook) */
3655                 "Fw\\:",                        /* "Fw:" Forward */
3656                 "Fwd\\:",                       /* "Fwd:" Forward */
3657                 "Enc\\:",                       /* "Enc:" Forward (Brazilian Outlook) */
3658                 "Odp\\:",                       /* "Odp:" Re (Polish Outlook) */
3659                 "Rif\\:",                       /* "Rif:" (Italian Outlook) */
3660                 "Sv\\:",                        /* "Sv" (Norwegian) */
3661                 "Vs\\:",                        /* "Vs" (Norwegian) */
3662                 "Ad\\:",                        /* "Ad" (Norwegian) */
3663                 "\347\255\224\345\244\215\\:",  /* "Re" (Chinese, UTF-8) */
3664                 "R\303\251f\\. \\:",            /* "R�f. :" (French Lotus Notes) */
3665                 "Re \\:",                       /* "Re :" (French Yahoo Mail) */
3666                 /* add more */
3667         };
3668         const int PREFIXES = sizeof prefixes / sizeof prefixes[0];
3669         int n;
3670         regmatch_t pos;
3671
3672         if (!subject) return 0;
3673         if (!*subject) return 0;
3674
3675         if (!u_init_) {
3676                 GString *s = g_string_new("");
3677
3678                 for (n = 0; n < PREFIXES; n++)
3679                         /* Terminate each prefix regexpression by a
3680                          * "\ ?" (zero or ONE space), and OR them */
3681                         g_string_append_printf(s, "(%s\\ ?)%s",
3682                                           prefixes[n],
3683                                           n < PREFIXES - 1 ?
3684                                           "|" : "");
3685
3686                 g_string_prepend(s, "(");
3687                 g_string_append(s, ")+");       /* match at least once */
3688                 g_string_prepend(s, "^\\ *");   /* from beginning of line */
3689
3690
3691                 /* We now have something like "^\ *((PREFIX1\ ?)|(PREFIX2\ ?))+"
3692                  * TODO: Should this be       "^\ *(((PREFIX1)|(PREFIX2))\ ?)+" ??? */
3693                 if (regcomp(&u_regex, s->str, REG_EXTENDED | REG_ICASE)) {
3694                         debug_print("Error compiling regexp %s\n", s->str);
3695                         g_string_free(s, TRUE);
3696                         return 0;
3697                 } else {
3698                         u_init_ = TRUE;
3699                         g_string_free(s, TRUE);
3700                 }
3701         }
3702
3703         if (!regexec(&u_regex, subject, 1, &pos, 0) && pos.rm_so != -1)
3704                 return pos.rm_eo;
3705         else
3706                 return 0;
3707 }
3708
3709 static guint g_stricase_hash(gconstpointer gptr)
3710 {
3711         guint hash_result = 0;
3712         const char *str;
3713
3714         for (str = gptr; str && *str; str++) {
3715                 hash_result += toupper(*str);
3716         }
3717
3718         return hash_result;
3719 }
3720
3721 static gint g_stricase_equal(gconstpointer gptr1, gconstpointer gptr2)
3722 {
3723         const char *str1 = gptr1;
3724         const char *str2 = gptr2;
3725
3726         return !strcasecmp(str1, str2);
3727 }
3728
3729 gint g_int_compare(gconstpointer a, gconstpointer b)
3730 {
3731         return GPOINTER_TO_INT(a) - GPOINTER_TO_INT(b);
3732 }
3733
3734 /*
3735    quote_cmd_argument()
3736
3737    return a quoted string safely usable in argument of a command.
3738
3739    code is extracted and adapted from etPan! project -- DINH V. Ho�.
3740 */
3741
3742 gint quote_cmd_argument(gchar * result, guint size,
3743                         const gchar * path)
3744 {
3745         const gchar * p;
3746         gchar * result_p;
3747         guint remaining;
3748
3749         result_p = result;
3750         remaining = size;
3751
3752         for(p = path ; * p != '\0' ; p ++) {
3753
3754                 if (isalnum((guchar)*p) || (* p == '/')) {
3755                         if (remaining > 0) {
3756                                 * result_p = * p;
3757                                 result_p ++;
3758                                 remaining --;
3759                         }
3760                         else {
3761                                 result[size - 1] = '\0';
3762                                 return -1;
3763                         }
3764                 }
3765                 else {
3766                         if (remaining >= 2) {
3767                                 * result_p = '\\';
3768                                 result_p ++;
3769                                 * result_p = * p;
3770                                 result_p ++;
3771                                 remaining -= 2;
3772                         }
3773                         else {
3774                                 result[size - 1] = '\0';
3775                                 return -1;
3776                         }
3777                 }
3778         }
3779         if (remaining > 0) {
3780                 * result_p = '\0';
3781         }
3782         else {
3783                 result[size - 1] = '\0';
3784                 return -1;
3785         }
3786
3787         return 0;
3788 }
3789
3790 typedef struct
3791 {
3792         GNode           *parent;
3793         GNodeMapFunc     func;
3794         gpointer         data;
3795 } GNodeMapData;
3796
3797 static void g_node_map_recursive(GNode *node, gpointer data)
3798 {
3799         GNodeMapData *mapdata = (GNodeMapData *) data;
3800         GNode *newnode;
3801         GNodeMapData newmapdata;
3802         gpointer newdata;
3803
3804         newdata = mapdata->func(node->data, mapdata->data);
3805         if (newdata != NULL) {
3806                 newnode = g_node_new(newdata);
3807                 g_node_append(mapdata->parent, newnode);
3808
3809                 newmapdata.parent = newnode;
3810                 newmapdata.func = mapdata->func;
3811                 newmapdata.data = mapdata->data;
3812
3813                 g_node_children_foreach(node, G_TRAVERSE_ALL, g_node_map_recursive, &newmapdata);
3814         }
3815 }
3816
3817 GNode *g_node_map(GNode *node, GNodeMapFunc func, gpointer data)
3818 {
3819         GNode *root;
3820         GNodeMapData mapdata;
3821
3822         cm_return_val_if_fail(node != NULL, NULL);
3823         cm_return_val_if_fail(func != NULL, NULL);
3824
3825         root = g_node_new(func(node->data, data));
3826
3827         mapdata.parent = root;
3828         mapdata.func = func;
3829         mapdata.data = data;
3830
3831         g_node_children_foreach(node, G_TRAVERSE_ALL, g_node_map_recursive, &mapdata);
3832
3833         return root;
3834 }
3835
3836 #define HEX_TO_INT(val, hex)                    \
3837 {                                               \
3838         gchar c = hex;                          \
3839                                                 \
3840         if ('0' <= c && c <= '9') {             \
3841                 val = c - '0';                  \
3842         } else if ('a' <= c && c <= 'f') {      \
3843                 val = c - 'a' + 10;             \
3844         } else if ('A' <= c && c <= 'F') {      \
3845                 val = c - 'A' + 10;             \
3846         } else {                                \
3847                 val = -1;                       \
3848         }                                       \
3849 }
3850
3851 gboolean get_hex_value(guchar *out, gchar c1, gchar c2)
3852 {
3853         gint hi, lo;
3854
3855         HEX_TO_INT(hi, c1);
3856         HEX_TO_INT(lo, c2);
3857
3858         if (hi == -1 || lo == -1)
3859                 return FALSE;
3860
3861         *out = (hi << 4) + lo;
3862         return TRUE;
3863 }
3864
3865 #define INT_TO_HEX(hex, val)            \
3866 {                                       \
3867         if ((val) < 10)                 \
3868                 hex = '0' + (val);      \
3869         else                            \
3870                 hex = 'A' + (val) - 10; \
3871 }
3872
3873 void get_hex_str(gchar *out, guchar ch)
3874 {
3875         gchar hex;
3876
3877         INT_TO_HEX(hex, ch >> 4);
3878         *out++ = hex;
3879         INT_TO_HEX(hex, ch & 0x0f);
3880         *out   = hex;
3881 }
3882
3883 #undef REF_DEBUG
3884 #ifndef REF_DEBUG
3885 #define G_PRINT_REF 1 == 1 ? (void) 0 : (void)
3886 #else
3887 #define G_PRINT_REF g_print
3888 #endif
3889
3890 /*!
3891  *\brief        Register ref counted pointer. It is based on GBoxed, so should
3892  *              work with anything that uses the GType system. The semantics
3893  *              are similar to a C++ auto pointer, with the exception that
3894  *              C doesn't have automatic closure (calling destructors) when
3895  *              exiting a block scope.
3896  *              Use the \ref G_TYPE_AUTO_POINTER macro instead of calling this
3897  *              function directly.
3898  *
3899  *\return       GType A GType type.
3900  */
3901 GType g_auto_pointer_register(void)
3902 {
3903         static GType auto_pointer_type;
3904         if (!auto_pointer_type)
3905                 auto_pointer_type =
3906                         g_boxed_type_register_static
3907                                 ("G_TYPE_AUTO_POINTER",
3908                                  (GBoxedCopyFunc) g_auto_pointer_copy,
3909                                  (GBoxedFreeFunc) g_auto_pointer_free);
3910         return auto_pointer_type;
3911 }
3912
3913 /*!
3914  *\brief        Structure with g_new() allocated pointer guarded by the
3915  *              auto pointer
3916  */
3917 typedef struct AutoPointerRef {
3918         void          (*free) (gpointer);
3919         gpointer        pointer;
3920         glong           cnt;
3921 } AutoPointerRef;
3922
3923 /*!
3924  *\brief        The auto pointer opaque structure that references the
3925  *              pointer guard block.
3926  */
3927 typedef struct AutoPointer {
3928         AutoPointerRef *ref;
3929         gpointer        ptr; /*!< access to protected pointer */
3930 } AutoPointer;
3931
3932 /*!
3933  *\brief        Creates an auto pointer for a g_new()ed pointer. Example:
3934  *
3935  *\code
3936  *
3937  *              ... tell gtk_list_store it should use a G_TYPE_AUTO_POINTER
3938  *              ... when assigning, copying and freeing storage elements
3939  *
3940  *              gtk_list_store_new(N_S_COLUMNS,
3941  *                                 G_TYPE_AUTO_POINTER,
3942  *                                 -1);
3943  *
3944  *
3945  *              Template *precious_data = g_new0(Template, 1);
3946  *              g_pointer protect = g_auto_pointer_new(precious_data);
3947  *
3948  *              gtk_list_store_set(container, &iter,
3949  *                                 S_DATA, protect,
3950  *                                 -1);
3951  *
3952  *              ... the gtk_list_store has copied the pointer and
3953  *              ... incremented its reference count, we should free
3954  *              ... the auto pointer (in C++ a destructor would do
3955  *              ... this for us when leaving block scope)
3956  *
3957  *              g_auto_pointer_free(protect);
3958  *
3959  *              ... gtk_list_store_set() now manages the data. When
3960  *              ... *explicitly* requesting a pointer from the list
3961  *              ... store, don't forget you get a copy that should be
3962  *              ... freed with g_auto_pointer_free() eventually.
3963  *
3964  *\endcode
3965  *
3966  *\param        pointer Pointer to be guarded.
3967  *
3968  *\return       GAuto * Pointer that should be used in containers with
3969  *              GType support.
3970  */
3971 GAuto *g_auto_pointer_new(gpointer p)
3972 {
3973         AutoPointerRef *ref;
3974         AutoPointer    *ptr;
3975
3976         if (p == NULL)
3977                 return NULL;
3978
3979         ref = g_new0(AutoPointerRef, 1);
3980         ptr = g_new0(AutoPointer, 1);
3981
3982         ref->pointer = p;
3983         ref->free = g_free;
3984         ref->cnt = 1;
3985
3986         ptr->ref = ref;
3987         ptr->ptr = p;
3988
3989 #ifdef REF_DEBUG
3990         G_PRINT_REF ("XXXX ALLOC(%lx)\n", p);
3991 #endif
3992         return ptr;
3993 }
3994
3995 /*!
3996  *\brief        Allocate an autopointer using the passed \a free function to
3997  *              free the guarded pointer
3998  */
3999 GAuto *g_auto_pointer_new_with_free(gpointer p, GFreeFunc free_)
4000 {
4001         AutoPointer *aptr;
4002
4003         if (p == NULL)
4004                 return NULL;
4005
4006         aptr = g_auto_pointer_new(p);
4007         aptr->ref->free = free_;
4008         return aptr;
4009 }
4010
4011 gpointer g_auto_pointer_get_ptr(GAuto *auto_ptr)
4012 {
4013         if (auto_ptr == NULL)
4014                 return NULL;
4015         return ((AutoPointer *) auto_ptr)->ptr;
4016 }
4017
4018 /*!
4019  *\brief        Copies an auto pointer by. It's mostly not necessary
4020  *              to call this function directly, unless you copy/assign
4021  *              the guarded pointer.
4022  *
4023  *\param        auto_ptr Auto pointer returned by previous call to
4024  *              g_auto_pointer_new_XXX()
4025  *
4026  *\return       gpointer An auto pointer
4027  */
4028 GAuto *g_auto_pointer_copy(GAuto *auto_ptr)
4029 {
4030         AutoPointer     *ptr;
4031         AutoPointerRef  *ref;
4032         AutoPointer     *newp;
4033
4034         if (auto_ptr == NULL)
4035                 return NULL;
4036
4037         ptr = auto_ptr;
4038         ref = ptr->ref;
4039         newp = g_new0(AutoPointer, 1);
4040
4041         newp->ref = ref;
4042         newp->ptr = ref->pointer;
4043         ++(ref->cnt);
4044
4045 #ifdef REF_DEBUG
4046         G_PRINT_REF ("XXXX COPY(%lx) -- REF (%d)\n", ref->pointer, ref->cnt);
4047 #endif
4048         return newp;
4049 }
4050
4051 /*!
4052  *\brief        Free an auto pointer
4053  */
4054 void g_auto_pointer_free(GAuto *auto_ptr)
4055 {
4056         AutoPointer     *ptr;
4057         AutoPointerRef  *ref;
4058
4059         if (auto_ptr == NULL)
4060                 return;
4061
4062         ptr = auto_ptr;
4063         ref = ptr->ref;
4064
4065         if (--(ref->cnt) == 0) {
4066 #ifdef REF_DEBUG
4067                 G_PRINT_REF ("XXXX FREE(%lx) -- REF (%d)\n", ref->pointer, ref->cnt);
4068 #endif
4069                 ref->free(ref->pointer);
4070                 g_free(ref);
4071         }
4072 #ifdef REF_DEBUG
4073         else
4074                 G_PRINT_REF ("XXXX DEREF(%lx) -- REF (%d)\n", ref->pointer, ref->cnt);
4075 #endif
4076         g_free(ptr);
4077 }
4078
4079 void replace_returns(gchar *str)
4080 {
4081         if (!str)
4082                 return;
4083
4084         while (strstr(str, "\n")) {
4085                 *strstr(str, "\n") = ' ';
4086         }
4087         while (strstr(str, "\r")) {
4088                 *strstr(str, "\r") = ' ';
4089         }
4090 }
4091
4092 /* get_uri_part() - retrieves a URI starting from scanpos.
4093                     Returns TRUE if succesful */
4094 gboolean get_uri_part(const gchar *start, const gchar *scanpos,
4095                              const gchar **bp, const gchar **ep, gboolean hdr)
4096 {
4097         const gchar *ep_;
4098         gint parenthese_cnt = 0;
4099
4100         cm_return_val_if_fail(start != NULL, FALSE);
4101         cm_return_val_if_fail(scanpos != NULL, FALSE);
4102         cm_return_val_if_fail(bp != NULL, FALSE);
4103         cm_return_val_if_fail(ep != NULL, FALSE);
4104
4105         *bp = scanpos;
4106
4107         /* find end point of URI */
4108         for (ep_ = scanpos; *ep_ != '\0'; ep_++) {
4109                 if (!g_ascii_isgraph(*(const guchar *)ep_) ||
4110                     !IS_ASCII(*(const guchar *)ep_) ||
4111                     strchr("[]{}<>\"", *ep_)) {
4112                         break;
4113                 } else if (strchr("(", *ep_)) {
4114                         parenthese_cnt++;
4115                 } else if (strchr(")", *ep_)) {
4116                         if (parenthese_cnt > 0)
4117                                 parenthese_cnt--;
4118                         else
4119                                 break;
4120                 }
4121         }
4122
4123         /* no punctuation at end of string */
4124
4125         /* FIXME: this stripping of trailing punctuations may bite with other URIs.
4126          * should pass some URI type to this function and decide on that whether
4127          * to perform punctuation stripping */
4128
4129 #define IS_REAL_PUNCT(ch)       (g_ascii_ispunct(ch) && !strchr("/?=-_)", ch))
4130
4131         for (; ep_ - 1 > scanpos + 1 &&
4132                IS_REAL_PUNCT(*(ep_ - 1));
4133              ep_--)
4134                 ;
4135
4136 #undef IS_REAL_PUNCT
4137
4138         *ep = ep_;
4139
4140         return TRUE;
4141 }
4142
4143 gchar *make_uri_string(const gchar *bp, const gchar *ep)
4144 {
4145         while (bp && *bp && g_ascii_isspace(*bp))
4146                 bp++;
4147         return g_strndup(bp, ep - bp);
4148 }
4149
4150 /* valid mail address characters */
4151 #define IS_RFC822_CHAR(ch) \
4152         (IS_ASCII(ch) && \
4153          (ch) > 32   && \
4154          (ch) != 127 && \
4155          !g_ascii_isspace(ch) && \
4156          !strchr("(),;<>\"", (ch)))
4157
4158 /* alphabet and number within 7bit ASCII */
4159 #define IS_ASCII_ALNUM(ch)      (IS_ASCII(ch) && g_ascii_isalnum(ch))
4160 #define IS_QUOTE(ch) ((ch) == '\'' || (ch) == '"')
4161
4162 static GHashTable *create_domain_tab(void)
4163 {
4164         gint n;
4165         GHashTable *htab = g_hash_table_new(g_stricase_hash, g_stricase_equal);
4166
4167         cm_return_val_if_fail(htab, NULL);
4168         for (n = 0; n < sizeof toplvl_domains / sizeof toplvl_domains[0]; n++)
4169                 g_hash_table_insert(htab, (gpointer) toplvl_domains[n], (gpointer) toplvl_domains[n]);
4170         return htab;
4171 }
4172
4173 static gboolean is_toplvl_domain(GHashTable *tab, const gchar *first, const gchar *last)
4174 {
4175         const gint MAX_LVL_DOM_NAME_LEN = 6;
4176         gchar buf[MAX_LVL_DOM_NAME_LEN + 1];
4177         const gchar *m = buf + MAX_LVL_DOM_NAME_LEN + 1;
4178         register gchar *p;
4179
4180         if (last - first > MAX_LVL_DOM_NAME_LEN || first > last)
4181                 return FALSE;
4182
4183         for (p = buf; p < m &&  first < last; *p++ = *first++)
4184                 ;
4185         *p = 0;
4186
4187         return g_hash_table_lookup(tab, buf) != NULL;
4188 }
4189
4190 /* get_email_part() - retrieves an email address. Returns TRUE if succesful */
4191 gboolean get_email_part(const gchar *start, const gchar *scanpos,
4192                                const gchar **bp, const gchar **ep, gboolean hdr)
4193 {
4194         /* more complex than the uri part because we need to scan back and forward starting from
4195          * the scan position. */
4196         gboolean result = FALSE;
4197         const gchar *bp_ = NULL;
4198         const gchar *ep_ = NULL;
4199         static GHashTable *dom_tab;
4200         const gchar *last_dot = NULL;
4201         const gchar *prelast_dot = NULL;
4202         const gchar *last_tld_char = NULL;
4203
4204         /* the informative part of the email address (describing the name
4205          * of the email address owner) may contain quoted parts. the
4206          * closure stack stores the last encountered quotes. */
4207         gchar closure_stack[128];
4208         gchar *ptr = closure_stack;
4209
4210         cm_return_val_if_fail(start != NULL, FALSE);
4211         cm_return_val_if_fail(scanpos != NULL, FALSE);
4212         cm_return_val_if_fail(bp != NULL, FALSE);
4213         cm_return_val_if_fail(ep != NULL, FALSE);
4214
4215         if (hdr) {
4216                 const gchar *start_quote = NULL;
4217                 const gchar *end_quote = NULL;
4218 search_again:
4219                 /* go to the real start */
4220                 if (start[0] == ',')
4221                         start++;
4222                 if (start[0] == ';')
4223                         start++;
4224                 while (start[0] == '\n' || start[0] == '\r')
4225                         start++;
4226                 while (start[0] == ' ' || start[0] == '\t')
4227                         start++;
4228
4229                 *bp = start;
4230                 
4231                 /* check if there are quotes (to skip , in them) */
4232                 if (*start == '"') {
4233                         start_quote = start;
4234                         start++;
4235                         end_quote = strstr(start, "\"");
4236                 } else {
4237