/[MITgcm]/mitgcm.org/front_content/parse_emails

Diff of /mitgcm.org/front_content/parse_emails

Parent Directory | Revision Log | View Revision Graph Revision Graph | View Patch Patch

-revision 1.9 by jmc,
Fri Nov 30 00:45:55 2007 UTC
+revision 1.21 by jmc,
Thu Dec  3 18:03:27 2009 UTC
 Line 11 
 usage()
  {
      echo
      echo "Usage:  $0 [OPTIONS]"
      echo
      echo "where possible OPTIONS are:"
-     echo "  (-help|-h)           print usage"
+     echo "  (-h|-help)           print usage"
-     echo "  (-ind |-i )DIR       get mpack-created emails from DIR"
+     echo "  (-s|-silent)         silent mode"
+     echo "  (-v|-verbose)        verbose mode"
+     echo "  (-i |-ind )DIR       get mpack-created emails from DIR"
      echo "                         [def=\"$INDIR\"]"
-     echo "  (-outd |-o )DIR      write the data to DIR"
+     echo "  (-o |-outd )DIR      write the data to DIR"
-     echo "                         [def=\"$OUTDIR\"]"
+     echo "                         [def=\"$BASEDIR/$monthDir\"]"
-     echo "  (-tempd |-t )DIR     use temporary directory DIR"
+     echo "  (-t |-tempd )DIR     use temporary directory DIR"
      echo "                         [def=\"$TEMPDIR\"]"
-     echo
+     echo "  (-u |-unpack )EXE    use executable EXE to unpack e-mails"
+     echo "                         [def=\"$MUNPACK\"]"
+     echo "  (-a |-addr )ADDR     send e-mail to ADDR if Error"
+     echo "                         [def='"$ADDRERR"']"
+     echo
      exit 1
  }
  # defaults
- INDIR="/u/edhill/Mail/MITgcm-test"
+ INDIR="/u/u2/jmc/Mail/MITgcm-test"
+ BASEDIR="/u/u0/httpd/html/testing/results"
+ monthDir=`date +%Y`"_"`date +%m`
  OUTDIR=
  TEMPDIR=./ptmp
- MUNPACK=/u/edhill/local/bin/munpack
+ MUNPACK=munpack
+ ADDRERR=
+ PRT=1
  #  Parse options
  ac_prev=
-Line 42 
 for ac_option ; do
+Line 52 
 for ac_option ; do
      fi
      ac_optarg=`expr "x$ac_option" : 'x[^=]*=\(.*\)'`
      case $ac_option in
          -help | --help | -h | --h)
              usage ;;
+         -s | --s | -silent | --silent)
+             PRT=0 ;;
+         -v | --v | -verbose | --verbose)
+             PRT=2 ;;
          -ind | --ind | -i | --i)
              ac_prev=INDIR ;;
          --ind=* | -ind=* | --i=* | -i=*)
              INDIR=$ac_optarg ;;
          -outd | --outd | -o | --o)
              ac_prev=OUTDIR ;;
          --outd=* | -outd=* | --o=* | -o=*)
              OUTDIR=$ac_optarg ;;
          -tempd | --tempd | -t | --t)
              ac_prev=TEMPDIR ;;
          --tempd=* | -tempd=* | --t=* | -t=*)
              TEMPDIR=$ac_optarg ;;
+         -u | --u | -unpack | --unpack)
+             ac_prev=MUNPACK ;;
+         -u=* | --u=* | -unpack=* | --unpack=*)
+             MUNPACK=$ac_optarg ;;
+         -a | --a | -addr | --addr)
+             ac_prev=ADDRERR ;;
+         -a=* | --a=* | -addr=* | --addr=*)
+             ADDRERR=$ac_optarg ;;
          *)
              # copy the file list to FL_#
+             date
              echo "Error: don't understand argument \"$ac_option\""
              usage
              ;;
       esac
  done
+ if test ! -x $MUNPACK ; then
+         date
+         echo "ERROR: \"$MUNPACK\" is not executable"
+         exit 2
+ fi
  if test "x$OUTDIR" = x ; then
-     OUTDIR="/u/u0/httpd/html/testing/results/"`date +%Y`"_"`date +%m`
+   OUTDIR="$BASEDIR/$monthDir"
+ else
+   monthDir=0
  fi
  if test ! -e $OUTDIR ; then
      mkdir $OUTDIR
      RETVAL=$?
-     if test "x$RETVAL" = x ; then
+     if test "x$RETVAL" != x0 ; then
+         date
          echo "ERROR: directory \"$OUTDIR\" doesn't exist and can't be created"
-         exit 1
+         exit 3
+     else
+         echo "Successfully created new dir: \"$OUTDIR\""
      fi
      chgrp gcmpack $OUTDIR
      chmod 775 $OUTDIR
  fi
- echo "Using OUTDIR=\"$OUTDIR\""
- echo "Using INDIR=\"$INDIR\""
  all_files=`ls -1 $INDIR`
+ nb_files=`echo "$all_files" | grep -c '^msg\.'`
+ if test $PRT = 1 ; then
+   echo "Using OUTDIR=\"$OUTDIR\""
+   echo "Using INDIR=\"$INDIR\""
+   echo -n "Unpacking the emails ..."
+ elif test $nb_files != 0 ; then
+   echo -n "Unpacking $nb_files emails ("`date`
+   if test "x$ADDRERR" != x ; then
+      echo -n ", err-msg: '$ADDRERR'"
+   fi
+   echo ")"
+   echo " from '$INDIR' to '$OUTDIR'"
+ fi
- echo -n "Unpacking the emails ..."
  for file in $all_files ; do
-     #  create local copy
+     #-- create local copy
      test -e $TEMPDIR  &&  rm -rf $TEMPDIR
      mkdir $TEMPDIR
-     cp $INDIR"/"$file $TEMPDIR
+     RETVAL=$?
+     if test "x$RETVAL" = x0 ; then
+       cp $INDIR"/"$file $TEMPDIR
+       RETVAL=$?
+     fi
+     if test "x$RETVAL" != x0 ; then
+       if test "x$ADDRERR" != x ; then
+         echo "parsing email error" > tmp.$$
+         echo " processing file: '$INDIR/$file'" >> tmp.$$
+         echo -n "'mkdir $TEMPDIR' or 'cp $INDIR/$file $TEMPDIR'" >> tmp.$$
+         echo " returns error $RETVAL" >> tmp.$$
+         mail -s 'parse_emails err_0' $ADDRERR < tmp.$$
+         rm -f tmp.$$
+       fi
+       mv -f $INDIR"/"$file $INDIR"/../fail2process/"$file
+       continue
+     fi
-     #  ignore multi-part messages
+     #-- ignore multi-part messages
      grep "Content-Type: message/partial" $INDIR"/"$file > /dev/null 2>&1
      RETVAL=$?
      if test "x$RETVAL" = x0 ; then
-         continue
+       if test "x$ADDRERR" != x ; then
+         echo "parsing email error" > tmp.$$
+         echo 'grep "Content-Type: message/partial" returns error:' $RETVAL >> tmp.$$
+         ls -l $INDIR"/"$file >> tmp.$$
+         mail -s 'parse_emails err_1' $ADDRERR < tmp.$$
+         rm -f tmp.$$
+       fi
+       mv -f $INDIR"/"$file $INDIR"/../fail2process/"$file
+       continue
      fi
-     #  munpack
+     #-- munpack
      mun=`( cd $TEMPDIR ; $MUNPACK $file | cut -d ' ' -f 1 | head -1 )`
      RETVAL=$?
      if test "x$RETVAL" != x0 ; then
-         continue
+       if test "x$ADDRERR" != x ; then
+         echo "parsing email error" > tmp.$$
+         echo "$MUNPACK $file returns error: $RETVAL" >> tmp.$$
+         ls -l $INDIR"/"$file >> tmp.$$
+         mail -s 'parse_emails err_2' $ADDRERR < tmp.$$
+         rm -f tmp.$$
+       fi
+       mv -f $INDIR"/"$file $INDIR"/../fail2process/"$file
+       continue
      fi
-     #  un-tar
+     #-- un-tar
-     ( cd $TEMPDIR ; tar -xzvf $mun > out )
+     #( cd $TEMPDIR ; tar -xzvf $mun > out )
+     #   to remove small files "._mydir" that some MAC OS are adding
+     #   (for each file or dir) to a tar-file, use option "--exclude=":
+     ( cd $TEMPDIR ; tar -xzvf $mun --exclude="._*" > out )
      RETVAL=$?
      if test "x$RETVAL" != x0 ; then
-         continue
+       if test "x$ADDRERR" != x ; then
+         echo "parsing email error" > tmp.$$
+         echo "tar -xzvf $mun returns error:" $RETVAL >> tmp.$$
+         ls -l $INDIR"/"$file >> tmp.$$
+         ls -l $mun >> tmp.$$
+         mail -s 'parse_emails err_3a' $ADDRERR < tmp.$$
+         rm -f tmp.$$
+       fi
+       mv -f $INDIR"/"$file $INDIR"/../fail2process/"$file
+       continue
      fi
      tdir=`cat $TEMPDIR"/out" | head -1 | sed -e 's|^./||g' | cut -d '/' -f 1`
-     rm -f $TEMPDIR"/out"
+    #tdir=`( cd $TEMPDIR ; /bin/ls -l | grep '^d' | head -1 | awk '{print $NF}' )`
+     if test -d $TEMPDIR/$tdir ; then
+       rm -f $TEMPDIR"/out"
+     else
+       if test "x$ADDRERR" != x ; then
+         echo "parsing email error" > tmp.$$
+         echo " fail to get a dir output name 'tdir=$tdir'" >> tmp.$$
+         echo " from tar file '$TEMPDIR/$mun'" >> tmp.$$
+         mail -s 'parse_emails err_3b' $ADDRERR < tmp.$$
+         rm -f tmp.$$
+       fi
+       mv -f $INDIR"/"$file $INDIR"/../fail2process/"$file
+       continue
+     fi
+     #-- select which Monthly Output Dir:
+     locDir=$OUTDIR
+     if test "x$monthDir" != x0 ; then
+       dd=`echo $tdir | sed 's/_/ /g' | awk '{ for(i=1;i<=NF;i++) print $i }'\
+                | grep '[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]' | tail -1`
+       mn=`echo $dd | sed 's/..$//' | sed 's/..$/_&/'`
+       if test "x$mn" != "x$monthDir" ; then
+        if test "x$mn" = x ; then
+         if test $PRT = 2 ; then echo " cannot get month from '$tdir'" ; fi
+        else
+        #  could comment out this line:
+        #if test $PRT = 2 ; then echo " chg month: '$mn' for '$tdir'" ; fi
+         locDir="$BASEDIR/$mn"
+         if test ! -d $locDir ; then
+           if test $PRT = 2 ; then echo "NO DIR: '$locDir' => '$tdir' POSTPONED" ; fi
+           if test "x$ADDRERR" != x ; then
+             echo "parsing email error" > tmp.$$
+             echo "no dir '$locDir' for outp. '$tdir'" > tmp.$$
+             ls -l $INDIR"/"$file >> tmp.$$
+             mail -s 'parse_emails err_4' $ADDRERR < tmp.$$
+             rm -f tmp.$$
+           fi
+           continue
+         fi
+        fi
+       fi
+     fi
-     #  copy to $OUTDIR and rename if necessary
+     #-- copy to $locDir and rename if necessary
-     if test -e $OUTDIR"/"$tdir ; then
+     sdir=$tdir
+     if test -e $locDir"/"$tdir ; then
          ad=0
-         while test -e $OUTDIR"/"$tdir"_"$ad ; do
+         while test -e $locDir"/"$tdir"_"$ad ; do
              ad=$(( $ad + 1 ))
          done
-         mv $TEMPDIR"/"$tdir $OUTDIR"/"$tdir"_"$ad > /dev/null 2>&1
+         sdir=$tdir"_"$ad
-         chmod -R a+rx $OUTDIR"/"$tdir"_"$ad > /dev/null 2>&1
+     fi
- #       gzip $OUTDIR"/"$tdir"_"$ad"/output.txt"
+     if test $PRT = 2 ; then
-     else
+       if test "x$locDir" = "x$OUTDIR"
-         mv $TEMPDIR"/"$tdir $OUTDIR > /dev/null 2>&1
+       then echo " '$sdir'"
-         chmod -R a+rx $OUTDIR"/"$tdir > /dev/null 2>&1
+       else echo " '$sdir' => '$locDir'"
- #       gzip $OUTDIR"/"$tdir"/output.txt"
+       fi
+     fi
+     mv $TEMPDIR"/"$tdir $locDir"/"$sdir > /dev/null 2>&1
+     RETVAL=$?
+     if test "x$RETVAL" != x0 ; then
+       if test "x$ADDRERR" != x ; then
+         echo "parsing email error" > tmp.$$
+         echo "mv $TEMPDIR/$tdir $locDir/$sdir returns error:" $RETVAL >> tmp.$$
+         echo -n "in dir: $TEMPDIR : " ; ls -l $TEMPDIR  >> tmp.$$
+         echo -n "in dir: $OUTDIR : " ; ls -l $locDir  >> tmp.$$
+         mail -s 'parse_emails err_5' $ADDRERR < tmp.$$
+         rm -f tmp.$$
+       fi
+       mv -f $INDIR"/"$file $INDIR"/../fail2process/"$file
+       continue
      fi
+     chmod -R a+rx $locDir"/"$sdir > /dev/null 2>&1
-     #  remove the original file
+     #-- remove the original file
      rm -f $INDIR"/"$file
  done
- echo "  done"
+ if test $PRT = 1 ; then echo "  done" ; fi
- # echo -n "gzipping all the \"output.txt\" files ..."
- # (
- #     cd $OUTDIR
- #     outp=`find . -name output.txt`
- #     if test "x$outp" != x ; then
- #       gzip $outp
- #     fi
- # )
- # echo "  done"
- # echo -n "setting permissions to world-readable ..."
- # chmod -R a+rx $OUTDIR > /dev/null 2>&1
- # echo "  done"

 Legend:



Removed from v.1.9
 


changed lines


 
Added in v.1.21
 Legend:



Removed from v.1.9
 


changed lines


 
Added in v.1.21
-Removed from v.1.9
+Added in v.1.21

	ViewVC Help
Powered by ViewVC 1.1.22