/[MITgcm]/mitgcm.org/scripts/check_outp
ViewVC logotype

Diff of /mitgcm.org/scripts/check_outp

Parent Directory Parent Directory | Revision Log Revision Log | View Revision Graph Revision Graph | View Patch Patch

revision 1.39 by jmc, Wed Jul 10 16:32:53 2013 UTC revision 1.49 by jmc, Mon Nov 28 20:31:34 2016 UTC
# Line 39  usage() Line 39  usage()
39  make_resdir_list()  make_resdir_list()
40  {  {
41        if test $monthDir == 1 ; then        if test $monthDir == 1 ; then
42          dir_list=`grep '.._'$mname ./dir_all`          dir_list=`grep '.._'$mname $TMP.dir_all`
43        else        else
44          dir_list=`( cd $INDIR ; ls -1 -t ../$PREV_P/??_*${mname}*/summary.txt 2> /dev/null | sed 's/\/summary.txt//' )`          dir_list=`( cd $INDIR ; ls -1 -t ../$PREV_P/??_*${mname}*/summary.txt 2> /dev/null | sed 's/\/summary.txt//' )`
45          #echo "dir_list='$dir_list'"          #echo "dir_list='$dir_list'"
# Line 186  make_resdir_list() Line 186  make_resdir_list()
186              day=`echo $ttt | sed -e 's|_| |g' |awk '{print $NF}'`              day=`echo $ttt | sed -e 's|_| |g' |awk '{print $NF}'`
187    
188              if [ $day -lt $BEFORE ] ; then              if [ $day -lt $BEFORE ] ; then
189                  echo "$OPTFILE$order $day $OPTFILE $kind $i" >> ./plist                  echo "$OPTFILE$order $day $OPTFILE $kind $i" >> $TMP.plist
190              elif [ $day -ge $FIRSTDAY -a $day -le $LASTDAY ] ; then              elif [ $day -ge $FIRSTDAY -a $day -le $LASTDAY ] ; then
191                  echo "$OPTFILE$order $day $OPTFILE $kind $i" >> ./slist                  echo "$OPTFILE$order $day $OPTFILE $kind $i" >> $TMP.slist
192              else              else
193                  if test $dBug = 't' ; then                  if test $dBug = 't' ; then
194                     echo "discard day='$day' from: $i" | tee -a $OUTPFIL                     echo "discard day='$day' from: $i" | tee -a $OUTPFIL
# Line 199  make_resdir_list() Line 199  make_resdir_list()
199          if test $dBug = 't' ; then          if test $dBug = 't' ; then
200            if test $monthDir == 1 ; then            if test $monthDir == 1 ; then
201              echo "---- current list (n=$monthDir) :" | tee -a $OUTPFIL              echo "---- current list (n=$monthDir) :" | tee -a $OUTPFIL
202                  cat ./slist | tee -a $OUTPFIL                  cat $TMP.slist | tee -a $OUTPFIL
203            fi            fi
204            num1=`wc -l ./slist | awk '{print $1}'`            num1=`wc -l $TMP.slist | awk '{print $1}'`
205            if test $num1 -gt 0 ; then            if test $num1 -gt 0 ; then
206            echo   ".... previous list (n=$monthDir):" | tee -a $OUTPFIL            echo   ".... previous list (n=$monthDir):" | tee -a $OUTPFIL
207                  cat ./plist | tee -a $OUTPFIL | head -20                  cat $TMP.plist | tee -a $OUTPFIL | head -20
208            fi            fi
209            echo "----" | tee -a $OUTPFIL            echo "----" | tee -a $OUTPFIL
210          fi          fi
# Line 224  BEFORE="30000000" Line 224  BEFORE="30000000"
224  OUTPFIL=`basename $0`'.log'  OUTPFIL=`basename $0`'.log'
225  NBLDIFF=5  NBLDIFF=5
226  ADDRESS='none'  ADDRESS='none'
227    MAILCMD="mail"
228  dBug=f  dBug=f
229  t4update=0  t4update=0
230  sTime=`date`  sTime=`date`
# Line 242  for ac_option ; do Line 243  for ac_option ; do
243      fi      fi
244    
245      ac_optarg=`expr "x$ac_option" : 'x[^=]*=\(.*\)'`      ac_optarg=`expr "x$ac_option" : 'x[^=]*=\(.*\)'`
   
246      case $ac_option in      case $ac_option in
247                    
248          -help | --help | -h | --h) usage ;;          -help | --help | -h | --h) usage ;;
# Line 272  for ac_option ; do Line 272  for ac_option ; do
272    
273          *) echo "Error: don't understand argument \"$ac_option\""          *) echo "Error: don't understand argument \"$ac_option\""
274             usage ;;             usage ;;
   
275       esac       esac
276    
277  done  done
278    
279    #TMP=./chkoutp_$$
280    #- try to put temporary files in system-local /tmp dir
281    TMP=/tmp/chkoutp_$$
282    touch $TMP ; retVal=$?
283    if [ $retVal -eq 0 ] ; then
284      if test ! -r $TMP ; then TMP=./chkoutp_$$ ; fi
285    else
286      TMP=./chkoutp_$$
287    fi
288    rm -f $TMP
289    if test $dBug = 't' ; then echo "temp files: $TMP" ; fi
290    
291  #-- test FIRSTDAY content ; interpret as "date -d" arg. if not YYYYMMDD  #-- test FIRSTDAY content ; interpret as "date -d" arg. if not YYYYMMDD
292  ttt=`echo "y$FIRSTDAY" | sed 's/[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]/z/'`  ttt=`echo "y$FIRSTDAY" | sed 's/[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]/z/'`
293  if test "x$ttt" != 'xyz' ; then  if test "x$ttt" != 'xyz' ; then
# Line 319  if test $t4update = 1 ; then Line 331  if test $t4update = 1 ; then
331      if test $PRC_MAILS -ot $OUTPSUM ; then      if test $PRC_MAILS -ot $OUTPSUM ; then
332        echo ' '$CMDLINE | tee -a $OUTPSUM        echo ' '$CMDLINE | tee -a $OUTPSUM
333        echo " t4update: skip "`basename $0`" ( $PRC_MAILS older than $OUTPSUM )" | tee -a $OUTPSUM        echo " t4update: skip "`basename $0`" ( $PRC_MAILS older than $OUTPSUM )" | tee -a $OUTPSUM
334        echo "End  time:   "`date` | tee -a $OUTPSUM        echo " End  time:  "`date` | tee -a $OUTPSUM
335        exit 0        exit 0
336      else      else
337        if test -e $OUTPFIL ; then mv -f $OUTPFIL $OUTPFIL'_bak' ; fi        if test -e $OUTPFIL ; then mv -f $OUTPFIL $OUTPFIL'_bak' ; fi
338        echo " t4update: run "`basename $0`" ( $PRC_MAILS newer than $OUTPSUM )" | tee $OUTPFIL        echo " t4update: run "`basename $0`" ( $PRC_MAILS newer than $OUTPSUM )" | tee $OUTPFIL
339      fi      fi
340      elif test -f $OUTPSUM -a $FIRSTDAY = $CURR_DAY ; then
341          echo ' '$CMDLINE | tee -a $OUTPSUM
342          echo " t4update: skip "`basename $0`" ( $PRC_MAILS missing )" | tee -a $OUTPSUM
343          echo " End  time:  "`date` | tee -a $OUTPSUM
344          exit 0
345    else    else
346        if test -e $OUTPFIL ; then mv -f $OUTPFIL $OUTPFIL'_bak' ; fi        if test -e $OUTPFIL ; then mv -f $OUTPFIL $OUTPFIL'_bak' ; fi
347        echo " t4update ignored (not current day or $PRC_MAILS or $OUTPSUM missing)" | tee $OUTPFIL        echo " t4update ignored (not current day or $OUTPSUM missing)" | tee $OUTPFIL
348    fi    fi
349  elif test -e $OUTPFIL ; then  elif test -e $OUTPFIL ; then
350    mv -f $OUTPFIL $OUTPFIL'_bak'    mv -f $OUTPFIL $OUTPFIL'_bak'
# Line 372  fi Line 389  fi
389  echo "    Machine   Tot. Nb.   no    Nb with  Nb diff" >> $OUTPSUM  echo "    Machine   Tot. Nb.   no    Nb with  Nb diff" >> $OUTPSUM
390  echo "     name     checked   comp    Diff    lines"  >> $OUTPSUM  echo "     name     checked   comp    Diff    lines"  >> $OUTPSUM
391    
392  ( cd $INDIR ; ls -1 -t */summary.txt | sed 's/\/summary.txt//' ) > ./dir_all  ( cd $INDIR ; ls -1 -t */summary.txt | sed 's/\/summary.txt//' ) > $TMP.dir_all
393    
394  if test "x$MACHINES" = "x_All_" ; then  if test "x$MACHINES" = "x_All_" ; then
395    MACHINES="aces- acesgrid baudelaire dickens danton beagle"    MACHINES="aces- acesgrid baudelaire engaging svante glacier uv100 ollie stan1"
396    MACHINES="$MACHINES pleiades iblade sx8 uv100 solasrv stomp weber"    MACHINES="$MACHINES pleiades archer stomp octopus saramago"
397    
398    MALL=`cat ./dir_all | sed -e 's|_| |g' | awk '{print $2}' | sort | uniq`    MALL=`cat $TMP.dir_all | sed -e 's|_| |g' | awk '{print $2}' | sort | uniq`
399    for madd in $MALL ; do    for madd in $MALL ; do
400      present=0      present=0
401      for m in $MACHINES ; do      for m in $MACHINES ; do
# Line 407  for pname in $MACHINES ; do Line 424  for pname in $MACHINES ; do
424      echo " name='$pname'" >> $OUTPFIL      echo " name='$pname'" >> $OUTPFIL
425      ctot=0 ; cmis=0 ; cdif=0      ctot=0 ; cmis=0 ; cdif=0
426    
427      # put results from selected period in "slist",      # put results from selected period in "TMP.slist",
428      #     results from previous period in "plist"      #     results from previous period in "TMP.plist"
429      rm -f ./plist ./slist ; touch ./plist ./slist      rm -f $TMP.plist $TMP.slist ; touch $TMP.plist $TMP.slist
430    
431      #- create list of results (slist & plist) from current month directory      #- create list of results (slist & plist) from current month directory
432      monthDir=1      monthDir=1
433      make_resdir_list      make_resdir_list
434    
435      #  Do we have any data?  If so, create the latest pointer.      #  Do we have any data?  If so, create the latest pointer.
436      num=`wc -l ./slist | awk '{print $1}'`      num=`wc -l $TMP.slist | awk '{print $1}'`
437      if test $num -gt 0 ; then      if test $num -gt 0 ; then
438    
439          keys=`cat ./slist | cut -d " " -f 1 | sort | uniq`          keys=`cat $TMP.slist | cut -d " " -f 1 | sort | uniq`
440    
441          for key in $keys ; do          for key in $keys ; do
442            ctot=`expr $ctot + 1`            ctot=`expr $ctot + 1`
443            sline=`grep "^$key " ./slist | head -1`            sline=`grep "^$key " $TMP.slist | head -1`
444            sdir=`echo $sline | cut -d " " -f 5`            sdir=`echo $sline | cut -d " " -f 5`
445            type=`echo $sline | cut -d " " -f 4`            type=`echo $sline | cut -d " " -f 4`
446            optf=`echo $sline | cut -d " " -f 3`            optf=`echo $sline | cut -d " " -f 3`
447            num=`grep -c "^$key" ./plist`            num=`grep -c "^$key" $TMP.plist`
448            if test $num = 0 -a $monthDir = 1 ; then            if test $num = 0 -a $monthDir = 1 ; then
449            #- add results from previous month directory to "plist".            #- add results from previous month directory to "plist".
450              monthDir=2              monthDir=2
451              make_resdir_list              make_resdir_list
452              num=`grep -c "^$key" ./plist`              num=`grep -c "^$key" $TMP.plist`
453            fi            fi
454            #- discard unsafe test:            #- discard unsafe test:
455            dd=`echo $optf | grep -c 'gfortran+mth'`            dd=`echo $optf | grep -c 'gfortran+mth'`
# Line 446  for pname in $MACHINES ; do Line 463  for pname in $MACHINES ; do
463              echo "  discard $sdir : $type , of='$optf'" | tee -a $OUTPFIL              echo "  discard $sdir : $type , of='$optf'" | tee -a $OUTPFIL
464              cmis=`expr $cmis + 1`              cmis=`expr $cmis + 1`
465            elif test $num = '0' ; then            elif test $num = '0' ; then
466              echo "no previous test for:" $key | tee -a $OUTPFIL              echo "  dir='$sdir', type='$type', of='$optf':" | tee -a $OUTPFIL
467                echo "  --> no previous test matching key='$key'" | tee -a $OUTPFIL
468              cmis=`expr $cmis + 1`              cmis=`expr $cmis + 1`
469            else            else
470              pline=`grep "^$key " ./plist | head -1`              pline=`grep "^$key " $TMP.plist | head -1`
471              if test $dBug = 't' ; then              if test $dBug = 't' ; then
472                  echo "s='$sline'" | tee -a $OUTPFIL                  echo "s='$sline'" | tee -a $OUTPFIL
473                  echo "p='$pline'" | tee -a $OUTPFIL                  echo "p='$pline'" | tee -a $OUTPFIL
# Line 458  for pname in $MACHINES ; do Line 476  for pname in $MACHINES ; do
476              outs="$INDIR/$sdir/summary.txt"              outs="$INDIR/$sdir/summary.txt"
477              xx=`( echo 5 ; sed -n '/^  OPTFILE=/=' $outs ) | tail -1`              xx=`( echo 5 ; sed -n '/^  OPTFILE=/=' $outs ) | tail -1`
478              sed "1,$xx d" $outs | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \              sed "1,$xx d" $outs | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \
479                                  | grep -v '^[A-S][a-t]* time:  ' > tmpfs                                  | grep -v '^[A-S][a-t]* time:  ' > $TMP.fs
480              outp="$INDIR/$pdir/summary.txt"              outp="$INDIR/$pdir/summary.txt"
481              xx=`( echo 5 ; sed -n '/^  OPTFILE=/=' $outp ) | tail -1`              xx=`( echo 5 ; sed -n '/^  OPTFILE=/=' $outp ) | tail -1`
482              sed "1,$xx d" $outp | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \              sed "1,$xx d" $outp | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \
483                                  | grep -v '^[A-S][a-t]* time:  ' > tmpfp                                  | grep -v '^[A-S][a-t]* time:  ' > $TMP.fp
484              #-- check if list of exp are the same (and in the same order)              #-- check if list of exp are the same (and in the same order)
485              sed 's/  (e=.*, w=.*)$//' tmpfs > tmpfn              sed 's/  (e=.*, w=.*)$//' $TMP.fs > $TMP.fn
486              listDs=`grep '^[YN] [YN] [YN] [YN]' tmpfn | awk '{print $NF}'`              listDs=`grep '^[YN] [YN] [YN] [YN]' $TMP.fn | awk '{print $NF}'`
487              #mv -f tmpfn tmpfs              #mv -f $TMP.fn $TMP.fs
488              rm -f tmpfn              rm -f $TMP.fn
489              sed 's/  (e=.*, w=.*)$//' tmpfp > tmpfn              sed 's/  (e=.*, w=.*)$//' $TMP.fp > $TMP.fn
490              listDp=`grep '^[YN] [YN] [YN] [YN]' tmpfn | awk '{print $NF}'`              listDp=`grep '^[YN] [YN] [YN] [YN]' $TMP.fn | awk '{print $NF}'`
491              #mv -f tmpfn tmpfp              #mv -f $TMP.fn $TMP.fp
492              rm -f tmpfn              rm -f $TMP.fn
493              #echo "listDs='$listDs'" ;  echo "listDp='$listDp'"              #echo "listDs='$listDs'" ;  echo "listDp='$listDp'"
494              if test "$listDs" != "$listDp" ; then              if test "$listDs" != "$listDp" ; then
495                  if test $dBug = 't' ; then echo ' -> re-order list of exp' ; fi                  if test $dBug = 't' ; then echo ' -> re-order list of exp' ; fi
496                  #-- re-order list of exp (according to local "sort" order)                  #-- re-order list of exp (according to local "sort" order)
497                  listDs=`echo "$listDs" | sort`                  listDs=`echo "$listDs" | sort`
498                  for xx in $listDs ; do                  for xx in $listDs ; do
499                      sed -e "/ $xx\$/d" -e "/ $xx /d" tmpfs > tmpfn                      sed -e "/ $xx\$/d" -e "/ $xx /d" $TMP.fs > $TMP.fn
500                      sed -n -e "/ $xx\$/p" -e "/ $xx /p" tmpfs >> tmpfn                      sed -n -e "/ $xx\$/p" -e "/ $xx /p" $TMP.fs >> $TMP.fn
501                      mv -f tmpfn tmpfs                      mv -f $TMP.fn $TMP.fs
502                  done                  done
503                  listDp=`echo "$listDp" | sort`                  listDp=`echo "$listDp" | sort`
504                  for xx in $listDp ; do                  for xx in $listDp ; do
505                      sed -e "/ $xx\$/d" -e "/ $xx /d" tmpfp > tmpfn                      sed -e "/ $xx\$/d" -e "/ $xx /d" $TMP.fp > $TMP.fn
506                      sed -n -e "/ $xx\$/p" -e "/ $xx /p" tmpfp >> tmpfn                      sed -n -e "/ $xx\$/p" -e "/ $xx /p" $TMP.fp >> $TMP.fn
507                      mv -f tmpfn tmpfp                      mv -f $TMP.fn $TMP.fp
508                  done                  done
509              #else              #else
510              #   echo 'same list of exp => skip re-ordering'              #   echo 'same list of exp => skip re-ordering'
511              fi              fi
512              echo -n "=== diff $sdir $pdir :" | tee -a $OUTPFIL              echo -n "=== diff $sdir $pdir :" | tee -a $OUTPFIL
513              diff tmpfs tmpfp > tmpdf              diff $TMP.fs $TMP.fp > $TMP.dif
514              yy=$?              yy=$?
515              if test $yy != '0' ; then              if test $yy != '0' ; then
516                  echo " $type , of='$optf'" | tee -a $OUTPFIL                  echo " $type , of='$optf'" | tee -a $OUTPFIL
517                  #grep '^run: ' $outp                  #grep '^run: ' $outp
518                  #grep '^run: ' $outs                  #grep '^run: ' $outs
519                  #-- score for each test:                  #-- score for each test:
520                  grep '^[YN] [YN] [YN] [YN]' tmpfs > tmploc 2>/dev/null                  grep '^[YN] [YN] [YN] [YN]' $TMP.fs > tmploc 2>/dev/null
521                  t_tot=`cat tmploc | wc -l | sed -e 's| ||g'`                  t_tot=`cat tmploc | wc -l | sed -e 's| ||g'`
522                  t_pass=`grep '^Y Y Y Y' tmploc | grep 'pass ' | wc -l | sed -e 's| ||g'`                  t_pass=`grep '^Y Y Y Y' tmploc | grep 'pass ' | wc -l | sed -e 's| ||g'`
523                  score_s=`printf '%2i' $t_pass`":$t_tot"                  score_s=`printf '%2i' $t_pass`":$t_tot"
524                  grep '^[YN] [YN] [YN] [YN]' tmpfp > tmploc 2>/dev/null                  grep '^[YN] [YN] [YN] [YN]' $TMP.fp > tmploc 2>/dev/null
525                  t_tot=`cat tmploc | wc -l | sed -e 's| ||g'`                  t_tot=`cat tmploc | wc -l | sed -e 's| ||g'`
526                  t_pass=`grep '^Y Y Y Y' tmploc | grep 'pass ' | wc -l | sed -e 's| ||g'`                  t_pass=`grep '^Y Y Y Y' tmploc | grep 'pass ' | wc -l | sed -e 's| ||g'`
527                  score_p=`printf '%2i' $t_pass`":$t_tot"                  score_p=`printf '%2i' $t_pass`":$t_tot"
528                  rm -f tmploc                  rm -f tmploc
529                  #-- count Nb of different lines                  #-- count Nb of different lines
530                  ndf=`wc -l tmpdf | awk '{print $1}'`                  ndf=`wc -l $TMP.dif | awk '{print $1}'`
531                  ndf=`expr $ndf / 2`                  ndf=`expr $ndf / 2`
532                  nn=`grep -c '^---' tmpdf`                  nn=`grep -c '^---' $TMP.dif`
533                  ndf=`expr $ndf - $nn`                  ndf=`expr $ndf - $nn`
534                  if [ $ndf -le $NBLDIFF ] ; then                  if [ $ndf -le $NBLDIFF ] ; then
535                    cat tmpdf                    cat $TMP.dif
536                  else                  else
537                    echo " $ndf lines differ ( $score_s , $score_p )"                    echo " $ndf lines differ ( $score_s , $score_p )"
538                  fi                  fi
539                  echo "< "`head -1 $outs`" ( $score_s )" >> $OUTPFIL                  echo "< "`head -1 $outs`" ( $score_s )" >> $OUTPFIL
540                  echo "> "`head -1 $outp`" ( $score_p )" >> $OUTPFIL                  echo "> "`head -1 $outp`" ( $score_p )" >> $OUTPFIL
541                  cat tmpdf >> $OUTPFIL                  cat $TMP.dif >> $OUTPFIL
542                  if [ $cdif -eq 0 ] ; then                  if [ $cdif -eq 0 ] ; then
543                    clin=`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`                    clin=`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`
544                  else                  else
# Line 531  for pname in $MACHINES ; do Line 549  for pname in $MACHINES ; do
549              else              else
550                  echo " $type , of='$optf'" | tee -a $OUTPFIL                  echo " $type , of='$optf'" | tee -a $OUTPFIL
551              fi              fi
552              rm -f tmpfs tmpfp tmpdf              rm -f $TMP.fs $TMP.fp $TMP.dif
553            fi            fi
554          done          done
555          if [ $cmis -gt 0 ] ; then tmis='(-'$cmis')' ; else tmis='(--)' ; fi          if [ $cmis -gt 0 ] ; then tmis='(-'$cmis')' ; else tmis='(--)' ; fi
# Line 544  for pname in $MACHINES ; do Line 562  for pname in $MACHINES ; do
562  done  done
563    
564  echo "Start time:  $sTime" | tee -a $OUTPFIL  echo "Start time:  $sTime" | tee -a $OUTPFIL
565  echo "End  time:   "`date` | tee -a $OUTPFIL | tee -a $OUTPSUM  echo "End time:    "`date` | tee -a $OUTPFIL | tee -a $OUTPSUM
566    
567  rm -f ./dir_all ./slist ./plist  rm -f $TMP.dir_all $TMP.slist $TMP.plist
568  if test $OUTPFIL = "TTT.$$" ; then rm -f $OUTPFIL ; fi  if test $OUTPFIL = "TTT.$$" ; then rm -f $OUTPFIL ; fi
569  if test "x$ADDRESS" != 'xnone' ; then  if test "x$ADDRESS" != 'xnone' ; then
570    echo ".. send $OUTPSUM to $ADDRESS"    #- change default sender address ("From:") using "mail -r" option
571    mail -s $OUTPSUM $ADDRESS < $OUTPSUM    #  since, by default, baudelaire uses USER@localhost.localdomain
572      #fullNam=`hostname -A | awk '{print $1}'`
573      #MAILCMD="$MAILCMD -r ${USER}@${fullNam}"
574      #---
575      echo ".. send $OUTPSUM to '$ADDRESS' using '$MAILCMD'"
576      $MAILCMD -s 'check_outp summary' $ADDRESS < $OUTPSUM
577  fi  fi
578  echo ".. cat $OUTPSUM"  echo ".. cat $OUTPSUM"
579  cat $OUTPSUM  cat $OUTPSUM
Legend:
Removed from v.1.39  
changed lines
  Added in v.1.49
  ViewVC Help
Powered by ViewVC 1.1.22