/[MITgcm]/mitgcm.org/scripts/check_outp

Diff of /mitgcm.org/scripts/check_outp

Parent Directory | Revision Log | View Revision Graph Revision Graph | View Patch Patch

-revision 1.20 by jmc,
Wed Dec 23 17:15:22 2009 UTC
+revision 1.32 by jmc,
Thu Aug 16 02:48:24 2012 UTC
 Line 6
  #  the latest output with the previous one (from the same platform with
  #    same optfile)
  usage()
  {
      echo
      echo "Usage:  $0 [OPTIONS]"
      echo
      echo "where possible OPTIONS are:"
      echo "  (-h|-help)            print usage"
      echo "  (-v|-verbose)         verbose mode"
-Line 22 
 usage()
+Line 21 
 usage()
      echo "                         [def=\"$FIRSTDAY\"]"
      echo "  (-u |-upto )LASTDAY   until last day=\"YYYYMMDD\" (=selected period)"
      echo "                         [def=\"FIRSTDAY\"]"
+     echo "  (-b |-before)BEFORE   compare with output from before \"YYYYMMDD\""
+     echo "                         (=previous period) [def=\"FIRSTDAY\"]"
      echo "  (-o |-outp )OUTPFIL   output file (-1 removed when exit)"
      echo "                         [def=\"$OUTPFIL\"]"
      echo "  (-n |-nldf )NBLDIFF   max number of diff lines to echo"
      echo "                         [def=\"$NBLDIFF\"]"
      echo "  (-a |-addr )ADDRESS   send summary to mail ADDRESS list"
      echo "                         [def=\"$ADDRESS\"]"
      echo
      exit 1
  }
-Line 36 
 usage()
+Line 37 
 usage()
  make_resdir_list()
  {
        if test $monthDir == 1 ; then
-         dir_list=`grep $mname ./dir_all`
+         dir_list=`grep '.._'$mname ./dir_all`
        else
-         dir_list=`( cd $INDIR ; ls -1 -t ../$PREV_P/*${mname}*/summary.txt 2> /dev/null | sed 's/\/summary.txt//' )`
+         dir_list=`( cd $INDIR ; ls -1 -t ../$PREV_P/??_*${mname}*/summary.txt 2> /dev/null | sed 's/\/summary.txt//' )`
          #echo "dir_list='$dir_list'"
        fi
          for i in $dir_list ; do
              dir=$INDIR"/"$i
+             #--- get the opfile used to run testreport
              OPTFILE=
              if test -r $dir/summary.txt ; then
                  comm=`grep 'OPTFILE=' $dir/summary.txt`
                  eval $comm
-                 OPTFILE=${OPTFILE##*/}
              fi
              if test "x$OPTFILE" = x -a -r "$dir/genmake_state" ; then
                  comm=`grep 'OPTFILE=' $dir/genmake_state 2>/dev/null`
                  eval $comm
-                 OPTFILE=${OPTFILE##*/}
              fi
              if test "x$OPTFILE" = x ; then
                  comm=`grep '^# OPTFILE=' $dir/*/Makefile* 2>/dev/null | head -1`
                  comm=${comm##*#}
                  eval $comm
-                 OPTFILE=${OPTFILE##*/}
              fi
              if test "x$OPTFILE" = x ; then
                  OPTFILE="not_explicitly_specified"
+             else
+                 OPTFILE=${OPTFILE##*/}
+             fi
+             #--- case select test run by 1 user: get user who did run testreport
+             if test "x$sUser" != x ; then
+                 tUser=
+                 if test -f $dir/genmake_state ; then
+                    nn=`sed -n '/^# executed by:/=' $dir/genmake_state`
+                    if test "x$nn" != x ; then
+                      nn=`expr $nn + 1`
+                      tUser=`sed -n "$nn s/^# *// p" $dir/genmake_state | sed 's/@.*$//'`
+                    fi
+                 fi
+                 if test "x$tUser" = "x" ; then
+                    mkfile=`ls $dir/*/Makefile* 2>/dev/null | head -1`
+                    if test "x$mkfile" = 'x' ; then
+                      echo "no Makefile => discard test from: $i" | tee -a $OUTPFIL
+                      continue
+                    fi
+                    nn=`sed -n '/^# executed by:/=' $mkfile`
+                    if test "x$nn" != x ; then
+                      nn=`expr $nn + 1`
+                      tUser=`sed -n "$nn s/^# *// p" $mkfile | sed 's/@.*$//'`
+                    fi
+                 fi
+                 if test "x$tUser" = x ; then
+                      echo "no User found => discard test from: $i" | tee -a $OUTPFIL
+                      continue
+                 fi
+                 if test $tUser != $sUser ; then
+                    if test $dBug = 't' ; then
+                         echo "  discard test from: $i" | tee -a $OUTPFIL
+                    fi
+                    continue
+                 fi
              fi
              ADJOINT=
+             TANGLIN=
              RESTART=0
-             NOI3E=0
+             FAST=0
+             DVLP=0
+             MPI=0
              MTH=0
+             UR4=0
              if test -r $dir/summary.txt ; then
                  comm=`grep 'ADJOINT=true' $dir/summary.txt 2>/dev/null`
                  eval $comm
+                 comm=`grep 'TANGLIN=true' $dir/summary.txt 2>/dev/null`
+                 eval $comm
                  RESTART=`grep -c 'test 2+2=4 summary' $dir/summary.txt`
-                 NOI3E=`grep -c "^run: .*testreport.* '*-noieee'*" $dir/summary.txt`
+                 FAST=`grep -c "^run: .*testreport.* '*-fast'*" $dir/summary.txt`
+                 if test "x$FAST" = x0 ; then
+                    FAST=`grep -c "^run: .*testreport.* '*-noieee'*" $dir/summary.txt`
+                 fi
+                 DVLP=`grep -c "^run: .*testreport.* '*-devel'*" $dir/summary.txt`
+                 MPI=`grep -c "^run: .*testreport.* -mpi " $dir/summary.txt`
+                 if test "x$MPI" = x0 ; then
+                    MPI=`grep -c "^run: .*testreport.* -MPI " $dir/summary.txt`
+                 fi
                  MTH=`grep -c "^run: .*testreport.* -mth" $dir/summary.txt`
+                 UR4=`grep -c "^run: .*testreport.* -use_r4 " $dir/summary.txt`
+                 if test "x$UR4" = x0 ; then
+                    UR4=`grep -c "^run: .*testreport.* -ur4 " $dir/summary.txt`
+                 fi
              fi
-             if test "x$RESTART" = x0 ; then
+             if test "x$ADJOINT" = xtrue ; then
-                 kind="forward"
+                 kind="adjoint" ; order='000'
-                 test "x$ADJOINT" = xtrue  &&  kind="adjoint"
+             elif test "x$TANGLIN" = xtrue ; then
+                 kind="tanglin" ; order='001'
+             elif test "x$RESTART" = x0 ; then
+                 kind="forward" ; order='002'
              else
-                 kind="restart"
+                 kind="restart" ; order='003'
+             fi
+             if test "x$UR4" = x1 ; then
+                 OPTFILE="${OPTFILE}.use_r4"
+             fi
+             if test "x$MPI" = x1 ; then
+                 yy=`echo $OPTFILE | grep -c '+mpi'`
+                 if test $yy = 0 ; then OPTFILE="${OPTFILE}+mpi" ; fi
              fi
              if test "x$MTH" = x1 ; then
                  yy=`echo $OPTFILE | grep -c '+mth$'`
                  if test $yy = 0 ; then OPTFILE="${OPTFILE}+mth" ; fi
              fi
-             if test "x$NOI3E" = x1 ; then
+             if test "x$FAST" = x1 ; then
-                 OPTFILE="${OPTFILE}.noieee"
+                 OPTFILE="${OPTFILE}.fast"
+             fi
+             if test "x$DVLP" = x1 ; then
+                 OPTFILE="${OPTFILE}.dvlp"
              fi
              day=`echo $i   | sed -e 's/_[0-9]$//' | sed -e 's/_[0-9][0-9]$//'`
              ttt=`echo $day | sed -e 's/_[0-9]$//' | sed -e 's/_[0-9][0-9]$//'`
              day=`echo $ttt | sed -e 's|_| |g' |awk '{print $NF}'`
-             if [ $day -lt $FIRSTDAY ] ; then
+             if [ $day -lt $BEFORE ] ; then
-                 echo "$OPTFILE$kind $day $OPTFILE $kind $i" >> ./plist
+                 echo "$OPTFILE$order $day $OPTFILE $kind $i" >> ./plist
-             elif [ $day -le $LASTDAY ] ; then
+             elif [ $day -ge $FIRSTDAY -a $day -le $LASTDAY ] ; then
-                 echo "$OPTFILE$kind $day $OPTFILE $kind $i" >> ./slist
+                 echo "$OPTFILE$order $day $OPTFILE $kind $i" >> ./slist
              else
                  if test $dBug = 't' ; then
                     echo "discard day='$day' from: $i" | tee -a $OUTPFIL
-Line 127 
 CURR_DAY=`date +%Y%m%d`
+Line 192 
 CURR_DAY=`date +%Y%m%d`
  MACHINES='_All_'
  FIRSTDAY=$CURR_DAY
  LASTDAY="30000000"
+ BEFORE="30000000"
  OUTPFIL=`basename $0`'.log'
  NBLDIFF=5
  ADDRESS='none'
-Line 141 
 for ac_option ; do
+Line 207 
 for ac_option ; do
      # If the previous option needs an argument, assign it.
      if test -n "$ac_prev"; then
          eval "$ac_prev=\$ac_option"
          ac_prev=
          continue
      fi
      ac_optarg=`expr "x$ac_option" : 'x[^=]*=\(.*\)'`
      case $ac_option in
-         -help | --help | -h | --h)
+         -help | --help | -h | --h) usage ;;
-             usage ;;
+         -verbose | --verbose | -v | --v) dBug=t ;;
-         -verbose | --verbose | -v | --v)
-             dBug=t ;;
-         -list  | --list  | -l | --l)
+         -list  | --list  | -l | --l) ac_prev=MACHINES ;;
-             ac_prev=MACHINES ;;
+         -list=* | --list=*) MACHINES=$ac_optarg ;;
-         -list=* | --list=*)
-             MACHINES=$ac_optarg ;;
+         -day  | --day  | -d | --d) ac_prev=FIRSTDAY ;;
+         -day=* | --day=*) FIRSTDAY=$ac_optarg ;;
-         -day  | --day  | -d | --d)
-             ac_prev=FIRSTDAY ;;
+         -upto | --upto | -u | --u) ac_prev=LASTDAY ;;
-         -day=* | --day=*)
+         -upto=* | --upto=*) LASTDAY=$ac_optarg ;;
-             FIRSTDAY=$ac_optarg ;;
+         -before | --before | -b | --b) ac_prev=BEFORE ;;
-         -upto | --upto | -u | --u)
+         -before=* | --before=*) BEFORE=$ac_optarg ;;
-             ac_prev=LASTDAY ;;
-         -upto=* | --upto=*)
+         -outp | --outp | -o | --o) ac_prev=OUTPFIL ;;
-             LASTDAY=$ac_optarg ;;
+         -outp=* | --outp=*) OUTPFIL=$ac_optarg ;;
-         -outp | --outp | -o | --o)
+         -nldf | --nldf | -n | --n) ac_prev=NBLDIFF ;;
-             ac_prev=OUTPFIL ;;
+         -nldf=* | --nldf=*) NBLDIFF=$ac_optarg ;;
-         -outp=* | --outp=*)
-             OUTPFIL=$ac_optarg ;;
+         -addr | --addr | -a | --a) ac_prev=ADDRESS ;;
+         -addr=* | --addr=*) ADDRESS=$ac_optarg ;;
-         -nldf | --nldf | -n | --n)
-             ac_prev=NBLDIFF ;;
+         *) echo "Error: don't understand argument \"$ac_option\""
-         -nldf=* | --nldf=*)
+            usage ;;
-             NBLDIFF=$ac_optarg ;;
-         -addr | --addr | -a | --a)
-             ac_prev=ADDRESS ;;
-         -addr=* | --addr=*)
-             ADDRESS=$ac_optarg ;;
-         *)
-             echo "Error: don't understand argument \"$ac_option\""
-             usage
-             ;;
       esac
-Line 204 
 if test "x$ttt" != 'xyz' ; then
+Line 257 
 if test "x$ttt" != 'xyz' ; then
    exit 2
  fi
  if test $LASTDAY = "30000000" ; then LASTDAY=$FIRSTDAY ; fi
+ if test  $BEFORE = "30000000" ; then  BEFORE=$FIRSTDAY ; fi
  CMDLINE=$0
  for xx in "$@" ; do nw=`echo $xx | wc -w`
    if test $nw = '1' ; then CMDLINE="$CMDLINE $xx"
                        else CMDLINE="$CMDLINE '$xx'" ; fi
  done
- PERIOD=`echo $FIRSTDAY | sed 's/[0-9][0-9]$//'`
+ PERIOD=`echo $LASTDAY | sed 's/[0-9][0-9]$//'`
  PP=`expr $PERIOD - 1`
  PM=`echo $PP | sed 's/^[0-9][0-9][0-9][0-9]//'`
  PY=`echo $PP | sed 's/[0-9][0-9]$//'`
-Line 231 
 echo "CMDLINE='$CMDLINE'" > $OUTPFIL
+Line 285 
 echo "CMDLINE='$CMDLINE'" > $OUTPFIL
  echo "PERIOD='$PERIOD' , PREV_P='$PREV_P'" >> $OUTPFIL
  echo "INDIR='$INDIR'" >> $OUTPFIL
  echo "Checking latest output from $FIRSTDAY until $LASTDAY" >> $OUTPFIL
+ echo "  versus latest from before $BEFORE" >> $OUTPFIL
  if test $dBug = 't' ; then
    echo "PERIOD='$PERIOD' , PREV_P='$PREV_P'"
-   echo "FIRSTDAY='$FIRSTDAY' , LASTDAY='$LASTDAY'"
+   echo "FIRSTDAY='$FIRSTDAY' , LASTDAY='$LASTDAY' , BEFORE='$BEFORE'"
  fi
  if test -d $INDIR ; then
    dirP=`echo $INDIR | sed "s/$PERIOD/$PREV_P/"`
-Line 250 
 else
+Line 305 
 else
  fi
  #- a short summary of this checking :
- OUTPSUM=`echo $FIRSTDAY | sed 's/^20../_/'`
+ OUTPSUM=`echo $LASTDAY | sed 's/^20../_/'`
  OUTPSUM=`basename $0`"$OUTPSUM.txt"
  if test -e $OUTPSUM ; then mv -f $OUTPSUM $OUTPSUM'_bak' ; fi
  echo ' '$CMDLINE > $OUTPSUM
-Line 260 
 if test $FIRSTDAY = $LASTDAY ; then
+Line 315 
 if test $FIRSTDAY = $LASTDAY ; then
  else
    echo -n "Checking latest output from $FIRSTDAY until $LASTDAY" | tee -a $OUTPSUM
  fi
- echo " versus latest prior to this period" | tee -a $OUTPSUM
+ if test $FIRSTDAY = $BEFORE ; then
+   echo " versus latest prior to this period" | tee -a $OUTPSUM
+ else
+   echo " versus latest from before $BEFORE" | tee -a $OUTPSUM
+ fi
  echo "    Machine   Tot. Nb.   no    Nb with  Nb diff" >> $OUTPSUM
  echo "     name     checked   comp    Diff    lines"  >> $OUTPSUM
  ( cd $INDIR ; ls -1 -t */summary.txt | sed 's/\/summary.txt//' ) > ./dir_all
  if test "x$MACHINES" = "x_All_" ; then
-   MACHINES="faulks meander lagoon harbor dickens danton aces"
+   MACHINES="faulks meander aces- acesgrid baudelaire dickens danton beagle harbor"
-   MACHINES="$MACHINES beagle columbia pleiades edvir rays solasrv sx8 xd1"
+   MACHINES="$MACHINES pleiades iblade rays solasrv sx8"
-   MACHINES="$MACHINES bigred starp"
+   MACHINES="$MACHINES trane dodongo dokdo stomp bigred"
    MALL=`cat ./dir_all | sed -e 's|_| |g' | awk '{print $2}' | sort | uniq`
    for madd in $MALL ; do
      present=0
      for m in $MACHINES ; do
-         echo $madd | grep $m > /dev/null 2>&1
+         mm=`echo $m | sed 's/\./ /g' | awk '{print $1}'`
-         RETVAL=$?
+         echo $madd | grep $mm > /dev/null 2>&1
-         test $RETVAL = 0  &&  present=1
+         RETVAL=$?
-         continue
+         test $RETVAL = 0  &&  present=1
+         continue
      done
      test $present = 0  &&  MACHINES="$MACHINES $madd"
    done
  fi
+ #echo "MACHINES=$MACHINES" ; exit
- for mname in $MACHINES ; do
+ for pname in $MACHINES ; do
+     sname=`echo $pname | sed 's/-$//'`
+     mname=`echo $pname | sed 's/\./ /g' | awk '{print $1}'`
+     sUser=
+     if test $mname != $pname ; then
+       # to select results from user "sUser"
+       sUser=`echo $pname | sed 's/\./ /g' | awk '{print $2}'`
+     fi
-     if test $dBug = 't' ; then echo "  $mname" ; fi
+     if test $dBug = 't' ; then echo "  $pname" ; fi
-     echo " name='$mname'" >> $OUTPFIL
+     echo " name='$pname'" >> $OUTPFIL
      ctot=0 ; cmis=0 ; cdif=0
      # put results from selected period in "slist",
      #     results from previous period in "plist"
      rm -f ./plist ./slist ; touch ./plist ./slist
-Line 307 
 for mname in $MACHINES ; do
+Line 376 
 for mname in $MACHINES ; do
          for key in $keys ; do
            ctot=`expr $ctot + 1`
            sline=`grep "^$key " ./slist | head -1`
            sdir=`echo $sline | cut -d " " -f 5`
            type=`echo $sline | cut -d " " -f 4`
            optf=`echo $sline | cut -d " " -f 3`
            num=`grep -c "^$key" ./plist`
            if test $num = 0 -a $monthDir = 1 ; then
            #- add results from previous month directory to "plist".
              monthDir=2
              make_resdir_list
              num=`grep -c "^$key" ./plist`
            fi
            #- discard unsafe test:
            dd=`echo $optf | grep -c 'gfortran+mth'`
-           #if test $mname = 'lagoon' -a $dd = 1 ; then num=-1 ; fi
+           if test $mname = 'lagoon' -a $dd = 1 ; then num=-1 ; fi
-           #if test $mname = 'harbor' -a $dd = 1 ; then num=-1 ; fi
+           if test $mname = 'harbor' -a $dd = 1 ; then num=-1 ; fi
            #if test $mname = 'aces' -a $optf = 'linux_ia32_open64' ; then num=-1 ; fi
            #if test $mname = 'aces' -a $optf = 'linux_ia32_g95' ; then num=-1 ; fi
-           dd=`echo $optf | grep -c 'bigred.*+mth'`
+           dd=`echo $optf | grep -c 'bigred.*noieee'`
            #if test $mname = 'bigred' -a $dd = 1 ; then num=-1 ; fi
            if test $num -lt 0 ; then
              echo "  discard $sdir : $type , of='$optf'" | tee -a $OUTPFIL
              cmis=`expr $cmis + 1`
            elif test $num = '0' ; then
              echo "no previous test for:" $key | tee -a $OUTPFIL
              cmis=`expr $cmis + 1`
            else
              pline=`grep "^$key " ./plist | head -1`
              if test $dBug = 't' ; then
                  echo "s='$sline'" | tee -a $OUTPFIL
                  echo "p='$pline'" | tee -a $OUTPFIL
              fi
              pdir=`echo $pline | cut -d " " -f 5`
              outs="$INDIR/$sdir/summary.txt"
-             sed -n "5,$ p" $outs | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \
+             xx=`( echo 5 ; sed -n '/^  OPTFILE=/=' $outs ) | tail -1`
-                                  | sed 's/ OPTFILE=.*\// OPTFILE=/g' \
+             sed "1,$xx d" $outs | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \
-                                  | grep -v '^[A-S][a-t]* time:  ' > tmpfs
+                                 | grep -v '^[A-S][a-t]* time:  ' > tmpfs
              outp="$INDIR/$pdir/summary.txt"
-             sed -n "5,$ p" $outp | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \
+             xx=`( echo 5 ; sed -n '/^  OPTFILE=/=' $outp ) | tail -1`
-                                  | sed 's/ OPTFILE=.*\// OPTFILE=/g' \
+             sed "1,$xx d" $outp | sed '/^[YN] [YN] [YN] [YN]/ s/ \. //g' \
-                                  | grep -v '^[A-S][a-t]* time:  ' > tmpfp
+                                 | grep -v '^[A-S][a-t]* time:  ' > tmpfp
              #-- re-order list of exp (according to local "sort" order)
              listD=`grep '^[YN] [YN] [YN] [YN]' tmpfs | awk '{print $NF}' | sort`
              for xx in $listD
-Line 365 
 for mname in $MACHINES ; do
+Line 434 
 for mname in $MACHINES ; do
              diff tmpfs tmpfp > tmpdf
              yy=$?
              if test $yy != '0' ; then
                  echo " $type , of='$optf'" | tee -a $OUTPFIL
                  #grep '^run: ' $outp
                  #grep '^run: ' $outs
                  #-- score for each test:
-Line 383 
 for mname in $MACHINES ; do
+Line 452 
 for mname in $MACHINES ; do
                  ndf=`expr $ndf / 2`
                  nn=`grep -c '^---' tmpdf`
                  ndf=`expr $ndf - $nn`
                  if [ $ndf -le $NBLDIFF ] ; then
                    cat tmpdf
                  else
                    echo " $ndf lines differ ( $score_s , $score_p )"
-Line 391 
 for mname in $MACHINES ; do
+Line 460 
 for mname in $MACHINES ; do
                  echo "< "`head -1 $outs`" ( $score_s )" >> $OUTPFIL
                  echo "> "`head -1 $outp`" ( $score_p )" >> $OUTPFIL
                  cat tmpdf >> $OUTPFIL
                  if [ $cdif -eq 0 ] ; then
                    clin=`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`
                  else
                    clin="$clin,"`printf '%3i (%5s,%5s)' $ndf $score_s $score_p`
                  fi
                  cdif=`expr $cdif + 1`
                  echo '----------------------------------------' | tee -a $OUTPFIL
              else
                  echo " $type , of='$optf'" | tee -a $OUTPFIL
              fi
              rm -f tmpfs tmpfp tmpdf
            fi
          done
          if [ $cmis -gt 0 ] ; then tmis='(-'$cmis')' ; else tmis='(--)' ; fi
-         printf '%11s :  %3i      %4s   %3i  ' $mname $ctot $tmis $cdif >> $OUTPSUM
+         printf '%11s :  %3i      %4s   %3i  ' $sname $ctot $tmis $cdif >> $OUTPSUM
          if [ $cdif -gt 0 ] ; then
            echo "   $clin" >> $OUTPSUM
-        else echo "" >> $OUTPSUM ; fi
+         else echo "" >> $OUTPSUM ; fi
      fi
  done

 Legend:



Removed from v.1.20
 


changed lines


 
Added in v.1.32
 Legend:



Removed from v.1.20
 


changed lines


 
Added in v.1.32
-Removed from v.1.20
+Added in v.1.32

	ViewVC Help
Powered by ViewVC 1.1.22