#PBS -q regular
#PBS -l mppwidth=32768
#PBS -l walltime=02:30:00
#PBS -N Rop_Nalu_R3_fine_grid_32768
#PBS -j oe

cd $PBS_O_WORKDIR
export MPICH_GNI_COLL_OPT_OFF=MPI_Alltoallv
IN=/scratch2/scratchdirs/azad/spGEMM_matrices/Nalu_R3_fine_grid.m

export OMP_NUM_THREADS=1
aprun -n 32761 -d 1 -N 24 -S 12 -cc depth ../../RestrictionOp 181 181 1 input $IN
aprun -n 32768 -d 1 -N 24 -S 12 -cc depth ../../RestrictionOp 128 128 2 input $IN
aprun -n 32400 -d 1 -N 24 -S 12 -cc depth ../../RestrictionOp 90 90 4 input $IN
aprun -n 32768 -d 1 -N 24 -S 12 -cc depth ../../RestrictionOp 64 64 8 input $IN
aprun -n 32400 -d 1 -N 24 -S 12 -cc depth ../../RestrictionOp 45 45 16 input $IN

export OMP_NUM_THREADS=3
aprun -n 10816 -d 3 -N 8 -S 4 -cc depth ../../RestrictionOp 104 104 1 input $IN
aprun -n 10658 -d 3 -N 8 -S 4 -cc depth ../../RestrictionOp 73 73 2 input $IN
aprun -n 10816 -d 3 -N 8 -S 4 -cc depth ../../RestrictionOp 52 52 4 input $IN
aprun -n 10368 -d 3 -N 8 -S 4 -cc depth ../../RestrictionOp 36 36 8 input $IN
aprun -n 10816 -d 3 -N 8 -S 4 -cc depth ../../RestrictionOp 26 26 16 input $IN

export OMP_NUM_THREADS=6
aprun -n 5329 -d 6 -N 4 -S 2 -cc depth ../../RestrictionOp 73 73 1 input $IN
aprun -n 5408 -d 6 -N 4 -S 2 -cc depth ../../RestrictionOp 52 52 2 input $IN
aprun -n 5184 -d 6 -N 4 -S 2 -cc depth ../../RestrictionOp 36 36 4 input $IN
aprun -n 5408 -d 6 -N 4 -S 2 -cc depth ../../RestrictionOp 26 26 8 input $IN
aprun -n 5184 -d 6 -N 4 -S 2 -cc depth ../../RestrictionOp 18 18 16 input $IN

export OMP_NUM_THREADS=12
aprun -n 2704 -d 12 -N 2 -S 1 -cc numa_node ../../RestrictionOp 52 52 1 input $IN
aprun -n 2592 -d 12 -N 2 -S 1 -cc numa_node ../../RestrictionOp 36 36 2 input $IN
aprun -n 2704 -d 12 -N 2 -S 1 -cc numa_node ../../RestrictionOp 26 26 4 input $IN
aprun -n 2592 -d 12 -N 2 -S 1 -cc numa_node ../../RestrictionOp 18 18 8 input $IN
aprun -n 2704 -d 12 -N 2 -S 1 -cc numa_node ../../RestrictionOp 13 13 16 input $IN
