docker/SASCommonBundle/Controller/JobManagerController.php line 384

Open in your IDE?
  1. <?php
  2. namespace CU\SASCommonBundle\Controller;
  4. use CU\SASCommonBundle\Annotation\CUSAS;
  5. use CU\SASCommonBundle\Entity\JobManagerOption;
  6. use CU\SASCommonBundle\Entity\JobRunConfig;
  7. use CU\SASCommonBundle\Form\Type\CUSASPlainType;
  8. use CU\SASCommonBundle\Service\JobManager;
  9. use CU\SASCommonBundle\Service\TableRenderer;
  10. use Doctrine\DBAL\Schema\Table;
  11. use Symfony\Component\HttpFoundation\RedirectResponse;
  12. use Symfony\Component\HttpFoundation\Response;
  13. use Symfony\Component\Routing\Annotation\Route;
  14. use Symfony\Component\Form\Extension\Core\Type\ChoiceType;
  15. use Symfony\Component\Form\Extension\Core\Type\SubmitType;
  16. use Symfony\Component\HttpFoundation\Request;
  18. /**
  19.  * Job Manager
  20.  *
  21.  * @author "Cornell University, Student Services IT"
  22.  * @Route("/common/job-manager")
  23.  * @CUSAS(priv="JOBMANAGER")
  24.  */
  25. class JobManagerController extends AbstractController
  26. {
  28.     /**
  29.      * @Route("/config", name="cusas_jobmanager", methods={"GET"})
  30.      *
  31.      * @return \Symfony\Component\HttpFoundation\Response
  32.      */
  33.     public function configAction(JobManager $jobManager)
  34.     {
  35.         $token = $this->generateCsrfToken('jobmanager');
  37.         $form = $this->getJobManagerOptionsForm($jobManager);
  39.         $tableSeqs = $this->getSeqsTable($jobManager, $token);
  41.         $tableJobs = $this->getJobsTable($jobManager, $token);
  43.         return $this->render('@CUSASCommon/JobManager/status.html.twig', ['tableSeqs' => $tableSeqs, 'tableJobs' => $tableJobs, 'form' => $form->createView()]);
  44.     }
  46.     /**
  47.      * @param string $token
  48.      * @return \CU\SASCommonBundle\Entity\ResultTable
  49.      * @throws \Exception
  50.      */
  51.     private function getSeqsTable(JobManager $jobManager, $token)
  52.     {
  53.         // if we have JOBMANAGER-EDIT we'll show the schedule+token link
  54.         $hasJobManagerEdit = $this->getUser()->hasPriv('JOBMANAGER-EDIT');
  56.         $table = $this->getTableRenderer()->getTable();
  57.         $table
  58.         ->setColumnCount(6)
  59.         ->setColumnGridWidthsMd(2, 2, 4, 2, 1, 1)
  60.         ->setHeaderRow('Sequence', 'Min Rest Interval', 'Job Order', 'Last Started', 'Elapsed', 'Action');
  62.         $sequences = $jobManager->getAllSequences();
  64.         foreach ($sequences as $sequence) {
  65.             $minRest = $this->secondsToTime($sequence->getMinRestSec());
  67.             $sequenceTasks = $sequence->getTasks();
  69.             $jobDescr = '';
  70.             $i = 0;
  71.             foreach ($sequenceTasks AS $sequenceTask) {
  72.                 if ($i) $jobDescr .= '<br>';
  73.                 $jobDescr .= $sequenceTask->getJob()->getDescrshort();
  74.                 $i++;
  75.             }
  77.             $action = '';
  78.             if ($hasJobManagerEdit) {
  79.                 $action = '<a href="' . $this->generateUrl('cusas_jobmanager_seq_enqueue', ['seqId' => $sequence->getId(), 'token' => $token]);
  80.                 $action .= '">Enqueue</a>';
  81.             }
  83.             $elapsed = '';
  84.             if ($sequence->getLastStartDttm() && $sequence->getLastStopDttm() &&
  85.                 $sequence->getLastStopDttm() >= $sequence->getLastStartDttm()
  86.                 ) {
  87.                 $elapsed = $this->secondsToTime($sequence->getLastStopDttm()->getTimestamp() - $sequence->getLastStartDttm()->getTimestamp());
  88.             }
  90.             $table->addRow($sequence->getDescrshort(),
  91.                 $minRest,
  92.                 $jobDescr,
  93.                 $sequence->getLastStartDttm()?$sequence->getLastStartDttm()->format('Y-m-d h:ia'):'',
  94.                 $elapsed,
  95.                 $action);
  97.         }
  99.         return $table;
  100.     }
  102.     /**
  103.      * @param string $token
  104.      * @return \CU\SASCommonBundle\Entity\ResultTable
  105.      * @throws \Exception
  106.      */
  107.     private function getJobsTable(JobManager $jobManager, $token)
  108.     {
  109.         // if we have JOBMANAGER-EDIT we'll show the schedule+token link
  110.         $hasJobManagerEdit = $this->getUser()->hasPriv('JOBMANAGER-EDIT');
  112.         $table = $this->getTableRenderer()->getTable();
  113.         $table
  114.         ->setColumnCount(3)
  115.         ->setColumnGridWidthsMd(5, 1, 5)
  116.         ->setHeaderRow('Job', 'Hidden', 'Enqueue');
  118.         $jobs = $jobManager->getAllJobs();
  120.         foreach ($jobs as $job) {
  121.             if (!$job->hasAllowExec()) {
  122.                 continue;
  123.             }
  125.             $runConfigCount = 0;
  127.             // handle statically linked run configs
  128.             $runConfigs = $job->getRunconfigs();
  129.             $runConfigCount += count($runConfigs);
  130.             $i = 0;
  131.             foreach ($runConfigs as $runConfig) {
  132.                 $jobContent = '';
  133.                 $jobContent .= '<a href="' . $this->generateUrl('cusas_jobmanager_job_enqueue', ['jobId' => $job->getId(), 'runConfigId' => $runConfig->getId(), 'token' => $token]);
  134.                 $jobContent .= '">' . $runConfig->getDescrshort() . '</a><br />';
  136.                 if ($hasJobManagerEdit) {
  137.                     $table->addRow($i==0?$job->getDescrshort():'', $job->isHidden()?'Yes':'No', $jobContent);
  138.                 }
  139.                 $i++;
  140.             }
  142.             // handle support for dynamically linked run configs
  143.             $jobService = $jobManager->getServiceByAlias($job->getServiceAlias());
  144.             $dynamicRunConfigs = $jobService->getDynamicRunConfigs($job);
  145.             $runConfigCount += count($dynamicRunConfigs);
  146.             foreach ($dynamicRunConfigs as $dynamicRunConfig) {
  147.                 $jobContent = '';
  148.                 $jobContent .= '<a href="' . $this->generateUrl('cusas_jobmanager_job_enqueue_dynamic', ['jobId' => $job->getId(), 'id' => $dynamicRunConfig->getId(), 'token' => $token]);
  149.                 $jobContent .= '">' . $dynamicRunConfig->getDescrshort() . '</a><br />';
  151.                 if ($hasJobManagerEdit) {
  152.                     $table->addRow($i==0?$job->getDescrshort():'', $job->isHidden()?'Yes':'No', $jobContent);
  153.                 }
  154.                 $i++;
  155.             }
  157.             // if no run configs, include the default (empty run config)
  158.             if (!$runConfigCount) {
  159.                 $jobContent = '<a href="' . $this->generateUrl('cusas_jobmanager_job_enqueue', ['jobId' => $job->getId(), 'token' => $token]);
  160.                 $jobContent .= '">Default</a>';
  161.                 $table->addRow($job->getDescrshort(), $job->isHidden()?'Yes':'No', $hasJobManagerEdit?$jobContent:'');
  162.             }
  164.         }
  166.         return $table;
  167.     }
  169.     /**
  170.      * process save for roster specific filter edit
  171.      *
  172.      * @Route("/save", name="cusas_jobmanager_save", methods={"POST"})
  173.      * @CUSAS(priv="JOBMANAGER-EDIT")
  174.      *
  175.      * @param Request $request
  176.      * @return RedirectResponse
  177.      */
  178.     public function saveAction(JobManager $jobManager, Request $request)
  179.     {
  180.         $form = $this->getJobManagerOptionsForm($jobManager);
  181.         $form->handleRequest($request);
  183.         if ($form->isValid()) {
  185.             $data = $form->getData();
  187.             $supportedOptions = ['enabled', 'sequence'];
  188.             foreach ($supportedOptions AS $supportedOption) {
  189.                 $jobManagerOption = $jobManager->getJobManagerOption($supportedOption);
  190.                 if ($jobManagerOption) {
  191.                     $oldValue = $jobManagerOption->getMetaValue();
  192.                     $jobManagerOption->setMetaValue($data[$supportedOption]);
  193.                     if ($oldValue != $data[$supportedOption]) {
  194.                         $jobManagerOption->setUpdatedDttm(new \DateTime());
  195.                     }
  196.                     $this->getEntityManager()->flush($jobManagerOption);
  197.                 } else {
  198.                     $jobManagerOption = new JobManagerOption($supportedOption, $data[$supportedOption]);
  199.                     $jobManagerOption->setUpdatedDttm(new \DateTime());
  200.                     $this->getEntityManager()->persist($jobManagerOption);
  201.                     $this->getEntityManager()->flush($jobManagerOption);
  202.                 }
  203.             }
  205.             $this->get('session')->getFlashBag()->add('info', 'Job Manager configuration saved.');
  207.             $shouldClearQueue = $data['clearqueue'];
  208.             if (in_array('Y', $shouldClearQueue)) {
  209.                 $this->get('session')->getFlashBag()->add('warning', 'Failed any running and cancelled any scheduled jobs.');
  210.                 $jobManager->forceClearQueue();
  211.             }
  213.         } else {
  214.             // for any errors, add to flashbag, will display after redirect
  215.             foreach ($form->getErrors() AS $error) {
  216.                 $this->get('session')->getFlashBag()->add('danger', $error->getMessage());
  217.             }
  218.         }
  220.         return $this->redirect($this->generateUrl('cusas_jobmanager', []), '302');
  221.     }
  223.     /**
  224.      * @Route("/job/queue-dynamic/{token}/{jobId}/{id}", name="cusas_jobmanager_job_enqueue_dynamic", methods={"GET"})
  225.      * @CUSAS(priv="JOBMANAGER-EDIT")
  226.      *
  227.      * @param string $token
  228.      * @param int $jobId
  229.      * @param int $id
  230.      * @return RedirectResponse
  231.      */
  232.     public function queueJobAddDynamicAction(JobManager $jobManager, $token, $jobId, $id)
  233.     {
  234.         // does token validate?
  235.         $tokenValid = $this->isCsrfTokenValid('jobmanager', $token);
  236.         if (!$tokenValid) {
  237.             $this->get('session')->getFlashBag()->add('danger', 'Invalid token.');
  238.             return $this->redirect($this->generateUrl('cusas_jobmanager', []), '302');
  239.         }
  241.         /* @var $job \CU\SASCommonBundle\Entity\Job */
  242.         $job = $this->getEntityManager()->getRepository('CU\SASCommonBundle\Entity\Job')->find($jobId);
  244.         $jobService = $jobManager->getServiceByAlias($job->getServiceAlias());
  246.         $dynamicRunConfig = $jobService->getDynamicRunConfigById($job, $id);
  248.         $runconfig = new JobRunConfig();
  249.         $runconfig->setDescrshort($dynamicRunConfig->getDescrshort());
  250.         $runconfig->setInitJson($dynamicRunConfig->getInitJson());
  252.         $this->getEntityManager()->persist($runconfig);
  253.         $this->getEntityManager()->flush($runconfig);
  255.         $isScheduled = $jobManager->isJobScheduled($job, $runconfig);
  257.         if ($isScheduled) {
  258.             $this->get('session')->getFlashBag()->add('danger', 'Job for roster is already scheduled.');
  260.         } else if (!$job->hasAllowExec()) {
  261.             $this->get('session')->getFlashBag()->add('danger', 'Job is disabled and cannot be scheduled.');
  263.         } else {
  264.             $userId = $this->getUser()->getUserId();
  265.             $jobManager->scheduleJob($job, $userId, $runconfig);
  266.             $this->get('session')->getFlashBag()->add('info', 'Job has been enqueued.');
  267.         }
  269.         // redirect
  270.         return $this->redirect($this->generateUrl('cusas_jobmanager', []), '302');
  271.     }
  273.     /**
  274.      * @Route("/job/queue-static/{token}/{jobId}/{runConfigId}", name="cusas_jobmanager_job_enqueue", defaults={"runConfigId" =""}, methods={"GET"})
  275.      * @CUSAS(priv="JOBMANAGER-EDIT")
  276.      *
  277.      * @param string $token
  278.      * @param int $jobId
  279.      * @param int|string $runConfigId
  280.      * @return RedirectResponse
  281.      */
  282.     public function queueJobAddAction(JobManager $jobManager, $token, $jobId, $runConfigId = '')
  283.     {
  284.         // does token validate?
  285.         $tokenValid = $this->isCsrfTokenValid('jobmanager', $token);
  286.         if (!$tokenValid) {
  287.             $this->get('session')->getFlashBag()->add('danger', 'Invalid token.');
  288.             return $this->redirect($this->generateUrl('cusas_jobmanager', []), '302');
  289.         }
  291.         /* @var $job \CU\SASCommonBundle\Entity\Job */
  292.         $job = $this->getEntityManager()->getRepository('CU\SASCommonBundle\Entity\Job')->find($jobId);
  294.         $runconfig = false;
  295.         if ($runConfigId) {
  296.             $runconfig = $this->getEntityManager()->getRepository('CU\SASCommonBundle\Entity\JobRunConfig')->find($runConfigId);
  297.         }
  299.         $isScheduled = $jobManager->isJobScheduled($job, $runconfig);
  301.         if ($isScheduled) {
  302.             $this->get('session')->getFlashBag()->add('danger', 'Job for roster is already scheduled.');
  304.         } else if (!$job->hasAllowExec()) {
  305.             $this->get('session')->getFlashBag()->add('danger', 'Job is disabled and cannot be scheduled.');
  307.         } else {
  308.             $userId = $this->getUser()->getUserId();
  309.             $jobManager->scheduleJob($job, $userId, $runconfig);
  310.             $this->get('session')->getFlashBag()->add('info', 'Job has been enqueued.');
  311.         }
  313.         // redirect
  314.         return $this->redirect($this->generateUrl('cusas_jobmanager', []), '302');
  315.     }
  317.     /**
  318.      * @Route("/seq/queue/{token}/{seqId}", name="cusas_jobmanager_seq_enqueue", methods={"GET"})
  319.      * @CUSAS(priv="JOBMANAGER-EDIT")
  320.      *
  321.      * @param string $token
  322.      * @param int $seqId
  323.      * @return RedirectResponse
  324.      */
  325.     public function queueSeqAddAction(JobManager $jobManager, $token, $seqId)
  326.     {
  327.         // does token validate?
  328.         $tokenValid = $this->isCsrfTokenValid('jobmanager', $token);
  329.         if (!$tokenValid) {
  330.             $this->get('session')->getFlashBag()->add('danger', 'Invalid token.');
  331.             return $this->redirect($this->generateUrl('cusas_jobmanager', []), '302');
  332.         }
  334.         //$userId = $this->getUser()->getUserId();
  335.         // get the last run time...
  336.         $sequence = $jobManager->getSequence($seqId);
  338.         if ($jobManager->canQueueSequence($sequence)) {
  339.             $jobsScheduledCount = $jobManager->queueSequence($sequence);
  340.             $this->get('session')->getFlashBag()->add('info', 'Sequence has been enqueued.');
  341.         } else {
  342.             $this->get('session')->getFlashBag()->add('danger', 'Sequence cannot be enqueued.');
  343.         }
  345.         // redirect
  346.         return $this->redirect($this->generateUrl('cusas_jobmanager', []), '302');
  347.     }
  349.     /**
  350.      * @Route("/queue/cancel/{queueId}/{token}", name="cusas_jobmanager_queue_cancel", methods={"GET"})
  351.      * @CUSAS(priv="JOBMANAGER-EDIT")
  352.      *
  353.      * @param int $queueId
  354.      * @param string $token
  355.      * @return RedirectResponse
  356.      */
  357.     public function queueCancelAction(JobManager $jobManager, $queueId, $token)
  358.     {
  359.         // does token validate?
  360.         $tokenValid = $this->isCsrfTokenValid('jobmanager', $token);
  361.         if (!$tokenValid) {
  362.             $this->get('session')->getFlashBag()->add('danger', 'Invalid token.');
  363.             return $this->redirect($this->generateUrl('cusas_jobmanager', []), '302');
  364.         }
  366.         $affectedJobs = $jobManager->cancelQueueId($queueId);
  368.         if ($affectedJobs) {
  369.             $this->get('session')->getFlashBag()->add('info', 'Job has been cancelled.');
  370.         } else {
  371.             $this->get('session')->getFlashBag()->add('danger', 'Job could not be cancelled.');
  372.         }
  374.         // redirect
  375.         return $this->redirect($this->generateUrl('cusas_jobmanager', []), '302');
  376.     }
  378.     /**
  379.      * @Route("/history", name="cusas_jobmanager_history", methods={"POST"})
  380.      *
  381.      * @param Request $request
  382.      * @return Response
  383.      */
  384.     public function historyAjaxAction(Request $request)
  385.     {
  386.         $showHidden = $request->request->get('showHidden', 0);
  388.         $defaultConn = $this->getConnection();
  390.         $token = $this->generateCsrfToken('jobmanager');
  392.         $hasJobManagerEdit = $this->getUser()->hasPriv('JOBMANAGER-EDIT');
  394.         $historyTable = $this->getTableRenderer()->getTable();
  395.         $historyTable
  396.         ->setColumnCount(7)
  397.         ->setColumnGridWidthsSm(1,3,2,1,2,2,1)
  398.         ->setHeaderRow('Sequence', 'Job', 'Param', 'Status', 'Started', 'Elapsed', 'Action');
  400.         $dttm = new \DateTime();
  401.         $dttm->setTimestamp(time() - 10*86400);
  403.         $query = $this->getEntityManager()->createQuery('
  404.             SELECT q
  405.               FROM CUSASCommonBundle:JobManagerQueue q
  406.                    JOIN q.job j
  407.              WHERE q.schedDttm >= :dt
  408.           ORDER BY q.schedDttm DESC, q.id DESC
  409.             ')
  410.             ->setParameter('dt', $dttm);
  412.         $queueEntries = $query->getResult();
  414.         /* @var $queueEntry \CU\SASCommonBundle\Entity\JobManagerQueue */
  415.         foreach ($queueEntries AS $queueEntry) {
  417.             if (!$showHidden && $queueEntry->getJob()->isHidden()) {
  418.                 continue;
  419.             }
  421.             $elapsed = '';
  422.             if ($queueEntry->getStatus() == 'COMPLETE' && $queueEntry->getStopDttm()
  423.                 && $queueEntry->getStopDttm() >= $queueEntry->getStartDttm()) {
  425.                     $elapsed = $this->secondsToTime($queueEntry->getStopDttm()->getTimestamp() - $queueEntry->getStartDttm()->getTimestamp());
  426.             }
  428.             $otherAction = '';
  429.             if ($queueEntry->getStatus() == 'SCHEDULED' && $hasJobManagerEdit) {
  430.                 $otherAction = '<a href="' . $this->generateUrl('cusas_jobmanager_queue_cancel', ['queueId' => $queueEntry->getId(), 'token' => $token]);
  431.                 $otherAction .= '">cancel</a>';
  432.             }
  434.             $historyTable->addRow(($queueEntry->getSequence()?$queueEntry->getSequence()->getName():''),
  435.                 $queueEntry->getJob()->getDescrshort(),
  436.                 $queueEntry->getRunconfig()?$queueEntry->getRunconfig()->getDescrshort():'',
  437.                 $queueEntry->getStatus(),
  438.                 $queueEntry->getStartDttm()?$queueEntry->getStartDttm()->format('Y-m-d h:ia'):'',
  439.                 $elapsed,
  440.                 $otherAction
  441.                 );
  442.         }
  444.         return $this->render('@CUSASCommon/JobManager/historyAjax.html.twig', ['historyTable' => $historyTable]);
  445.     }
  448.     /**
  449.      * @return \Symfony\Component\Form\FormInterface
  450.      */
  451.     private function getJobManagerOptionsForm(JobManager $jobManager)
  452.     {
  453.         $formBuilder = $this->createFormBuilder();
  455.         $hasJobManagerEdit = $this->getUser()->hasPriv('JOBMANAGER-EDIT');
  457.         $formBuilder
  458.         ->setMethod('post')
  459.         ->setAction($this->generateUrl('cusas_jobmanager_save'))
  460.         ->add('master_node_name',
  461.             CUSASPlainType::class,
  462.             ['data' => $jobManager->getMasterNodeName()?$jobManager->getMasterNodeName():'None',
  463.                 'label' => 'Master Node',
  464.                 'attr' => ['tip' => '']])
  465.         ->add('enabled',
  466.             ChoiceType::class,
  467.             ['choices' => ['Yes' => 'Y', 'No' => 'N'],
  468.                 'multiple' => false,
  469.                 'expanded' => false,
  470.                 'data' => $jobManager->isSchedulerEnabled()?'Y':'N',
  471.                 'label' => 'Enabled',
  472.                 'required' => true,
  473.                 'disabled' => !$hasJobManagerEdit,
  474.                 'attr' => ['tip' => 'Process queued sequences and jobs.']])
  475.         ->add('sequence',
  476.             ChoiceType::class,
  477.             ['choices' => ['Yes' => 'Y', 'No' => 'N'],
  478.                 'multiple' => false,
  479.                 'expanded' => false,
  480.                 'data' => $jobManager->areSequencesEnabled()?'Y':'N',
  481.                 'label' => 'Automatic Sequences',
  482.                 'required' => true,
  483.                 'disabled' => !$hasJobManagerEdit,
  484.                 'attr' => ['tip' => 'Automatically enqueue sequences. (Enabled must be Yes.)']]);
  486.         if ($this->getUser()->hasPriv('JOBMANAGER-EDIT')) {
  487.             $formBuilder
  488.             ->add('clearqueue',
  489.             ChoiceType::class,
  490.             ['choices' => ['Fail running sequences, jobs and cancel all scheduled.' => 'Y'],
  491.                 'multiple' => true,
  492.                 'expanded' => true,
  493.                 'data' => [false],
  494.                 'label' => 'Power Cancel',
  495.                 'required' => false,
  496.                 'attr' => ['tip' => 'For use only when JobManager is in a bad state.']])
  497.             ->add('save', SubmitType::class, ['attr' => ['class' => 'btn-primary']]);
  498.         }
  500.         return $formBuilder->getForm();
  501.     }
  503.     protected function secondsToTime($ss)
  504.     {
  505.         if ($ss == 0) {
  506.             return '0 secs';
  507.         }
  509.         $s = $ss % 60;
  510.         $m = (floor(($ss%3600)/60)>0)?floor(($ss%3600)/60):0;
  511.         $h = (floor(($ss % 86400) / 3600)>0)?floor(($ss % 86400) / 3600):0;
  512.         $d = (floor(($ss % 604800) / 86400)>0)?floor(($ss % 604800) / 86400):0;
  513.         $w = (floor($ss / 604800)>0)?floor($ss / 604800):0;
  515.         $str = '';
  516.         if ($w)
  517.             $str .= ' ' . $w . ' wk' . ($w>1?'s':'');
  518.         if ($d)
  519.             $str .= ' ' . $d . ' day' . ($d>1?'s':'');
  520.         if ($h)
  521.             $str .= ' ' . $h . ' hr' . ($h>1?'s':'');
  522.         if ($m)
  523.             $str .= ' ' . $m . ' min' . ($m>1?'s':'');
  524.         if ($s)
  525.             $str .= ' ' . $s . ' sec' . ($s>1?'s':'');
  527.         return trim($str);
  528.     }
  531. }