Strom:pluggable scheduler 自己写的自定义分配任务 - c++编程基础

Storm提供的一个插拔式调度策略的扩展，在加入新的topology后，并不会完全替代系统自带的分配策略。它仅仅是扩展，不能替代。而且按照设计，它的出现是为了应付一些极端情况，比如，slot不够用。在这些情况下，storm默认的调度策略，无法很好的实施。然后，才会执行自定义的调度策略。新加入的topology启动后，系统默认的调度策略还在起作用，所以，我们制定的spout/bolt的实体可能已经被分配了，也可能我们制定的supervisor机器的slot已经全部用光了，只有这些都可以满足的时候，我们才能进行一定程度的调度。

为了打破以上的限制，我写的方法是，首先将所有的已经分配的任务全部释放掉。然后，按照逻辑进行任务的分配。剩下的任务使用默认的调度策略，但是，总是出现一台supervisor上面分配不到任务。

最后的解决方法，是把topology中所有的任务，全部自定义分配。然后将无任务可分配的topology交给默认调度策略来分配（这一步不能省，否则，会按照系统默认的调度策略进行调度。这说明调度策略，除了进行任务的分配还进行了其他的配置）。这样的结果，才能将任务按照逻辑成功分配。当然，这样会有很多的问题，比如，在自定义调度策略分配完之前，不能接收任何tuple。调度策略的粒度，是线程级别。

自己写的代码如下：实现了，将spout定向配置到其他某个supervisor上，然后，将所有的blot线程平均分摊到所有的supervisor。集群环境：4个supervisor，两个blot，并行度各为10.

如下代码仅供参考，不要随便移植走，如要移植走还要解决一切线程分配的算法问题。

package storm;

import java.util.ArrayList;
import java.util.Collection;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.Set;

import backtype.storm.scheduler.Cluster;
import backtype.storm.scheduler.EvenScheduler;
import backtype.storm.scheduler.ExecutorDetails;
import backtype.storm.scheduler.IScheduler;
import backtype.storm.scheduler.SchedulerAssignment;
import backtype.storm.scheduler.SupervisorDetails;
import backtype.storm.scheduler.Topologies;
import backtype.storm.scheduler.TopologyDetails;
import backtype.storm.scheduler.WorkerSlot;


public class DemoScheduler implements IScheduler {
    public void prepare(Map conf) {}

    private int flag=0;
    private void Myschedule(Topologies topologies, Cluster cluster)
    {
    	
    	 SchedulerAssignment currentAssignment = cluster.getAssignmentById(topologies.getByName("special-topology").getId());
         if (currentAssignment != null) {
                 System.out.println("MY:current assignments: " + currentAssignment.getExecutorToSlot());
         } else {
                 System.out.println("My:current assignments: {}");
         }
         
         SupervisorDetails specialSupervisor= GetSupervisorDetailsByName(cluster,"special-slave3");
         if(specialSupervisor!=null)
         {
         List
  
     availableSlots = cluster.getAvailableSlots(specialSupervisor);

         System.out.println("availableSlotsNum:"+availableSlots.size());
         System.out.println("availableSlotsNum List:"+availableSlots);
       
         TopologyDetails topology = topologies.getByName("special-topology");
        
         Map
   
    > componentToExecutors = cluster.getNeedsSchedulingComponentToExecutors(topology); List
    
      executors = componentToExecutors.get("1"); List
     
       executors2 = componentToExecutors.get("2"); Map
      
        AllSupervisors= cluster.getSupervisors(); Collection
       
        AllSuperVaule= AllSupervisors.values(); SupervisorDetails[] superArray=new SupervisorDetails[AllSuperVaule.size()]; AllSuperVaule.toArray(superArray); ArrayList
        
          AllExecutor=new ArrayList
         
          (); for(int i=0;i
          
            temp=AllExecutor.subList(i*5, i*5+5); List
           
             availableSlotsInner = cluster.getAvailableSlots(superArray[i]); cluster.assign(availableSlotsInner .get(0), topology.getId(), temp); System.out.println("Assiment:"+temp+"to"+i); } // cluster.assign(availableSlots.get(1), topology.getId(), executors); // cluster.assign(availableSlots.get(2), topology.getId(), executors2); } else { System.out.println("special-slave3 is not exits!!!"); } } private SupervisorDetails GetSupervisorDetailsByName(Cluster cl

Strom:pluggable scheduler 自己写的自定义分配任务(一)