Java AMSimulator类代码示例

OStack程序员社区-中国程序员成长平台 › 门户 › 编程› Java›Java编程经验

原作者: [db:作者] 来自: [db:来源] 收藏邀请

本文整理汇总了Java中org.apache.hadoop.yarn.sls.appmaster.AMSimulator类的典型用法代码示例。如果您正苦于以下问题：Java AMSimulator类的具体用法？Java AMSimulator怎么用？Java AMSimulator使用的例子？那么恭喜您, 这里精选的类代码示例或许可以为您提供帮助。

AMSimulator类属于org.apache.hadoop.yarn.sls.appmaster包，在下文中一共展示了AMSimulator类的4个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于我们的系统推荐出更棒的Java代码示例。

示例1: SLSRunner

import org.apache.hadoop.yarn.sls.appmaster.AMSimulator; //导入依赖的package包/类
public SLSRunner(boolean isSLS, String inputTraces[], String nodeFile,
                 String outputDir, Set<String> trackedApps,
                 boolean printsimulation)
        throws IOException, ClassNotFoundException {
  this.isSLS = isSLS;
  this.inputTraces = inputTraces.clone();
  this.nodeFile = nodeFile;
  this.trackedApps = trackedApps;
  this.printSimulation = printsimulation;
  metricsOutputDir = outputDir;
  
  nmMap = new HashMap<NodeId, NMSimulator>();
  queueAppNumMap = new HashMap<String, Integer>();
  amMap = new HashMap<String, AMSimulator>();
  amClassMap = new HashMap<String, Class>();
  
  // runner configuration
  conf = new Configuration(false);
  conf.addResource("sls-runner.xml");
  // runner
  int poolSize = conf.getInt(SLSConfiguration.RUNNER_POOL_SIZE, 
                              SLSConfiguration.RUNNER_POOL_SIZE_DEFAULT); 
  SLSRunner.runner.setQueueSize(poolSize);
  // <AMType, Class> map
  for (Map.Entry e : conf) {
    String key = e.getKey().toString();
    if (key.startsWith(SLSConfiguration.AM_TYPE)) {
      String amType = key.substring(SLSConfiguration.AM_TYPE.length());
      amClassMap.put(amType, Class.forName(conf.get(key)));
    }
  }
}

开发者ID:naver，项目名称:hadoop，代码行数:33，代码来源:SLSRunner.java

示例2: startAMFromSLSTraces

import org.apache.hadoop.yarn.sls.appmaster.AMSimulator; //导入依赖的package包/类
/**
 * parse workload information from sls trace files
 */
@SuppressWarnings("unchecked")
private void startAMFromSLSTraces(Resource containerResource,
                                  int heartbeatInterval) throws IOException {
  // parse from sls traces
  JsonFactory jsonF = new JsonFactory();
  ObjectMapper mapper = new ObjectMapper();
  for (String inputTrace : inputTraces) {
    Reader input = new FileReader(inputTrace);
    try {
      Iterator<Map> i = mapper.readValues(jsonF.createJsonParser(input),
              Map.class);
      while (i.hasNext()) {
        Map jsonJob = i.next();

        // load job information
        long jobStartTime = Long.parseLong(
                jsonJob.get("job.start.ms").toString());
        long jobFinishTime = Long.parseLong(
                jsonJob.get("job.end.ms").toString());

        String user = (String) jsonJob.get("job.user");
        if (user == null)  user = "default";
        String queue = jsonJob.get("job.queue.name").toString();

        String oldAppId = jsonJob.get("job.id").toString();
        boolean isTracked = trackedApps.contains(oldAppId);
        int queueSize = queueAppNumMap.containsKey(queue) ?
                queueAppNumMap.get(queue) : 0;
        queueSize ++;
        queueAppNumMap.put(queue, queueSize);
        // tasks
        List tasks = (List) jsonJob.get("job.tasks");
        if (tasks == null || tasks.size() == 0) {
          continue;
        }
        List<ContainerSimulator> containerList =
                new ArrayList<ContainerSimulator>();
        for (Object o : tasks) {
          Map jsonTask = (Map) o;
          String hostname = jsonTask.get("container.host").toString();
          long taskStart = Long.parseLong(
                  jsonTask.get("container.start.ms").toString());
          long taskFinish = Long.parseLong(
                  jsonTask.get("container.end.ms").toString());
          long lifeTime = taskFinish - taskStart;
          int priority = Integer.parseInt(
                  jsonTask.get("container.priority").toString());
          String type = jsonTask.get("container.type").toString();
          containerList.add(new ContainerSimulator(containerResource,
                  lifeTime, hostname, priority, type));
        }

        // create a new AM
        String amType = jsonJob.get("am.type").toString();
        AMSimulator amSim = (AMSimulator) ReflectionUtils.newInstance(
                amClassMap.get(amType), new Configuration());
        if (amSim != null) {
          amSim.init(AM_ID++, heartbeatInterval, containerList, rm,
                  this, jobStartTime, jobFinishTime, user, queue,
                  isTracked, oldAppId);
          runner.schedule(amSim);
          maxRuntime = Math.max(maxRuntime, jobFinishTime);
          numTasks += containerList.size();
          amMap.put(oldAppId, amSim);
        }
      }
    } finally {
      input.close();
    }
  }
}

开发者ID:naver，项目名称:hadoop，代码行数:75，代码来源:SLSRunner.java

示例3: printSimulationInfo

import org.apache.hadoop.yarn.sls.appmaster.AMSimulator; //导入依赖的package包/类
private void printSimulationInfo() {
  if (printSimulation) {
    // node
    LOG.info("------------------------------------");
    LOG.info(MessageFormat.format("# nodes = {0}, # racks = {1}, capacity " +
            "of each node {2} MB memory and {3} vcores.",
            numNMs, numRacks, nmMemoryMB, nmVCores));
    LOG.info("------------------------------------");
    // job
    LOG.info(MessageFormat.format("# applications = {0}, # total " +
            "tasks = {1}, average # tasks per application = {2}",
            numAMs, numTasks, (int)(Math.ceil((numTasks + 0.0) / numAMs))));
    LOG.info("JobId\tQueue\tAMType\tDuration\t#Tasks");
    for (Map.Entry<String, AMSimulator> entry : amMap.entrySet()) {
      AMSimulator am = entry.getValue();
      LOG.info(entry.getKey() + "\t" + am.getQueue() + "\t" + am.getAMType() 
          + "\t" + am.getDuration() + "\t" + am.getNumTasks());
    }
    LOG.info("------------------------------------");
    // queue
    LOG.info(MessageFormat.format("number of queues = {0}  average " +
            "number of apps = {1}", queueAppNumMap.size(),
            (int)(Math.ceil((numAMs + 0.0) / queueAppNumMap.size()))));
    LOG.info("------------------------------------");
    // runtime
    LOG.info(MessageFormat.format("estimated simulation time is {0}" +
            " seconds", (long)(Math.ceil(maxRuntime / 1000.0))));
    LOG.info("------------------------------------");
  }
  // package these information in the simulateInfoMap used by other places
  simulateInfoMap.put("Number of racks", numRacks);
  simulateInfoMap.put("Number of nodes", numNMs);
  simulateInfoMap.put("Node memory (MB)", nmMemoryMB);
  simulateInfoMap.put("Node VCores", nmVCores);
  simulateInfoMap.put("Number of applications", numAMs);
  simulateInfoMap.put("Number of tasks", numTasks);
  simulateInfoMap.put("Average tasks per applicaion",
          (int)(Math.ceil((numTasks + 0.0) / numAMs)));
  simulateInfoMap.put("Number of queues", queueAppNumMap.size());
  simulateInfoMap.put("Average applications per queue",
          (int)(Math.ceil((numAMs + 0.0) / queueAppNumMap.size())));
  simulateInfoMap.put("Estimated simulate time (s)",
          (long)(Math.ceil(maxRuntime / 1000.0)));
}

开发者ID:naver，项目名称:hadoop，代码行数:45，代码来源:SLSRunner.java

示例4: startAMFromSLSTraces

import org.apache.hadoop.yarn.sls.appmaster.AMSimulator; //导入依赖的package包/类
/**
 * parse workload information from sls trace files
 */
@SuppressWarnings("unchecked")
private void startAMFromSLSTraces(Resource containerResource,
                                  int heartbeatInterval) throws IOException {
  // parse from sls traces
  JsonFactory jsonF = new JsonFactory();
  ObjectMapper mapper = new ObjectMapper();
  for (String inputTrace : inputTraces) {
    Reader input =
        new InputStreamReader(new FileInputStream(inputTrace), "UTF-8");
    try {
      Iterator<Map> i = mapper.readValues(jsonF.createJsonParser(input),
              Map.class);
      while (i.hasNext()) {
        Map jsonJob = i.next();

        // load job information
        long jobStartTime = Long.parseLong(
                jsonJob.get("job.start.ms").toString());
        long jobFinishTime = Long.parseLong(
                jsonJob.get("job.end.ms").toString());

        String user = (String) jsonJob.get("job.user");
        if (user == null)  user = "default";
        String queue = jsonJob.get("job.queue.name").toString();

        String oldAppId = jsonJob.get("job.id").toString();
        boolean isTracked = trackedApps.contains(oldAppId);
        int queueSize = queueAppNumMap.containsKey(queue) ?
                queueAppNumMap.get(queue) : 0;
        queueSize ++;
        queueAppNumMap.put(queue, queueSize);
        // tasks
        List tasks = (List) jsonJob.get("job.tasks");
        if (tasks == null || tasks.size() == 0) {
          continue;
        }
        List<ContainerSimulator> containerList =
                new ArrayList<ContainerSimulator>();
        for (Object o : tasks) {
          Map jsonTask = (Map) o;
          String hostname = jsonTask.get("container.host").toString();
          long taskStart = Long.parseLong(
                  jsonTask.get("container.start.ms").toString());
          long taskFinish = Long.parseLong(
                  jsonTask.get("container.end.ms").toString());
          long lifeTime = taskFinish - taskStart;
          int priority = Integer.parseInt(
                  jsonTask.get("container.priority").toString());
          String type = jsonTask.get("container.type").toString();
          containerList.add(new ContainerSimulator(containerResource,
                  lifeTime, hostname, priority, type));
        }

        // create a new AM
        String amType = jsonJob.get("am.type").toString();
        AMSimulator amSim = (AMSimulator) ReflectionUtils.newInstance(
                amClassMap.get(amType), new Configuration());
        if (amSim != null) {
          amSim.init(AM_ID++, heartbeatInterval, containerList, rm,
                  this, jobStartTime, jobFinishTime, user, queue,
                  isTracked, oldAppId);
          runner.schedule(amSim);
          maxRuntime = Math.max(maxRuntime, jobFinishTime);
          numTasks += containerList.size();
          amMap.put(oldAppId, amSim);
        }
      }
    } finally {
      input.close();
    }
  }
}

开发者ID:aliyun-beta，项目名称:aliyun-oss-hadoop-fs，代码行数:76，代码来源:SLSRunner.java

注：本文中的org.apache.hadoop.yarn.sls.appmaster.AMSimulator类示例整理自Github/MSDocs等源码及文档管理平台，相关代码片段筛选自各路编程大神贡献的开源项目，源码版权归原作者所有，传播和使用请参考对应项目的License；未经允许，请勿转载。

鲜花

握手

雷人

路过

鸡蛋

该文章已有0人参与评论

请发表评论

全部评论

专题导读

More+

10-27 六六分期app的软件客服如何联系？(六六分期

11-06 可心卡盟:win10系统火狐flash插件崩溃怎么

11-06 亲亲特价:怎么删除回收站图标

11-06 济南大学虚拟社区:鲁大师节能降温的具体办

11-06 xlueops.exe:无线网络安装向导

11-06 女斗合众国:win7系统cf与主机连接不稳定怎

11-06 0xc000022-[cf烟雾头]cf怎么调烟雾头

11-06 qizideyouhuo:应用程序无法正常启动0xc0000

11-06 ipz-185:win7系统vcf文件怎么打开

11-06 傻哥蹦迪:win10系统s4怎么打开usb调试

11-06 八神浩树gtaste:回收站清空了怎么恢复

11-06 妖尾之黑色守护:win10系统电脑没有1440x900

11-06 校园至尊魔王小说:win7系统浏览网页时字体

11-06 女斗合众国:win10系统访问共享文件夹提示请

11-06 tokyo hot n0654:恢复win7系统默认字体一招

11-06 雨酷仙境:设置win7系统转移临时文件夹腾出

11-06 阿穆纳伊之杖:win7系统开始菜单在右边还原

11-06 tunespotting:win10系统火狐flash插件总是

11-06 甘尔葛分析师：计谋网站seo关键词暴涨有什

11-06 蔡贵霖: 计谋网站seo关键词暴涨有什么秘密

11-06 博益网首页:ao3网页版进入不了解决方法

11-06 漏斗子专栏: 网站数据分析小白易懂精华篇

11-06 见证双虹怎么做:win7系统开启telnet命令的

11-06 颾狐蝶蜋:系统资源不足无法完成请求的服务

11-06 国光中学校歌:提交网站到alexa查询详细步骤

11-06 西安有情天:静态网页和动态网页的区别

11-06 红木雅尚斋:外部链接构造对网站的好处

11-06 前官礼遇：防止域名劫持–增强域安全性的10

11-06 密传二转答案: 中文分词算法有哪些

11-06 金泉家园邮编:百度快照劫持的表现及应对方

Java SystemResources类代码示例发布时间：2022-05-22

Java Dataset类代码示例发布时间：2022-05-22

剪的笔顺,诠释剪的笔画,认识剪的部首

1 六六分期app的软件客服如何联系？(六六分期

六六分期app的软件客服如何联系？不知道吗？加qq群【895510560】即可！标题：六六分期

阅读：19165|2023-10-27

2 可心卡盟:win10系统火狐flash插件崩溃怎么

今天小编告诉大家如何处理win10系统火狐flash插件总是崩溃的问题，可能很多用户都不知

阅读：9981|2022-11-06

3 亲亲特价:怎么删除回收站图标

今天小编告诉大家如何对win10系统删除桌面回收站图标进行设置，可能很多用户都不知道

阅读：8320|2022-11-06

4 济南大学虚拟社区:鲁大师节能降温的具体办

今天小编告诉大家如何对win10系统电脑设置节能降温的设置方法，想必大家都遇到过需要

阅读：8690|2022-11-06

5 xlueops.exe:无线网络安装向导

我们在使用xp系统的过程中,经常需要对xp系统无线网络安装向导设置进行设置，可能很多

阅读：8634|2022-11-06

6 女斗合众国:win7系统cf与主机连接不稳定怎

今天小编告诉大家如何处理win7系统玩cf老是与主机连接不稳定的问题，可能很多用户都不

阅读：9650|2022-11-06

7 0xc000022-[cf烟雾头]cf怎么调烟雾头

电脑对日常生活的重要性小编就不多说了，可是一旦碰到win7系统设置cf烟雾头的问题，很

阅读：8617|2022-11-06

8 qizideyouhuo:应用程序无法正常启动0xc0000

我们在日常使用电脑的时候，有的小伙伴们可能在打开应用的时候会遇见提示应用程序无法

阅读：7994|2022-11-06

9 ipz-185:win7系统vcf文件怎么打开

今天小编告诉大家如何对win7系统打开vcf文件进行设置，可能很多用户都不知道怎么对win

阅读：8648|2022-11-06

10 傻哥蹦迪:win10系统s4怎么打开usb调试

今天小编告诉大家如何对win10系统s4开启USB调试模式进行设置，可能很多用户都不知道怎

阅读：7531|2022-11-06

客服电话

电子邮件

Java AMSimulator类代码示例

示例1: SLSRunner

示例2: startAMFromSLSTraces

示例3: printSimulationInfo

示例4: startAMFromSLSTraces

请发表评论

全部评论

上一篇：

下一篇：

librespeed/speedtest: Self-hosted Speedt

CVE-2021-33462

avehtari/BDA_m_demos: Bayesian Data Anal

四维彩超怎么看性别？四维看男孩女孩诀窍

medfreeman/markdown-it-toc-and-anchor: m

剪的笔顺,诠释剪的笔画,认识剪的部首

六六分期app的软件客服如何联系？(六六分期

florent37/ViewAnimator: A fluent Android

florent37/Shrine-MaterialDesign2: implem

CVE-2020-36276

SimpleSoftwareIO/simple-sms: Send and re

关于我们

产品与服务

解决方案

139-2527-9053