• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号
登陆 注册

C#Hadoop学习笔记（一）—环境安装

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

1，前期准备：官网下载“NuGet Package Manager”，按自己已有的VS环境下载对应版本；

2，利用NuGet下载Hadoop For .NET SDK,地址“http://hadoopsdk.codeplex.com/”

3，安装。

4，通过HDInsight，安装Windows Azure，目前是预览版本。

5，参照网址“http://blogs.msdn.com/b/data_otaku/archive/2013/08/14/hadoop-for-net-developers.aspx” 系统学习API

 

二、测试DEMO

 

[csharp] view plain copy
 
  1. using System;  
  2. using System.Collections.Generic;  
  3. using System.Linq;  
  4. using System.Text;  
  5. using System.Threading.Tasks;  
  6. using Microsoft.Hadoop;  
  7. using Microsoft.Hadoop.MapReduce;  
  8. using Microsoft.Hadoop.WebClient.WebHCatClient;  
  9. using System.Diagnostics;  
  10. using System.IO;  
  11. using System.IO.MemoryMappedFiles;  
  12.   
  13.   
  14. namespace HadoopConsol  
  15. {  
  16.     class Program  
  17.     {  
  18.         static void Main(string[] args)  
  19.         {  
  20.             Stopwatch sw = new Stopwatch();  
  21.             long hadoopTime=0;  
  22.             long normalTime=0;  
  23.   
  24.             sw.Start();  
  25.   
  26.             //start hadoop  
  27.             Console.WriteLine("     Hadoop Process Strating ....");  
  28.  
  29.             #region Hadoop time  
  30.  
  31.             #region hadoopconnet  
  32.   
  33.             Console.WriteLine("     Hadoop Connect Strating ....");  
  34.   
  35.             //establish job configuration  
  36.   
  37.             HadoopJobConfiguration myConfig = new HadoopJobConfiguration();  
  38.   
  39.             myConfig.InputPath = "/demo/simple/in";  
  40.   
  41.             myConfig.OutputFolder = "/demo/simple/out";  
  42.   
  43.   
  44.   
  45.             //connect to cluster  
  46.   
  47.             Uri myUri = new Uri("http://localhost");  
  48.   
  49.             string userName = "hadoop";  
  50.   
  51.             string passWord = null;  
  52.   
  53.             IHadoop myCluster = Hadoop.Connect(myUri, userName, passWord);  
  54.   
  55.             hadoopTime += sw.ElapsedMilliseconds;  
  56.   
  57.             Console.WriteLine("     Hadoop Connect End.");  
  58.   
  59.             Console.WriteLine("     Hadoop Connect time:" + sw.ElapsedMilliseconds);  
  60.  
  61.             #endregion  
  62.  
  63.  
  64.             #region hadoopmapreduce  
  65.   
  66.             sw.Reset();  
  67.             sw.Start();  
  68.   
  69.             Console.WriteLine("     Hadoop MapReduce Strating ....");  
  70.   
  71.             //execute mapreduce job  
  72.   
  73.             MapReduceResult jobResult =  
  74.   
  75.                 myCluster.MapReduceJob.Execute<MySimpleMapper, MySimpleReducer>(myConfig);  
  76.   
  77.             hadoopTime += sw.ElapsedMilliseconds;  
  78.   
  79.             Console.WriteLine("     Hadoop MapReduce End.");  
  80.             Console.WriteLine("     Hadoop MapReduce Time:"+sw.ElapsedMilliseconds);  
  81.  
  82.             #endregion  
  83.  
  84.             #region Hadoop End  
  85.   
  86.             sw.Reset();  
  87.             sw.Start();  
  88.   
  89.             Console.WriteLine("     Hadoop Endprocess Strating ....");  
  90.   
  91.             //write job result to console  
  92.   
  93.             int exitCode = jobResult.Info.ExitCode;  
  94.   
  95.   
  96.   
  97.             string exitStatus = "Failure";  
  98.   
  99.             if (exitCode == 0) exitStatus = "Success";  
  100.   
  101.             exitStatus = exitCode + " (" + exitStatus + ")";  
  102.   
  103.             Console.WriteLine();  
  104.   
  105.             Console.Write("Exit Code = " + exitStatus);  
  106.   
  107.             Console.WriteLine("     Hadoop Endprocess End.");  
  108.             hadoopTime += sw.ElapsedMilliseconds;  
  109.             Console.WriteLine("     Hadoop Exit Time:" + sw.ElapsedMilliseconds);  
  110.             Console.WriteLine("     Hadoop Process All Time:" + hadoopTime);  
  111.             #endregion  
  112.  
  113.             #endregion  
  114.  
  115.  
  116.             #region Normal time  
  117.             //start Normal  
  118.             Console.WriteLine("     Normal Process Strating ....");  
  119.   
  120.             sw.Reset();  
  121.             sw.Start();  
  122.   
  123.             //normal process  
  124.             #region Normal Process  
  125.   
  126.             int myevenCount = 0;  
  127.             int myeventSum = 0;  
  128.   
  129.             int myoddCount = 0;  
  130.             int myoddSum = 0;  
  131.   
  132.             StreamReader fs = new StreamReader(@"c:\TEMP\integers.txt");  
  133.   
  134.             while (fs.Peek() >= 0)  
  135.             {  
  136.                 string strTemp = fs.ReadLine();  
  137.                 if (Int32.Parse(strTemp) % 2 == 0)  
  138.                 {  
  139.                     myevenCount++;  
  140.                     myeventSum += Int32.Parse(strTemp);  
  141.                 }  
  142.                 else  
  143.                 {  
  144.                     myoddCount++;  
  145.                     myoddSum += Int32.Parse(strTemp);  
  146.                 }  
  147.             }  
  148.                //MemoryMappedFile m = MemoryMappedFile.  
  149.             Console.WriteLine("even:" + "\t" + myevenCount + "\t" + myeventSum);  
  150.             Console.WriteLine("odd:" + "\t" + myoddCount + "\t" + myoddSum);  
  151.  
  152.             #endregion  
  153.   
  154.             Console.WriteLine("     Normal Process End.");  
  155.   
  156.             normalTime += sw.ElapsedMilliseconds;  
  157.             Console.WriteLine("     Normal Exit Time:" + sw.ElapsedMilliseconds);  
  158.             Console.WriteLine("     Normal Process All Time:" + normalTime);  
  159.  
  160.             #endregion  
  161.   
  162.             sw.Stop();  
  163.   
  164.             Console.Read();  
  165.   
  166.         }  
  167.   
  168.     }  
  169.   
  170.     public class MySimpleMapper : MapperBase  
  171.     {  
  172.   
  173.         public override void Map(string inputLine, MapperContext context)  
  174.         {  
  175.   
  176.             //interpret the incoming line as an integer value  
  177.   
  178.             int value = int.Parse(inputLine);  
  179.   
  180.             //determine whether value is even or odd  
  181.   
  182.             string key = (value % 2 == 0) ? "even" : "odd";  
  183.   
  184.             //output key assignment with value  
  185.   
  186.             context.EmitKeyValue(key, value.ToString());  
  187.   
  188.         }  
  189.   
  190.     }  
  191.   
  192.     public class MySimpleReducer : ReducerCombinerBase  
  193.     {  
  194.   
  195.         public override void Reduce(  
  196.   
  197.             string key, IEnumerable<string> values, ReducerCombinerContext context  
  198.   
  199.             )  
  200.         {  
  201.   
  202.             //initialize counters  
  203.   
  204.             int myCount = 0;  
  205.   
  206.             int mySum = 0;  
  207.   
  208.   
  209.   
  210.             //count and sum incoming values  
  211.   
  212.             foreach (string value in values)  
  213.             {  
  214.   
  215.                 mySum += int.Parse(value);  
  216.   
  217.                 myCount++;  
  218.   
  219.             }  
  220.   
  221.   
  222.   
  223.             //output results  
  224.   
  225.             context.EmitKeyValue(key, myCount + "\t" + mySum);  
  226.   
  227.         }  
  228.   
  229.   
  230.     }  
  231. }  

三、测试结果

鲜花
握手
雷人
路过
鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
More+
上一篇：
C# 根据身份证号码判断出生日期和性别发布时间：2022-07-10
下一篇：
C# 中?和??的用法发布时间：2022-07-10
热门推荐
More+
热门话题
More+
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服（服务时间 9:00～18:00）

在线QQ客服
地址：深圳市南山区西丽大学城创智工业园
电邮：jeky_zhao#qq.com
移动电话：139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap