在线时间:8:00-16:00
132-9538-2358
迪恩网络APP
随时随地掌握行业动态
扫描二维码
关注迪恩网络微信公众号
将要处理的数据放到ConcurrentQueue中,然后开启多个线程去处理数据,处理完成后,再到队列中获取下一个待处理数据。
ConcurrentQueue
ConcurrentQueue 表示线程安全的先进先出 (FIFO) 集合,属于 System.Collections.Concurrent 命名空间下的一个数据结构
System.Collections.Concurrent
直接上代码
/// <summary> /// 多线程处理数据(无返回值) /// </summary> /// <typeparam name="T">数据类型</typeparam> /// <param name="list">待处理数据</param> /// <param name="action">数据处理方法(有参数无返回值)</param> /// <param name="count">处理线程数量</param> /// <param name="waitFlag">是否等待执行结束</param> static void RunTask<T>(List<T> list, Action<T> action, int threadCount = 5, bool waitFlag = true) { ConcurrentQueue<T> queue = new ConcurrentQueue<T>(list); Task[] tasks = new Task[threadCount]; for (int i = 0; i < threadCount; i++) { tasks[i] = Task.Run(() => { while (queue.TryDequeue(out T t)) { action(t); } }); } if (waitFlag) { Task.WaitAll(tasks); } } /// <summary> /// 多线程处理数据(返回处理后列表) /// </summary> /// <typeparam name="T">数据类型</typeparam> /// <param name="list">待处理数据</param> /// <param name="func">数据处理方法(有参数有返回值)</param> /// <param name="threadCount">处理线程数量</param> /// <returns>数据处理后结果</returns> static List<T> RunTask<T>(List<T> list, Func<T, T> func, int threadCount = 5) { var result = new List<T>(); ConcurrentQueue<T> queue = new ConcurrentQueue<T>(list); Task<List<T>>[] tasks = new Task<List<T>>[threadCount]; for (int i = 0; i < threadCount; i++) { tasks[i] = Task.Run<List<T>>(() => { var rList = new List<T>(); while (queue.TryDequeue(out T t)) { rList.Add(func(t)); } return rList; }); } Task.WaitAll(tasks); for (int i = 0; i < threadCount; i++) { result.AddRange(tasks[i].Result); } return result; }
List<int> list = new List<int>() { 1, 2, 3, 4, 5, 6, 7, 8, 9 }; //输出列表中的数据,且加上“action”字符前缀 RunTask<int>(list, d => { Console.WriteLine("action" + d); }); //对列表中数据都执行 “*2” 的操作 var result = RunTask<int>(list, d => { return d * 2; }); result.ForEach(d => Console.WriteLine(d));
上面的代码只是简单的实现了对数据的处理,并没有考虑到对内存的使用限制,一般的项目中使用还是可以的。最后我尝试了下,生成一个100M的列表,然后将其加载到ConcurrentQueue,监控程序内存占用,发现没有很大的内存占用变化。
评论
请发表评论