C# · 12月 27, 2021

c# – 使用多个任务从大型对齐中检索所有记录

我正在处理调用外部服务的应用程序,并且必须将外部集合的所有条目添加到本地集合中.目前的问题是外部收藏可能会超过1000条记录,但返回的搜索结果只能包含最多二十项.

为了速度,我想使用一组任务将是前进的道路,所以我想出了下面的代码:

int totalCount = returnedCol.total_count; while (totalCount > myDict.Count) { int numberOfTasks = // logic to calculate how many tasks to run List<Task> taskList = new List<Task>(); for (int i = 1; i <= numberOfTasks; i++) { Interlocked.Add(ref pageNumber,pageSize); Task<SearchResponse> testTask = Task.Run(() => { return ExternalCall.GetData(pageNumber,pageSize); }); Thread.Sleep(100); taskList.Add(testTask); testTask.ContinueWith(o => { foreach (ExternalDataRecord dataiwant in testTask.Result.dataiwant) { if (!myDict.ContainsKey(dataiwant.id)) myDict.GetOrAdd(dataiwant.id,dataiwant); } }); } Task.WaitAll(taskList.ToArray()); }

但是,这并不能产生所有结果. pageNumber变量每次正确递增,但似乎并不是所有的任务结果都被分析(因为较小数据集上的单个线程上的相同逻辑返回所有预期结果).此外,我已经尝试在链中声明单个任务(而不是循环),并且返回测试数据.看来,我传入Thread.Sleep()的值越高,结果将被添加到本地集合中(但这不是理想的,因为这意味着该过程需要更长时间!)

目前在600个记录的样本中,只有约150-200个添加到myDict集合中.我错过了什么吗?

解决方法 你错过了ContinueWith()导致另一个任务,而不是添加你的taskList的事实.

更好的方法是使用.NET 4.5之后的async / await.它为解决方案提供了一种较不重要的方法.

您将更改算法更像这样:

public async Task Process(){ int totalCount = returnedCol.total_count; while (totalCount > myDict.Count) { int numberOfTasks = // logic to calculate how many tasks to run List<Task> taskList = new List<Task>(); for (int i = 1; i <= numberOfTasks; i++) { Interlocked.Add(ref pageNumber,pageSize); taskList.Add(ProcessPage(pageNumber,pageSize)); } await Task.WhenAll(taskList.ToArray()); } } private async Task ProcessPage(int pageNumber,int pageSize) { SearchResponse result = await Task.Run(() => ExternalCall.GetData(pageNumber,pageSize)).ConfigureAwait(false); foreach (ExternalDataRecord dataiwant in result.dataiwant) { myDict.GetOrAdd(dataiwant.id,dataiwant); } }

async关键字告诉编译器稍后会有一个等待.等待基本上处理您的ContinueWith调用的细节.如果您真的希望ExternalCall发生在另一个任务中,那么您只需等待该调用的结果.