c#大数据量比较时-方案

OStack程序员社区-中国程序员成长平台 › 门户 › 编程› Node.js›Node.js教程

原作者: [db:作者] 来自: [db:来源] 收藏邀请

1、当面临千万条数据量的比较时，从技术的角度来说应该用泛型键值（c#键值由于用了散列算法速度很快）。例如前几天我需要查的是航空公司、出发、到达、返点可以将航空公司-出发-到达做一个键，返点作为值。

            if (dtsourceBT.Rows.Count > 0)
            {
                dBaitour = new Dictionary<string, string>();
                foreach (DataRow dr in dtsourceBT.Rows)
                {
                    string outstring = "";
                    string tmpKey = ""; string tmpValue = "";
                    if (!dBaitour.TryGetValue(tmpKey, out outstring))
                    {
                        dBaitour.Add(tmpKey, tmpValue);
                    }
                    else
                    {

                        dBaitour[tmpKey] = "";
                    }
                }
            }

2、从业务角度来优化，这点很重要。因为所以的程序都不是孤立的。根据业务要求如果这样做

第一、查出所以的数据（将近5万条数据）

string sqlBT = "select ZRateId, DeparturePort,ArrivalPort,airwaycompanycode,CabinCode,RateValue,FlightNumber,NoFlightNumber from b2b_zrate_new where state=1 AND IssuedToDate>=convert(varchar(10),getdate(),120) and outPattern!=3 ORDER BY RateValue desc";
DataTable dtsourceBT = DbHelper.ExeAll116(sqlBT);

第二、通过航空公司筛调一部分数据（剩下3千条数据）

DataRow[] drBTS = dtsourceBT.Select(" airwaycompanycode='" + dr["AirCompany"] + "'");

第三、再去比较，这样数据量变小了。速度就快多了

foreach (DataRow drBT in drBTS)
                    {
                        if (drBT["DeparturePort"].ToString().Contains(drNew["DeparturePort"].ToString()))
                        {
                            if (drBT["ArrivalPort"].ToString().Contains(drNew["ArrivalPort"].ToString()))
                            {
                                if (drBT["CabinCode"].ToString().Contains(drNew["CabinCode"].ToString()))
                                {
                                    drNew["BTPolicyId"] = drBT["ZRateId"];
                                    drNew["BTValue"] = (Convert.ToDecimal(drBT["RateValue"])*100).ToString();
                                    break;
                                }
                            }
                        }
                    }