求助如何利用KPI（绩效指标）做市场比较分析，附具体的案例

想请大家帮忙看看如何用各种KPI (key performance indicators 绩效指标)来给各合作厂商进行比较分析，我自己目前的解决办法技术含量低一些，求针对此案例的有效数据分析方法来提高一下分析的技术水平，可以是数据模型或者是有效的数据图形，主要求思路和方法。

具体实例：
我们是大型外企，广告和互联网领域，有几百个合作的技术厂商，我们的数据库搜集了每个厂商和我们公司做业务的各种绩效指标(performance KPI)，比如他们的完成任务时间（TAT, turnaround time)，出错率（error rate），服务的业务类型数量等等, 每个KPI的单位未必相同，有的是0-1百分比％，有的是以时间（days) 计算，有的以美元计, 我们需要看各个合作厂商的表现，然后打分排名，分出好中差，然后给各个等级提发展建议。

问 1) 怎么样才能建立一个有效的评估（打分）模型来衡量每个厂商的表现?
2)如何做比较分析来给各个合作厂商提发展建议，知道每个的长处短处

对于1）我一般是给各个厂商打一个综合分数, 问题就是各个绩效KPI的单位不同，有的0-1， 有的以时间计算。还有一个问题就是每个KPI对我们的影响可能比重（weight) 不同，于是在算每个厂商最后综合分数的的时候需要乘以每个KPI的比重。综合分数 = KPI_1 weight * KPI_1 + KPI_2 weight * KPI_2.....问题就是weight也是非常的主观，完全就是问问业务负责人哪个最重要就给高weight.

对于2) 我一般就是算所有厂商在每个KPI上 25%， 50%(median), 75%三个点数值, 做个box graph, 看看该厂商的各项指标到底在全体厂商中排在哪个区间，主要对每个厂商落在50%甚至75%以后的绩效KPI进行建议其改进。

对于1）和 2）如何提高分析的技术含量，我觉得自己的解决方案太简单了。求指点迷津！