使用测试数据生成模型

学习目标

  • 评估数据集中的哪些功能对模型的预测影响最大。

此部分显示训练模型在测试数据集的 1000 行的子集上生成的预测结果。预测基于模型的学习模式，并包括有助于评估其可靠性的关键指标。

第 1 步：选择数据的子集

在删除 'FLIGHT_RISK' 列后，从测试数据集中选择 1000 名员工的子集，以确保无偏见预测。

hdf_new=df_test.drop('FLIGHT_RISK').head(1000)

display(hdf_new.collect())

ITEM_NUMBER

EMPLOYEE_ID

年龄

AGE_GROUP10

AGE_GROUPS

生成

CRITICAL_JOB_ROLE

RISK_OF_LOSS

IMPACT_OF_LOSS

FUTURE_LEADER

生成者...

CURRENT_REGION

CURRENT_COUNTRY

CURCOUNTRYLAT

CURCOUNTRYLON

PROMOTION_WITHIN_LAST_3_YEARS

CHANGED_POSITION_WITHIN_LAST_2_YEARS

CHANGE_IN_PERFORMANCE_RATING

FUNCTIONALAREACHANGETYPE

JOBLEVELCHANGETYPE

标题

0

10037

33

(25-35]

(30-35]

Y 世代

非关键

低

低

无未来领导人

男性 ...

美洲

墨西哥

19.432601

-99.133342

无促销

无更改

0 - 不可用

无更改

无更改

1

1

10045

33

(25-35)

(30-35)

Y 世代

关键

中

中

无未来领导人

女性 ...

美洲

美国

39.783730

-100.445882

无促销

无更改

0 - 不可用

无更改

无更改

1

2

10082

33

(25-35)

(30-35)

Y 世代

关键

低

中

无未来领导人

男性

美洲

美国

39.783730

-100.445882

无促销

无更改

0 - 不可用

无更改

无更改

1

3

10086

33

(25-35]

（30-35]

Y 世代

非关键

中

低

未来领导人

男性 ...

美洲

美国

39.783730

-100.445882

无促销

无更改

0 - 不可用

无更改

无更改

1

4

10092

33

(25-35)

(30-35)

Y 世代

非关键

低

低

未来领导人

男性 ...

美洲

美国

39.783730

-100.445882

无促销

无更改

0 - 不可用

无更改

无更改

1

. ...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

...

995

16699

36

(35-45)

(35-40)

Y 世代

关键

中

低

无未来领导人

男性 ...

EMEA

爱尔兰

52.865196

-7.979460

促销

无更改

3 - 减少

跨职能移动

促销

1

996

16702

36

(35-45)

(35-40)

Y 世代

关键

高

中

无未来领导人

女性 ...

EMEA

丹麦

55.670249

10.333328

无促销

变更

1 - 增加

跨职能移动

相同级别

1

997

16704

36

(35-45]

(35-40]

Y 世代

非关键

中

高

未来领导人

男性 ...

APJ

中国

35.000074

104.999927

无促销

无更改

3 - 减少

跨职能移动

相同级别

1

998

16710

45

(45-55)

(40-45)

X 世代

关键

中

中

无未来领导人

男性 ...

EMEA

意大利

42.638426

12.674297

促销

变更

1 - 增加

跨职能移动

促销

1

999

16731

50

(45-55]

(45-50]

X 世代

关键

高

高

无未来领导人

男性 ...

美洲

美国

39.783730

-100.445882

无促销

变更

2 - 常量

跨职能移动

相同级别

1

1000 行 × 40 列

步骤 2：运行预测

使用经过训练的模型生成预测：

predicted_classification = hgbc.predict(hdf_new, key = 'EMPLOYEE_ID', attribution_method='tree-shap',
missing_replacement='feature_marginalized')

步骤 3：过滤和显示结果

请注意，下表中显示了一些预测示例。该表包括以下列：'EMPLOYEE_ID'、'SCORE'、'CONFIDENCE'、'REASON_CODE'、'Top 1' 和 'PCT 1'。

"SCORE"[1] 列表示预测类别值，而"CONFIDENCE"列表示模型进行的分类预测的概率或置信水平。

此外，"REASON_CODE"列提供对与预测分类（即本地功能重要性或可解释性）[2] 相关的功能重要性的分析。

例如，表中的行号"零"表示分类为"是"（表示员工流失）的员工记录。此分类最具影响力的功能是 'FUNCTIONALAREACHANGETYPE'（"前 1"列中列出），百分比值为 29%（显示在"PCT 1"列中）。

pd.set_option('max_colwidth', None)

display(predicted_classification.filter('"SCORE" = \'Yes\'').select(
'EMPLOYEE_ID', 'SCORE', 'CONFIDENCE', 'REASON_CODE',
('json_query("REASON_CODE", \'$[0].attr\')', 'TOP 1'),
('json_query("REASON_CODE", \'$[0].pct\')', 'PCT 1') ).head(3).collect())

ITEM_NUMBER

EMPLOYEE_ID

分数

信心

REASON_CODE

第一名

PCT 1

0

10772

是

0.9805

代码片段复制代码\[{"attr":"FUNCTIONALAREACHANGETYPE","val":3.1659914617057178,"pct":29.616754904973626},{"attr":"JOBLEVELCHANGETYPE","val":2.9616090395572964,"pct":27.70482804829365},{"attr":"PREVIOUS_COUNTRY","val":1.1766521751513067,"pct":11.007174056333435},{"attr":"EMPLOYMENT_TYPE_2","val":1.1184850498463573,"pct":10.463040721003644},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.9856507423595541,"pct":9.220421726166244},{"attr":"PREVIOUS_JOB_LEVEL","val":0.20846321891052906,"pct":1.9501012987093403},{"attr":"TIMEINPREVPOSITIONMONTH","val":-0.20690779780323047,"pct":1.9355508723212456},{"attr":"RISK_OF_LOSS","val":-0.17780521059984248,"pct":1.6633062365637659},{"attr":"PREVIOUS_FUNCTIONAL_AREA","val":-0.10049090995097196,"pct":0.9400576995214759},{"attr":"IMPACT_OF_LOSS","val":-0.09804435450407491,"pct":0.9171710196587514}\]展开

"FUNCTIONALAREACHANGETYPE"

29.6167

1

12996

是

0.6626

代码片段复制代码\[{"attr":"FUNCTIONALAREACHANGETYPE","val":1.779508727486707,"pct":26.18333928119176},{"attr":"PREVIOUS_COUNTRY","val":1.7020204158662773,"pct":25.04319159765106},{"attr":"EMPLOYMENT_TYPE_2","val":0.7729003104726951,"pct":11.372302224236322},{"attr":"PREVIOUS_JOB_LEVEL","val":0.32942920001859057,"pct":4.847156060538495},{"attr":"PREVIOUS_REGION","val":-0.3104891995443306,"pct":4.568476641469905},{"attr":"EMPLOYMENT_TYPE","val":0.20022089183811793,"pct":2.94601058213658},{"attr":"PREVIOUS_PERFORMANCE_RATING","val":0.19403810814327597,"pct":2.8550383263202758},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.17748349440876774,"pct":2.6114570157122087},{"attr":"IMPACT_OF_LOSS","val":0.15021065632142925,"pct":2.2101698729341319},{"attr":"PREVIOUS_FUNCTIONAL_AREA","val":0.14947864972308989,"pct":2.199399272698043}\]展开

"FUNCTIONALAREACHANGETYPE"

26.1833

2

16484

是

0.5256

代码片段复制代码\[{"attr":"FUNCTIONALAREACHANGETYPE","val":2.362132834166609,"pct":36.93164842346884},{"attr":"EMPLOYMENT_TYPE_2","val":0.8705457026314862,"pct":13.61087207336961},{"attr":"PREVIOUS_COUNTRY","val":0.5551789479896835,"pct":8.68015270889719},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.5522170115232447,"pct":8.633843206464077},{"attr":"PREVIOUS_REGION","val":0.361208302694118,"pct":5.647446176515984},{"attr":"CHANGE_IN_PERFORMANCE_RATING","val":0.28138966471557627,"pct":4.39949185624014},{"attr":"PREVIOUS_PERFORMANCE_RATING","val":0.17816522478609154,"pct":2.785590779618334},{"attr":"TIMEINPREVPOSITIONMONTH","val":-0.17551115090711354,"pct":2.744094669843919},{"attr":"AGE","val":-0.11292548102606302,"pct":1.765575628509087},{"attr":"CURRENT_REGION","val":0.10269902670112985,"pct":1.605686307178712}\]展开

"FUNCTIONALAREACHANGETYPE"

36.9316

ITEM_NUMBER

EMPLOYEE_ID

分数

信心

REASON_CODE

第一名

PCT 1

0

27221

是

0.522728

代码片段复制代码\[{"attr":"TIMEINPREVPOSITIONMONTH","val":2.3799464640557694,"pct":34.21097120019775},{"attr":"EMPLOYMENT_TYPE_2","val":1.2305701014297253,"pct":17.689052647047377},{"attr":"FUNCTIONALAREACHANGETYPE","val":0.6205941708448476,"pct":8.920843231743456},{"attr":"PREVIOUS_COUNTRY","val":0.5274604833035208,"pct":7.5820761836751509},{"attr":"SALARY","val":0.49680440144873647,"pct":7.141404786530497},{"attr":"PREVIOUS_REGION","val":0.4019386053051078,"pct":5.7777392298596139},{"attr":"PREVIOUS_JOB_LEVEL","val":0.18958353451210387,"pct":2.7252028300554658},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.17505423756532619,"pct":2.516348821399208},{"attr":"AGE","val":-0.16361173162882435,"pct":2.3518664488064009},{"attr":"CHANGE_IN_PERFORMANCE_RATING","val":-0.13605646817959733,"pct":1.9557683270575257}\]展开

"TIMEINPREVPOSITIONMONTH"

34.21097120019775

1

27858

是

0.990345

代码片段复制代码\[{"attr":"TIMEINPREVPOSITIONMONTH","val":5.075260131915508,"pct":41.194646979837177},{"attr":"EMPLOYMENT_TYPE_2","val":2.0529135214516618,"pct":16.66299767858746},{"attr":"SALARY","val":0.9937257943954739,"pct":8.065829579346043},{"attr":"PREVIOUS_COUNTRY","val":-0.9562490170007192,"pct":7.761639730039505},{"attr":"FUNCTIONALAREACHANGETYPE","val":0.6624436830095447,"pct":5.3768935889601139},{"attr":"PREVIOUS_JOB_LEVEL","val":0.4505844835984997,"pct":3.6572842088838648},{"attr":"JOBLEVELCHANGETYPE","val":0.3425983543256225,"pct":2.780787170605691},{"attr":"PREVIOUS_FUNCTIONAL_AREA","val":0.33966466357291666,"pct":2.7569751192497895},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.25199722374185459,"pct":2.0453999208168196},{"attr":"AGE","val":0.2398786666673686,"pct":1.9470365527109877}\]展开

"TIMEINPREVPOSITIONMONTH"

41.194646979837177

2

28272

是

0.703382

代码片段复制代码\[{"attr":"TIMEINPREVPOSITIONMONTH","val":2.2255270451611879,"pct":30.169212529463996},{"attr":"FUNCTIONALAREACHANGETYPE","val":1.1938265379189222,"pct":16.183495331633496},{"attr":"PREVIOUS_COUNTRY","val":0.7302494941417288,"pct":9.899251611520969},{"attr":"CHANGE_IN_PERFORMANCE_RATING","val":0.5236095049193351,"pct":7.098042897616069},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.3902212107921695,"pct":5.289833106045707},{"attr":"PREVIOUS_FUNCTIONAL_AREA","val":0.30448378867275469,"pct":4.127577848230294},{"attr":"EMPLOYMENT_TYPE_2","val":-0.26312981446335928,"pct":3.5669839702211125},{"attr":"CURRENT_REGION","val":0.25556687764890786,"pct":3.464460907830933},{"attr":"PREVIOUS_PERFORMANCE_RATING","val":0.19837898315664025,"pct":2.689222634811058},{"attr":"SALARY","val":0.17664378482008814,"pct":2.3945805996081117}\]展开

"TIMEINPREVPOSITIONMONTH"

30.169212529463996

以上行显示输出（预计离职员工的过滤结果）。

汇总结果

输出表包括以下键列：

  • 'EMPLOYEE_ID'：每个员工的唯一标识符。

  • 'SCORE'：该模型的预测指示员工是否可能离开（"是"表示流失，否则为"否"）。

  • "置信度"：预测中的确定性度量，表示模型将输入数据与预测结果关联的程度。

"SCORE" 越高表示流失的可能性越大，而 "CONFIDENCE" 值越高表明预测越可靠。

这些洞察可用于改进有针对性的员工保留策略，利用由数据驱动的分析降低员工流失率。

参考

[1]统一分类

[2]练习 6 - 基于多模型数据构建机器学习分类模型

结论

模型评估期间获取的 AUC 性能指标值高于 '0.90'，这表示分类器表现良好。

通过查看模型训练结果，我们显示了功能重要性部分。即，解释并有助于模型的全局分类性能的所有属性的相对重要性。

在模型预测部分期间，我们突出显示了较高的 'CONFIDENCE' 值，表示模型预测中的可靠性更高。此外，我们还通过提供用于了解预测建模 [1] 的有效工具展示了"可解释性"的相关性（例如，'REASON_CODE' 列中提供的输出）。

我们展示了 SAP HANA PAL 如何将"可解释性"无缝集成到分类中，它还扩展到各种回归算法和时间序列分析。机器学习可解释性是实现 SAP 的合乎道德的 AI 目标，确保 AI 系统中的公平性、透明度和可信度不可或缺的一部分。

总之，可以利用这些洞察，基于模型驱动的分析主动实施员工保留战略。

参考

[1]了解 SAP HANA PAL 中的机器学习可解释性 - 分类和回归