wav2vec2-base-south-vi

This model is a fine-tuned version of nguyenvulebinh/wav2vec2-base-vietnamese-250h on the nguyendv02/ViMD_Dataset dataset. It achieves the following results on the evaluation set:

• Loss: 0.4597
• Wer: 0.1508

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 4
• eval_batch_size: 4
• seed: 42
• gradient_accumulation_steps: 8
• total_train_batch_size: 32
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 20
• num_epochs: 50
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.5972	0.2904	40	0.3858	0.2555
0.5855	0.5808	80	0.3731	0.2320
0.5794	0.8711	120	0.3773	0.2486
0.5258	1.1597	160	0.3873	0.2285
0.5457	1.4501	200	0.3683	0.2390
0.5357	1.7405	240	0.3676	0.2177
0.5553	2.0290	280	0.3738	0.2103
0.5103	2.3194	320	0.3647	0.2192
0.4871	2.6098	360	0.3617	0.2079
0.4967	2.9002	400	0.3757	0.2027
0.4824	3.1887	440	0.3728	0.2021
0.4672	3.4791	480	0.3635	0.2018
0.4534	3.7695	520	0.3759	0.2097
0.4644	4.0581	560	0.3774	0.2034
0.4283	4.3485	600	0.3630	0.1995
0.4805	4.6388	640	0.3600	0.2119
0.5023	4.9292	680	0.3686	0.2030
0.458	5.2178	720	0.3602	0.2012
0.4178	5.5082	760	0.3652	0.1974
0.4486	5.7985	800	0.3586	0.2020
0.4372	6.0871	840	0.3731	0.1949
0.3922	6.3775	880	0.3585	0.2059
0.4104	6.6679	920	0.3702	0.1938
0.4181	6.9583	960	0.3629	0.2145
0.4151	7.2468	1000	0.3524	0.2040
0.3979	7.5372	1040	0.3654	0.1931
0.4226	7.8276	1080	0.3751	0.1958
0.4023	8.1162	1120	0.3784	0.1931
0.3579	8.4065	1160	0.3651	0.1972
0.4064	8.6969	1200	0.3659	0.1892
0.3761	8.9873	1240	0.3568	0.1998
0.3681	9.2759	1280	0.3794	0.1931
0.4058	9.5662	1320	0.3631	0.2043
0.3652	9.8566	1360	0.3857	0.1930
0.3703	10.1452	1400	0.3619	0.1906
0.3547	10.4356	1440	0.3786	0.1865
0.3318	10.7260	1480	0.3735	0.1932
0.3697	11.0145	1520	0.3729	0.1867
0.3335	11.3049	1560	0.3808	0.2007
0.3283	11.5953	1600	0.3778	0.1914
0.3597	11.8857	1640	0.3568	0.1834
0.3389	12.1742	1680	0.3785	0.1939
0.3646	12.4646	1720	0.3874	0.1858
0.3327	12.7550	1760	0.3683	0.1796
0.3361	13.0436	1800	0.4073	0.1822
0.3122	13.3339	1840	0.3738	0.1935
0.3567	13.6243	1880	0.3781	0.1883
0.3303	13.9147	1920	0.3650	0.1833
0.2981	14.2033	1960	0.4006	0.1875
0.33	14.4936	2000	0.3897	0.1783
0.3304	14.7840	2040	0.3912	0.1888
0.3115	15.0726	2080	0.3893	0.1842
0.3034	15.3630	2120	0.3928	0.1813
0.3086	15.6534	2160	0.3865	0.1910
0.2989	15.9437	2200	0.3851	0.1849
0.3062	16.2323	2240	0.3954	0.1890
0.3184	16.5227	2280	0.4297	0.1940
0.2858	16.8131	2320	0.4038	0.1931
0.2743	17.1016	2360	0.4075	0.1928
0.2942	17.3920	2400	0.4086	0.1754
0.3157	17.6824	2440	0.4407	0.1842
0.3133	17.9728	2480	0.3748	0.1871
0.2886	18.2613	2520	0.3930	0.1841
0.2893	18.5517	2560	0.4553	0.1759
0.2983	18.8421	2600	0.3963	0.1879
0.3446	19.1307	2640	0.4410	0.1865
0.3051	19.4211	2680	0.4221	0.1799
0.2856	19.7114	2720	0.3885	0.1833
0.2543	20.0	2760	0.4098	0.1755
0.2681	20.2904	2800	0.4069	0.1853
0.2616	20.5808	2840	0.4463	0.1754
0.2711	20.8711	2880	0.4335	0.1814
0.2769	21.1597	2920	0.4399	0.1790
0.2534	21.4501	2960	0.4296	0.1791
0.2564	21.7405	3000	0.4227	0.1829
0.2739	22.0290	3040	0.4192	0.1762
0.2602	22.3194	3080	0.4455	0.1738
0.2681	22.6098	3120	0.4371	0.1762
0.2676	22.9002	3160	0.4045	0.1838
0.2586	23.1887	3200	0.4440	0.1743
0.2628	23.4791	3240	0.4478	0.1803
0.2449	23.7695	3280	0.4349	0.1779
0.26	24.0581	3320	0.4492	0.1806
0.2373	24.3485	3360	0.4326	0.1745
0.2282	24.6388	3400	0.4333	0.1765
0.2481	24.9292	3440	0.4502	0.1716
0.2335	25.2178	3480	0.4408	0.1742
0.2539	25.5082	3520	0.4412	0.1710
0.2173	25.7985	3560	0.4354	0.1751
0.224	26.0871	3600	0.4763	0.1714
0.2474	26.3775	3640	0.4820	0.1685
0.2213	26.6679	3680	0.4503	0.1718
0.2307	26.9583	3720	0.4781	0.1708
0.2235	27.2468	3760	0.4838	0.1697
0.2352	27.5372	3800	0.4568	0.1741
0.2296	27.8276	3840	0.4565	0.1742
0.2126	28.1162	3880	0.4885	0.1706
0.2262	28.4065	3920	0.4676	0.1682
0.2775	28.6969	3960	0.4397	0.1742
0.2358	28.9873	4000	0.4458	0.1701
0.218	29.2759	4040	0.4713	0.1691
0.2207	29.5662	4080	0.4419	0.1703
0.2147	29.8566	4120	0.4608	0.1711
0.1995	30.1452	4160	0.4934	0.1692
0.1943	30.4356	4200	0.5116	0.1672
0.2239	30.7260	4240	0.4763	0.1722
0.2041	31.0145	4280	0.5133	0.1677
0.1941	31.3049	4320	0.4868	0.1716
0.2145	31.5953	4360	0.4987	0.1658
0.2012	31.8857	4400	0.4862	0.1674
0.1838	32.1742	4440	0.4925	0.1671
0.1902	32.4646	4480	0.4621	0.1679
0.1965	32.7550	4520	0.5015	0.1650
0.225	33.0436	4560	0.5115	0.1646
0.1922	33.3339	4600	0.4819	0.1694
0.2074	33.6243	4640	0.5159	0.1711
0.1936	33.9147	4680	0.4862	0.1742
0.193	34.2033	4720	0.4921	0.1675
0.1973	34.4936	4760	0.5099	0.1683
0.1961	34.7840	4800	0.5103	0.1654
0.1913	35.0726	4840	0.5016	0.1678
0.1853	35.3630	4880	0.5045	0.1676
0.2075	35.6534	4920	0.4951	0.1685
0.2174	35.9437	4960	0.4971	0.1685
0.1767	36.2323	5000	0.4912	0.1659
0.19	36.5227	5040	0.5046	0.1671
0.1821	36.8131	5080	0.5042	0.1637
0.1839	37.1016	5120	0.4957	0.1666
0.1823	37.3920	5160	0.5158	0.1613
0.1966	37.6824	5200	0.5155	0.1657
0.1955	37.9728	5240	0.4994	0.1672
0.1744	38.2613	5280	0.5480	0.1625
0.1992	38.5517	5320	0.5072	0.1663
0.1889	38.8421	5360	0.5028	0.1644
0.1873	39.1307	5400	0.5143	0.1649
0.1777	39.4211	5440	0.5065	0.1653
0.1693	39.7114	5480	0.5121	0.1649
0.1881	40.0	5520	0.5272	0.1677
0.1679	40.2904	5560	0.5214	0.1660
0.1825	40.5808	5600	0.5139	0.1627
0.1732	40.8711	5640	0.5343	0.1635
0.1616	41.1597	5680	0.5213	0.1656
0.1718	41.4501	5720	0.5136	0.1653
0.168	41.7405	5760	0.5221	0.1652
0.1787	42.0290	5800	0.5307	0.1655
0.1809	42.3194	5840	0.5194	0.1637
0.1626	42.6098	5880	0.5261	0.1634
0.1669	42.9002	5920	0.5317	0.1644
0.1623	43.1887	5960	0.5542	0.1610
0.165	43.4791	6000	0.5333	0.1651
0.1666	43.7695	6040	0.5288	0.1619
0.1505	44.0581	6080	0.5532	0.1613
0.1669	44.3485	6120	0.5375	0.1620
0.1551	44.6388	6160	0.5266	0.1618
0.1547	44.9292	6200	0.5281	0.1609
0.1526	45.2178	6240	0.5361	0.1599
0.1824	45.5082	6280	0.5212	0.1607
0.1562	45.7985	6320	0.5350	0.1616
0.1615	46.0871	6360	0.5562	0.1594
0.1646	46.3775	6400	0.5510	0.1607
0.1567	46.6679	6440	0.5427	0.1597
0.1754	46.9583	6480	0.5327	0.1604
0.1483	47.2468	6520	0.5322	0.1605
0.1484	47.5372	6560	0.5507	0.1602
0.1669	47.8276	6600	0.5431	0.1605
0.1654	48.1162	6640	0.5488	0.1596
0.1584	48.4065	6680	0.5497	0.1596
0.1551	48.6969	6720	0.5487	0.1603
0.1362	48.9873	6760	0.5487	0.1602
0.1485	49.2759	6800	0.5450	0.1603
0.1535	49.5662	6840	0.5470	0.1600
0.1613	49.8566	6880	0.5471	0.1600

Framework versions

• Transformers 4.53.0
• Pytorch 2.7.1+cu126
• Datasets 3.6.0
• Tokenizers 0.21.2