Skip to content
Open
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
27 commits
Select commit Hold shift + click to select a range
762ee12
feat(kn): add cardinal TN tagger, verbalizer and test cases
richa-2002 Jun 4, 2026
5c898a0
feat(kn): add cardinal TN tagger, verbalizer and test cases
richa-2002 Jun 5, 2026
a70a169
feat(kn): add cardinal TN tagger, verbalizer and test cases
richa-2002 Jun 5, 2026
6831449
feat(kn): add cardinal TN tagger, verbalizer and test cases
richa-2002 Jun 5, 2026
62b7a58
feat(kn): add cardinal TN tagger, verbalizer and test cases
richa-2002 Jun 5, 2026
b4063f5
feat(kn): add cardinal TN tagger, verbalizer and test cases
richa-2002 Jun 10, 2026
6cf856d
Executed blind test cases
richa-2002 Jun 15, 2026
37d5164
kannada_tn
richa-2002 Jun 16, 2026
771c2e5
updated cardinal
richa-2002 Jun 16, 2026
9f5d166
updated
richa-2002 Jun 17, 2026
47b5cea
updated the graph_utils file in cardinals
richa-2002 Jul 7, 2026
aae5232
[pre-commit.ci] auto fixes from pre-commit.com hooks
pre-commit-ci[bot] Jul 7, 2026
beae391
updated cardinals copyright was changed
richa-2002 Jul 7, 2026
8c2389b
updated more cardinals copyright was changed
richa-2002 Jul 7, 2026
07c7620
updated more cardinals copyright was changed
richa-2002 Jul 7, 2026
804510f
changed vare, mukkalu and kalu in graph_utils in cardinal
richa-2002 Jul 13, 2026
57ffb5c
added sparrowhawk and jekins for kn lang also done changes in other f…
richa-2002 Jul 21, 2026
b722186
[pre-commit.ci] auto fixes from pre-commit.com hooks
pre-commit-ci[bot] Jul 21, 2026
da7a91d
updated
richa-2002 Jul 21, 2026
bd8b050
updated 2
richa-2002 Jul 21, 2026
e595656
optimized cardinal file
richa-2002 Jul 22, 2026
53b3447
optimized code
richa-2002 Jul 23, 2026
9ca6fda
[pre-commit.ci] auto fixes from pre-commit.com hooks
pre-commit-ci[bot] Jul 23, 2026
a214c48
1
richa-2002 Jul 24, 2026
37f7fff
[pre-commit.ci] auto fixes from pre-commit.com hooks
pre-commit-ci[bot] Jul 24, 2026
f57e62c
3
richa-2002 Jul 24, 2026
62d13ce
[pre-commit.ci] auto fixes from pre-commit.com hooks
pre-commit-ci[bot] Jul 24, 2026
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
26 changes: 25 additions & 1 deletion Jenkinsfile
Original file line number Diff line number Diff line change
Expand Up @@ -30,6 +30,7 @@ pipeline {
JA_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/10-17-24-1'
HI_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/06-04-26-5'
KO_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/06-04-25-6'
KN_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/07-21-26-0'
DEFAULT_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/06-08-23-0'
}
stages {
Expand Down Expand Up @@ -112,6 +113,24 @@ pipeline {
}
}
}
stage('L0: Create KN TN Grammars') {
when {
anyOf {
branch 'main'
branch 'staging/**'
branch 'staging_*'
changeRequest target: 'main'
}
}
failFast true
parallel {
stage('L0: Kn TN grammars') {
steps {
sh 'CUDA_VISIBLE_DEVICES="" python nemo_text_processing/text_normalization/normalize.py --lang=kn --text="೧" --cache_dir ${KN_TN_CACHE}'
}
}
}
}

stage('L0: Create DE/ES TN/ITN Grammars') {
when {
Expand Down Expand Up @@ -408,6 +427,11 @@ pipeline {
sh 'CUDA_VISIBLE_DEVICES="" pytest tests/nemo_text_processing/hi/ -m "not pleasefixme" --cpu --tn_cache_dir ${HI_TN_CACHE}'
}
}
stage('L1: Run all KN TN tests (restore grammars from cache)') {
steps {
sh 'CUDA_VISIBLE_DEVICES="" pytest tests/nemo_text_processing/kn/ -m "not pleasefixme" --cpu --tn_cache_dir ${KN_TN_CACHE}'
}
}
stage('L1: Run all Codeswitched ES/EN TN/ITN tests (restore grammars from cache)') {
steps {
sh 'CUDA_VISIBLE_DEVICES="" pytest tests/nemo_text_processing/es_en/ -m "not pleasefixme" --cpu --tn_cache_dir ${ES_EN_TN_CACHE}'
Expand Down Expand Up @@ -580,4 +604,4 @@ pipeline {
cleanWs()
}
}
}
}
13 changes: 13 additions & 0 deletions nemo_text_processing/text_normalization/kn/__init__.py
Original file line number Diff line number Diff line change
@@ -0,0 +1,13 @@
# Copyright (c) 2026, NVIDIA CORPORATION. All rights reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
13 changes: 13 additions & 0 deletions nemo_text_processing/text_normalization/kn/data/__init__.py
Original file line number Diff line number Diff line change
@@ -0,0 +1,13 @@
# Copyright (c) 2026, NVIDIA CORPORATION. All rights reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
Original file line number Diff line number Diff line change
@@ -0,0 +1,13 @@
# Copyright (c) 2026, NVIDIA CORPORATION. All rights reserved.
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
18 changes: 18 additions & 0 deletions nemo_text_processing/text_normalization/kn/data/numbers/digit.tsv
Original file line number Diff line number Diff line change
@@ -0,0 +1,18 @@
1 ಒಂದು
2 ಎರಡು
3 ಮೂರು
4 ನಾಲ್ಕು
5 ಐದು
6 ಆರು
7 ಏಳು
8 ಎಂಟು
9 ಒಂಬತ್ತು
೧ ಒಂದು
೨ ಎರಡು
೩ ಮೂರು
೪ ನಾಲ್ಕು
೫ ಐದು
೬ ಆರು
೭ ಏಳು
೮ ಎಂಟು
೯ ಒಂಬತ್ತು
Original file line number Diff line number Diff line change
@@ -0,0 +1,18 @@
೧ ನೂರ
೨ ಇನ್ನೂರ
೩ ಮುನ್ನೂರ
೪ ನಾನೂರ
೫ ಐನೂರ
೬ ಆರುನೂರ
೭ ಏಳುನೂರ
೮ ಎಂಟುನೂರ
೯ ಒಂಬೈನೂರ
1 ನೂರ
2 ಇನ್ನೂರ
3 ಮುನ್ನೂರ
4 ನಾನೂರ
5 ಐನೂರ
6 ಆರುನೂರ
7 ಏಳುನೂರ
8 ಎಂಟುನೂರ
9 ಒಂಬೈನೂರ
Original file line number Diff line number Diff line change
@@ -0,0 +1,90 @@
೧೦ ಹತ್ತು
೧೧ ಹನ್ನೊಂದು
೧೨ ಹನ್ನೆರಡು
೧೩ ಹದಿಮೂರು
೧೪ ಹದಿನಾಲ್ಕು
೧೫ ಹದಿನೈದು
೧೬ ಹದಿನಾರು
೧೭ ಹದಿನೇಳು
೧೮ ಹದಿನೆಂಟು
೧೯ ಹತ್ತೊಂಬತ್ತು
೨೦ ಇಪ್ಪತ್ತು
೨೧ ಇಪ್ಪತ್ತೊಂದು
೨೨ ಇಪ್ಪತ್ತೆರಡು
೨೩ ಇಪ್ಪತ್ತಮೂರು
೨೪ ಇಪ್ಪತ್ತನಾಲ್ಕು
೨೫ ಇಪ್ಪತ್ತೈದು
೨೬ ಇಪ್ಪತ್ತಾರು
೨೭ ಇಪ್ಪತ್ತೇಳು
೨೮ ಇಪ್ಪತ್ತೆಂಟು
೨೯ ಇಪ್ಪತ್ತೊಂಬತ್ತು
೩೦ ಮೂವತ್ತು
೩೧ ಮೂವತ್ತೊಂದು
೩೨ ಮೂವತ್ತೆರಡು
೩೩ ಮೂವತ್ತಮೂರು
೩೪ ಮೂವತ್ತನಾಲ್ಕು
೩೫ ಮೂವತ್ತೈದು
೩೬ ಮೂವತ್ತಾರು
೩೭ ಮೂವತ್ತೇಳು
೩೮ ಮೂವತ್ತೆಂಟು
೩೯ ಮೂವತ್ತೊಂಬತ್ತು
೪೦ ನಲವತ್ತು
೪೧ ನಲವತ್ತೊಂದು
೪೨ ನಲವತ್ತೆರಡು
೪೩ ನಲವತ್ತಮೂರು
೪೪ ನಲವತ್ತನಾಲ್ಕು
೪೫ ನಲವತ್ತೈದು
೪೬ ನಲವತ್ತಾರು
೪೭ ನಲವತ್ತೇಳು
೪೮ ನಲವತ್ತೆಂಟು
೪೯ ನಲವತ್ತೊಂಬತ್ತು
೫೦ ಐವತ್ತು
೫೧ ಐವತ್ತೊಂದು
೫೨ ಐವತ್ತೆರಡು
೫೩ ಐವತ್ತಮೂರು
೫೪ ಐವತ್ತನಾಲ್ಕು
೫೫ ಐವತ್ತೈದು
೫೬ ಐವತ್ತಾರು
೫೭ ಐವತ್ತೇಳು
೫೮ ಐವತ್ತೆಂಟು
೫೯ ಐವತ್ತೊಂಬತ್ತು
೬೦ ಅರವತ್ತು
೬೧ ಅರವತ್ತೊಂದು
೬೨ ಅರವತ್ತೆರಡು
೬೩ ಅರವತ್ತಮೂರು
೬೪ ಅರವತ್ತನಾಲ್ಕು
೬೫ ಅರವತ್ತೈದು
೬೬ ಅರವತ್ತಾರು
೬೭ ಅರವತ್ತೇಳು
೬೮ ಅರವತ್ತೆಂಟು
೬೯ ಅರವತ್ತೊಂಬತ್ತು
೭೦ ಎಪ್ಪತ್ತು
೭೧ ಎಪ್ಪತ್ತೊಂದು
೭೨ ಎಪ್ಪತ್ತೆರಡು
೭೩ ಎಪ್ಪತ್ತಮೂರು
೭೪ ಎಪ್ಪತ್ತನಾಲ್ಕು
೭೫ ಎಪ್ಪತ್ತೈದು
೭೬ ಎಪ್ಪತ್ತಾರು
೭೭ ಎಪ್ಪತ್ತೇಳು
೭೮ ಎಪ್ಪತ್ತೆಂಟು
೭೯ ಎಪ್ಪತ್ತೊಂಬತ್ತು
೮೦ ಎಂಬತ್ತು
೮೧ ಎಂಬತ್ತೊಂದು
೮೨ ಎಂಬತ್ತೆರಡು
೮೩ ಎಂಬತ್ತಮೂರು
೮೪ ಎಂಬತ್ತನಾಲ್ಕು
೮೫ ಎಂಬತ್ತೈದು
೮೬ ಎಂಬತ್ತಾರು
೮೭ ಎಂಬತ್ತೇಳು
೮೮ ಎಂಬತ್ತೆಂಟು
೮೯ ಎಂಬತ್ತೊಂಬತ್ತು
೯೦ ತೊಂಬತ್ತು
೯೧ ತೊಂಬತ್ತೊಂದು
೯೨ ತೊಂಬತ್ತೆರಡು
೯೩ ತೊಂಬತ್ತಮೂರು
೯೪ ತೊಂಬತ್ತನಾಲ್ಕು
೯೫ ತೊಂಬತ್ತೈದು
೯೬ ತೊಂಬತ್ತಾರು
೯೭ ತೊಂಬತ್ತೇಳು
೯೮ ತೊಂಬತ್ತೆಂಟು
೯೯ ತೊಂಬತ್ತೊಂಬತ್ತು
Original file line number Diff line number Diff line change
@@ -0,0 +1,90 @@
10 ಹತ್ತು
11 ಹನ್ನೊಂದು
12 ಹನ್ನೆರಡು
13 ಹದಿಮೂರು
14 ಹದಿನಾಲ್ಕು
15 ಹದಿನೈದು
16 ಹದಿನಾರು
17 ಹದಿನೇಳು
18 ಹದಿನೆಂಟು
19 ಹತ್ತೊಂಬತ್ತು
20 ಇಪ್ಪತ್ತು
21 ಇಪ್ಪತ್ತೊಂದು
22 ಇಪ್ಪತ್ತೆರಡು
23 ಇಪ್ಪತ್ತಮೂರು
24 ಇಪ್ಪತ್ತನಾಲ್ಕು
25 ಇಪ್ಪತ್ತೈದು
26 ಇಪ್ಪತ್ತಾರು
27 ಇಪ್ಪತ್ತೇಳು
28 ಇಪ್ಪತ್ತೆಂಟು
29 ಇಪ್ಪತ್ತೊಂಬತ್ತು
30 ಮೂವತ್ತು
31 ಮೂವತ್ತೊಂದು
32 ಮೂವತ್ತೆರಡು
33 ಮೂವತ್ತಮೂರು
34 ಮೂವತ್ತನಾಲ್ಕು
35 ಮೂವತ್ತೈದು
36 ಮೂವತ್ತಾರು
37 ಮೂವತ್ತೇಳು
38 ಮೂವತ್ತೆಂಟು
39 ಮೂವತ್ತೊಂಬತ್ತು
40 ನಲವತ್ತು
41 ನಲವತ್ತೊಂದು
42 ನಲವತ್ತೆರಡು
43 ನಲವತ್ತಮೂರು
44 ನಲವತ್ತನಾಲ್ಕು
45 ನಲವತ್ತೈದು
46 ನಲವತ್ತಾರು
47 ನಲವತ್ತೇಳು
48 ನಲವತ್ತೆಂಟು
49 ನಲವತ್ತೊಂಬತ್ತು
50 ಐವತ್ತು
51 ಐವತ್ತೊಂದು
52 ಐವತ್ತೆರಡು
53 ಐವತ್ತಮೂರು
54 ಐವತ್ತನಾಲ್ಕು
55 ಐವತ್ತೈದು
56 ಐವತ್ತಾರು
57 ಐವತ್ತೇಳು
58 ಐವತ್ತೆಂಟು
59 ಐವತ್ತೊಂಬತ್ತು
60 ಅರವತ್ತು
61 ಅರವತ್ತೊಂದು
62 ಅರವತ್ತೆರಡು
63 ಅರವತ್ತಮೂರು
64 ಅರವತ್ತನಾಲ್ಕು
65 ಅರವತ್ತೈದು
66 ಅರವತ್ತಾರು
67 ಅರವತ್ತೇಳು
68 ಅರವತ್ತೆಂಟು
69 ಅರವತ್ತೊಂಬತ್ತು
70 ಎಪ್ಪತ್ತು
71 ಎಪ್ಪತ್ತೊಂದು
72 ಎಪ್ಪತ್ತೆರಡು
73 ಎಪ್ಪತ್ತಮೂರು
74 ಎಪ್ಪತ್ತನಾಲ್ಕು
75 ಎಪ್ಪತ್ತೈದು
76 ಎಪ್ಪತ್ತಾರು
77 ಎಪ್ಪತ್ತೇಳು
78 ಎಪ್ಪತ್ತೆಂಟು
79 ಎಪ್ಪತ್ತೊಂಬತ್ತು
80 ಎಂಬತ್ತು
81 ಎಂಬತ್ತೊಂದು
82 ಎಂಬತ್ತೆರಡು
83 ಎಂಬತ್ತಮೂರು
84 ಎಂಬತ್ತನಾಲ್ಕು
85 ಎಂಬತ್ತೈದು
86 ಎಂಬತ್ತಾರು
87 ಎಂಬತ್ತೇಳು
88 ಎಂಬತ್ತೆಂಟು
89 ಎಂಬತ್ತೊಂಬತ್ತು
90 ತೊಂಬತ್ತು
91 ತೊಂಬತ್ತೊಂದು
92 ತೊಂಬತ್ತೆರಡು
93 ತೊಂಬತ್ತಮೂರು
94 ತೊಂಬತ್ತನಾಲ್ಕು
95 ತೊಂಬತ್ತೈದು
96 ತೊಂಬತ್ತಾರು
97 ತೊಂಬತ್ತೇಳು
98 ತೊಂಬತ್ತೆಂಟು
99 ತೊಂಬತ್ತೊಂಬತ್ತು
Original file line number Diff line number Diff line change
@@ -0,0 +1,2 @@
0 ಸೊನ್ನೆ
೦ ಸೊನ್ನೆ
Loading