• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号
登陆 注册

Python tgrep.tgrep_tokenize函数代码示例

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

本文整理汇总了Python中nltk.tgrep.tgrep_tokenize函数的典型用法代码示例。如果您正苦于以下问题：Python tgrep_tokenize函数的具体用法？Python tgrep_tokenize怎么用？Python tgrep_tokenize使用的例子？那么恭喜您, 这里精选的函数代码示例或许可以为您提供帮助。



在下文中一共展示了tgrep_tokenize函数的9个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于我们的系统推荐出更棒的Python代码示例。

示例1: test_tokenize_encoding

 def test_tokenize_encoding(self):
     '''
     Test that tokenization handles bytes and strs the same way.
     '''
     self.assertEqual(
         tgrep.tgrep_tokenize(b('A .. (B !< C . D) | ![<< (E , F) $ G]')),
         tgrep.tgrep_tokenize('A .. (B !< C . D) | ![<< (E , F) $ G]'))
开发者ID:DrDub，项目名称:nltk，代码行数:7，代码来源:test_tgrep.py


示例2: test_tokenize_node_labels

 def test_tokenize_node_labels(self):
     '''Test tokenization of labeled nodes.'''
     self.assertEqual(tgrep.tgrep_tokenize(
         'S < @SBJ < (@VP < (@VB $.. @OBJ))'),
                      ['S', '<', '@SBJ', '<', '(', '@VP', '<', '(',
                       '@VB', '$..', '@OBJ', ')', ')'])
     self.assertEqual(tgrep.tgrep_tokenize(
         'S < @SBJ=s < (@VP=v < (@VB $.. @OBJ))'),
                      ['S', '<', '@SBJ', '=', 's', '<', '(', '@VP',
                       '=', 'v', '<', '(', '@VB', '$..', '@OBJ', ')',
                       ')'])
开发者ID:DrDub，项目名称:nltk，代码行数:11，代码来源:test_tgrep.py


示例3: test_tokenize_segmented_patterns

 def test_tokenize_segmented_patterns(self):
     '''Test tokenization of segmented patterns.'''
     self.assertEqual(tgrep.tgrep_tokenize(
         'S < @SBJ=s < (@VP=v < (@VB $.. @OBJ)) : =s .. =v'),
                      ['S', '<', '@SBJ', '=', 's', '<', '(', '@VP',
                       '=', 'v', '<', '(', '@VB', '$..', '@OBJ', ')',
                       ')', ':', '=s', '..', '=v'])
开发者ID:DrDub，项目名称:nltk，代码行数:7，代码来源:test_tgrep.py


示例4: test_tokenize_quoting

 def test_tokenize_quoting(self):
     '''
     Test tokenization of quoting.
     '''
     self.assertEqual(tgrep.tgrep_tokenize('"A<<:B"<<:"A $.. B"<"A>3B"<C'),
                      ['"A<<:B"', '<<:', '"A $.. B"', '<', '"A>3B"',
                       '<', 'C'])
开发者ID:DrDub，项目名称:nltk，代码行数:7，代码来源:test_tgrep.py


示例5: test_tokenize_simple

 def test_tokenize_simple(self):
     '''
     Simple test of tokenization.
     '''
     tokens = tgrep.tgrep_tokenize('A .. (B !< C . D) | ![<< (E , F) $ G]')
     self.assertEqual(
         tokens,
         [
             'A',
             '..',
             '(',
             'B',
             '!',
             '<',
             'C',
             '.',
             'D',
             ')',
             '|',
             '!',
             '[',
             '<<',
             '(',
             'E',
             ',',
             'F',
             ')',
             '$',
             'G',
             ']',
         ],
     )
开发者ID:rmalouf，项目名称:nltk，代码行数:32，代码来源:test_tgrep.py


示例6: test_tokenize_macros

 def test_tokenize_macros(self):
     '''
     Test tokenization of macro definitions.
     '''
     self.assertEqual(
         tgrep.tgrep_tokenize(
             '@ NP /^NP/;\[email protected] NN /^NN/;\[email protected] [!< NP | < @NN] !$.. @NN'
         ),
         [
             '@',
             'NP',
             '/^NP/',
             ';',
             '@',
             'NN',
             '/^NN/',
             ';',
             '@NP',
             '[',
             '!',
             '<',
             'NP',
             '|',
             '<',
             '@NN',
             ']',
             '!',
             '$..',
             '@NN',
         ],
     )
开发者ID:rmalouf，项目名称:nltk，代码行数:31，代码来源:test_tgrep.py


示例7: test_tokenize_nodenames

 def test_tokenize_nodenames(self):
     '''
     Test tokenization of node names.
     '''
     self.assertEqual(tgrep.tgrep_tokenize('Robert'), ['Robert'])
     self.assertEqual(tgrep.tgrep_tokenize('/^[Bb]ob/'), ['/^[Bb]ob/'])
     self.assertEqual(tgrep.tgrep_tokenize('*'), ['*'])
     self.assertEqual(tgrep.tgrep_tokenize('__'), ['__'])
     # test tokenization of NLTK tree position syntax
     self.assertEqual(tgrep.tgrep_tokenize('N()'), ['N(', ')'])
     self.assertEqual(tgrep.tgrep_tokenize('N(0,)'), ['N(', '0', ',', ')'])
     self.assertEqual(tgrep.tgrep_tokenize('N(0,0)'), ['N(', '0', ',', '0', ')'])
     self.assertEqual(
         tgrep.tgrep_tokenize('N(0,0,)'), ['N(', '0', ',', '0', ',', ')']
     )
开发者ID:rmalouf，项目名称:nltk，代码行数:15，代码来源:test_tgrep.py


示例8: test_tokenize_link_types

 def test_tokenize_link_types(self):
     '''
     Test tokenization of basic link types.
     '''
     self.assertEqual(tgrep.tgrep_tokenize('A<B'),     ['A', '<', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A>B'),     ['A', '>', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A<3B'),    ['A', '<3', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A>3B'),    ['A', '>3', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A<,B'),    ['A', '<,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A>,B'),    ['A', '>,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A<-3B'),   ['A', '<-3', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A>-3B'),   ['A', '>-3', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A<-B'),    ['A', '<-', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A>-B'),    ['A', '>-', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A<\'B'),   ['A', '<\'', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A>\'B'),   ['A', '>\'', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A<:B'),    ['A', '<:', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A>:B'),    ['A', '>:', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A<<B'),    ['A', '<<', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A>>B'),    ['A', '>>', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A<<,B'),   ['A', '<<,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A>>,B'),   ['A', '>>,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A<<\'B'),  ['A', '<<\'', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A>>\'B'),  ['A', '>>\'', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A<<:B'),   ['A', '<<:', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A>>:B'),   ['A', '>>:', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A.B'),     ['A', '.', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A,B'),     ['A', ',', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A..B'),    ['A', '..', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A,,B'),    ['A', ',,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A$B'),     ['A', '$', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A$.B'),    ['A', '$.', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A$,B'),    ['A', '$,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A$..B'),   ['A', '$..', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A$,,B'),   ['A', '$,,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!<B'),    ['A', '!', '<', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!>B'),    ['A', '!', '>', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!<3B'),   ['A', '!', '<3', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!>3B'),   ['A', '!', '>3', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!<,B'),   ['A', '!', '<,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!>,B'),   ['A', '!', '>,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!<-3B'),
                      ['A', '!', '<-3', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!>-3B'),
                      ['A', '!', '>-3', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!<-B'),   ['A', '!', '<-', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!>-B'),   ['A', '!', '>-', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!<\'B'),
                      ['A', '!', '<\'', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!>\'B'),
                      ['A', '!', '>\'', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!<:B'),   ['A', '!', '<:', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!>:B'),   ['A', '!', '>:', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!<<B'),   ['A', '!', '<<', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!>>B'),   ['A', '!', '>>', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!<<,B'),
                      ['A', '!', '<<,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!>>,B'),
                      ['A', '!', '>>,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!<<\'B'),
                      ['A', '!', '<<\'', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!>>\'B'),
                      ['A', '!', '>>\'', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!<<:B'),
                      ['A', '!', '<<:', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!>>:B'),
                      ['A', '!', '>>:', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!.B'),    ['A', '!', '.', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!,B'),    ['A', '!', ',', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!..B'),   ['A', '!', '..', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!,,B'),   ['A', '!', ',,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!$B'),    ['A', '!', '$', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!$.B'),   ['A', '!', '$.', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!$,B'),   ['A', '!', '$,', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!$..B'),
                      ['A', '!', '$..', 'B'])
     self.assertEqual(tgrep.tgrep_tokenize('A!$,,B'),
                      ['A', '!', '$,,', 'B'])
开发者ID:DrDub，项目名称:nltk，代码行数:78，代码来源:test_tgrep.py


示例9: test_tokenize_examples

 def test_tokenize_examples(self):
     '''
     Test tokenization of the TGrep2 manual example patterns.
     '''
     self.assertEqual(tgrep.tgrep_tokenize('NP < PP'),
                      ['NP', '<', 'PP'])
     self.assertEqual(tgrep.tgrep_tokenize('/^NP/'),
                      ['/^NP/'])
     self.assertEqual(tgrep.tgrep_tokenize('NP << PP . VP'),
                      ['NP', '<<', 'PP', '.', 'VP'])
     self.assertEqual(tgrep.tgrep_tokenize('NP << PP | . VP'),
                      ['NP', '<<', 'PP', '|', '.', 'VP'])
     self.assertEqual(tgrep.tgrep_tokenize('NP !<< PP [> NP | >> VP]'),
                      ['NP', '!', '<<', 'PP', '[', '>', 'NP', '|',
                       '>>', 'VP', ']'])
     self.assertEqual(tgrep.tgrep_tokenize('NP << (PP . VP)'),
                      ['NP', '<<', '(', 'PP', '.', 'VP', ')'])
     self.assertEqual(tgrep.tgrep_tokenize('NP <\' (PP <, (IN < on))'),
                      ['NP', '<\'', '(', 'PP', '<,', '(', 'IN', '<',
                       'on', ')', ')'])
     self.assertEqual(tgrep.tgrep_tokenize('S < (A < B) < C'),
                      ['S', '<', '(', 'A', '<', 'B', ')', '<', 'C'])
     self.assertEqual(tgrep.tgrep_tokenize('S < ((A < B) < C)'),
                      ['S', '<', '(', '(', 'A', '<', 'B', ')',
                       '<', 'C', ')'])
     self.assertEqual(tgrep.tgrep_tokenize('S < (A < B < C)'),
                      ['S', '<', '(', 'A', '<', 'B', '<', 'C', ')'])
     self.assertEqual(tgrep.tgrep_tokenize('A<B&.C'),
                      ['A', '<', 'B', '&', '.', 'C'])
开发者ID:DrDub，项目名称:nltk，代码行数:29，代码来源:test_tgrep.py



注：本文中的nltk.tgrep.tgrep_tokenize函数示例由纯净天空整理自Github/MSDocs等源码及文档管理平台，相关代码片段筛选自各路编程大神贡献的开源项目，源码版权归原作者所有，传播和使用请参考对应项目的License；未经允许，请勿转载。

鲜花
握手
雷人
路过
鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
More+
上一篇：
Python tokenize.regexp_tokenize函数代码示例发布时间：2022-05-27
下一篇：
Python tgrep.tgrep_positions函数代码示例发布时间：2022-05-27
热门推荐
More+
热门话题
More+
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服（服务时间 9:00～18:00）

在线QQ客服
地址：深圳市南山区西丽大学城创智工业园
电邮：jeky_zhao#qq.com
移动电话：139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap