poco/CppParser/src/Tokenizer.cpp at develop · cppfool/poco · GitHub

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
//
// Tokenizer.cpp
//
// $Id: //poco/1.4/CppParser/src/Tokenizer.cpp#1 $
//
// Library: CppParser
// Package: CppParser
// Module:  Tokenizer
//
// Copyright (c) 2006, Applied Informatics Software Engineering GmbH.
// and Contributors.
//
// SPDX-License-Identifier:	BSL-1.0
//


#include "Poco/CppParser/Tokenizer.h"
#include "Poco/CppParser/CppToken.h"


using Poco::StreamTokenizer;
using Poco::WhitespaceToken;


namespace Poco {
namespace CppParser {


Tokenizer::Tokenizer(std::istream& istr):
	StreamTokenizer(istr)
{
	addToken(new OperatorToken);
	addToken(new IdentifierToken);
	addToken(new StringLiteralToken);
	addToken(new CharLiteralToken);
	addToken(new NumberLiteralToken);
	addToken(new CommentToken, false);
	addToken(new PreprocessorToken);
	addToken(new WhitespaceToken);
}


Tokenizer::~Tokenizer()
{
}


} } // namespace Poco::CppParser