[preprocessor] When #including something that contributes no tokens at all,
don't recursively continue lexing. This avoids a stack overflow with a sequence of many empty #includes. rdar://11988695 llvm-svn: 167801
This commit is contained in:
parent
36675b75fb
commit
4f10a3e9f0
|
@ -103,6 +103,8 @@ TOK(unknown) // Not a token.
|
|||
TOK(eof) // End of file.
|
||||
TOK(eod) // End of preprocessing directive (end of line inside a
|
||||
// directive).
|
||||
TOK(included_eof) // End of included file, only if
|
||||
// PreprocessorLexer::EnableIncludedEOF is true.
|
||||
TOK(code_completion) // Code completion marker
|
||||
TOK(cxx_defaultarg_end) // C++ default argument end marker
|
||||
|
||||
|
|
|
@ -61,6 +61,10 @@ protected:
|
|||
/// Note that in raw mode that the PP pointer may be null.
|
||||
bool LexingRawMode;
|
||||
|
||||
/// \brief When true, if EOF of the current lexer is found, tok::included_eof
|
||||
/// is returned instead of continuing lexing higher in the include stack.
|
||||
bool EnableIncludedEOF;
|
||||
|
||||
/// \brief A state machine that detects the \#ifndef-wrapping a file
|
||||
/// idiom for the multiple-include optimization.
|
||||
MultipleIncludeOpt MIOpt;
|
||||
|
@ -79,7 +83,8 @@ protected:
|
|||
: PP(0), InitialNumSLocEntries(0),
|
||||
ParsingPreprocessorDirective(false),
|
||||
ParsingFilename(false),
|
||||
LexingRawMode(false) {}
|
||||
LexingRawMode(false),
|
||||
EnableIncludedEOF(false) {}
|
||||
|
||||
virtual ~PreprocessorLexer() {}
|
||||
|
||||
|
@ -147,6 +152,11 @@ public:
|
|||
/// \brief Return true if this lexer is in raw mode or not.
|
||||
bool isLexingRawMode() const { return LexingRawMode; }
|
||||
|
||||
/// \brief When true, if EOF of the current lexer is found, tok::included_eof
|
||||
/// is returned instead of continuing lexing higher in the include stack.
|
||||
/// False is the default behavior.
|
||||
void setEnableIncludedEOF(bool Enable) { EnableIncludedEOF = Enable; }
|
||||
|
||||
/// \brief Return the preprocessor object for this lexer.
|
||||
Preprocessor *getPP() const { return PP; }
|
||||
|
||||
|
|
|
@ -2595,8 +2595,14 @@ LexNextToken:
|
|||
// Read the PP instance variable into an automatic variable, because
|
||||
// LexEndOfFile will often delete 'this'.
|
||||
Preprocessor *PPCache = PP;
|
||||
bool EnableIncludedEOFCache = EnableIncludedEOF;
|
||||
if (LexEndOfFile(Result, CurPtr-1)) // Retreat back into the file.
|
||||
return; // Got a token to return.
|
||||
|
||||
if (EnableIncludedEOFCache) {
|
||||
Result.setKind(tok::included_eof);
|
||||
return;
|
||||
}
|
||||
assert(PPCache && "Raw buffer::LexEndOfFile should return a token");
|
||||
return PPCache->Lex(Result);
|
||||
}
|
||||
|
@ -3234,5 +3240,21 @@ HandleDirective:
|
|||
}
|
||||
goto LexNextToken; // GCC isn't tail call eliminating.
|
||||
}
|
||||
|
||||
if (PreprocessorLexer *PPLex = PP->getCurrentLexer()) {
|
||||
// If we #include something that contributes no tokens at all, return with
|
||||
// a tok::included_eof instead of recursively continuing lexing.
|
||||
// This avoids a stack overflow with a sequence of many empty #includes.
|
||||
PPLex->setEnableIncludedEOF(true);
|
||||
PP->Lex(Result);
|
||||
if (Result.isNot(tok::included_eof)) {
|
||||
if (Result.isNot(tok::eof) && Result.isNot(tok::eod))
|
||||
PPLex->setEnableIncludedEOF(false);
|
||||
return;
|
||||
}
|
||||
if (PP->isCurrentLexer(this))
|
||||
goto LexNextToken;
|
||||
}
|
||||
|
||||
return PP->Lex(Result);
|
||||
}
|
||||
|
|
|
@ -22,7 +22,7 @@ void PreprocessorLexer::anchor() { }
|
|||
PreprocessorLexer::PreprocessorLexer(Preprocessor *pp, FileID fid)
|
||||
: PP(pp), FID(fid), InitialNumSLocEntries(0),
|
||||
ParsingPreprocessorDirective(false),
|
||||
ParsingFilename(false), LexingRawMode(false) {
|
||||
ParsingFilename(false), LexingRawMode(false), EnableIncludedEOF(false) {
|
||||
if (pp)
|
||||
InitialNumSLocEntries = pp->getSourceManager().local_sloc_entry_size();
|
||||
}
|
||||
|
|
|
@ -0,0 +1,208 @@
|
|||
// RUN: env LIBCLANG_THREAD_SMALLSTACK=1 c-index-test -index-file %s | FileCheck %s
|
||||
|
||||
// rdar://11988695
|
||||
// Check that we don't get stack overflow while including a lot of empty includes.
|
||||
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
#include "Inputs/empty.h"
|
||||
|
||||
// CHECK: [indexDeclaration]: kind: function | name: foo
|
||||
void foo();
|
|
@ -6119,6 +6119,8 @@ namespace clang {
|
|||
bool RunSafely(llvm::CrashRecoveryContext &CRC,
|
||||
void (*Fn)(void*), void *UserData,
|
||||
unsigned Size) {
|
||||
if (getenv("LIBCLANG_THREAD_SMALLSTACK"))
|
||||
Size = 0x10000; // 64K.
|
||||
if (!Size)
|
||||
Size = GetSafetyThreadStackSize();
|
||||
if (Size)
|
||||
|
|
Loading…
Reference in New Issue